繁中 ▾
取得 API 金鑰

2025 最佳本地運行無審查 LLM 與託管 API 比較

2025 年最佳本地運行的無審查 LLM 是你能以合理速度在記憶體中容納的最大模型。本文將說明如何評估此選擇、工具生態系樣貌,以及託管 API 在哪些情況下 是更輕鬆的路徑。

更新於

等距插圖:本地 GPU 塔透過發光電纜連接至雲端伺服器,比較本地與託管 LLM

重點摘要

  1. 記憶體決定一切:4-bit 模型每十億參數約需半 GB,加上上下文所需的空間。
  2. Ollama、LM Studio 和 llama.cpp 均可運行本地模型,且大多數提供 OpenAI 風格的端點。
  3. 託管 API 提供大的上下文視窗且無需硬體,但僅提供單一模型且無法微調。
  4. 你可以編寫一個客戶端,透過更改 Base URL 在本地與託管之間切換。

從試用額度開始

電子郵件和密碼,金鑰立即顯示在畫面上。

取得 API 金鑰

簡短回答:根據你的記憶體調整大小

如果你正在尋找 2025 年最佳本地運行的無審查 LLM,沒有單一冠軍可以命名,請警惕聲稱有單一勝者的列表。新的微調模型每幾週就會出現,排名會變動,且擅長講故事的模型在程式碼方面可能表現平庸。更好的問題是:哪個模型適合你的機器和你的任務。

按此順序操作。首先,找出你有多少快速記憶體:GPU 上的 VRAM 或 Apple Silicon Mac 上的統一記憶體。其次,選擇在 4-bit 量化下能放入該記憶體且留有上下文空間的最大模型家族。第三,選擇該家族的無審查變體,即經過微調或修改的版本,旨在停止拒絕普通的合法請求。第四,用你自己的提示詞測試一小時。該測試比任何排行榜都更有價值。

「無審查」對開放權重模型的意義

模型通常在兩個階段進行訓練。基礎模型從大量文本語料庫中學習,第二階段的指令微調教導它遵循請求並拒絕某些請求。無審查變體是通過改變第二階段產生的:在移除拒絕的數據上進行微調,或編輯權重使模型停止產生拒絕行為。社群成員發布了許多熱門開放家族的此類變體。

由此得出兩點。無審查不代表更聰明。移除拒絕有時會損失一點品質,且基礎模型的規模和訓練遠比標籤重要。無審查也不代表無法無天。重點是成人可以在小說、角色扮演或研究上工作而無需模型說教,並非什麼都可以。涉及未成年人性內容的內容不在範圍內,負責任的供應商或工具會明確指出。

記憶體經驗法則

量化將每個權重存儲為更少的位元。在 4 位元下,模型每十億參數佔用約半 GB,這還不包括上下文快取,它會隨著對話長度增長。這些是粗略的規劃數字,而非保證,因為不同的量化格式存在差異。

模型大小4-bit 時的大致記憶體典型硬體
7B 至 8B約 5 GB8 GB GPU,或配備 16 GB RAM 的筆記型電腦
13B 至 14B約 9 GB12 GB GPU
32B 至 34B約 20 GB24 GB GPU,或配備 32 GB 或更多記憶體的 Mac
70B約 40 GB兩張大型 GPU,或配備 64 GB 或更多記憶體的 Mac

上下文是隱藏的成本。在 4,000 token 聊天中適配的模型,當你提供 30,000 token 的故事時可能會記憶體不足。本地設置通常將上下文限制在模型支持範圍以下,且長上下文也會減慢生成速度。如果你的專案依賴記住長對話或大型文件,請在與具有 100,000-token 視窗的託管選項進行比較時記住這一點。

在自有機器上運行模型的工具

你不需要手動編譯任何東西即可開始。這些是常見選擇。

  • Ollama。 一個下載並提供模型的命令列工具。它在你的機器上暴露一個與 OpenAI 相容的端點,這使得將現有程式碼指向它變得很容易。
  • LM Studio。 一個具有模型瀏覽器、聊天視窗和本地伺服器模式的桌面應用程式。如果你偏好圖形介面,這很好。
  • llama.cpp. 許多這些工具背後的 C++ 引擎。它讓你能夠最精確地控制量化、CPU 與 GPU 之間的層級卸載以及上下文大小,代價是你需要學習更多的旗標。
  • vLLM 和類似伺服器。 旨在處理多個用戶的 GPU 伺服器。對於單一桌面來說是大材小用,但如果你運行自己的小型部署則很有用。

大多數這些工具可以載入 GGUF 檔案,這是量化模型的常見格式。從檔案名稱中選擇量化等級:較低的數字更小、更快但準確度較低,而 4-bit 是常見的起點。

託管 API 的適用場景與限制

託管 API 將你的硬體替換為他人的。此服務提供一個開放權重模型,由獨立供應商運行並經過微調以在合法成人使用中無內容拒絕地回答。它不是任何模型廠商的官方 API,也不是讓你選擇多個模型的路由器。

選擇託管的理由

  • 無需購買、冷卻或更新 GPU。你發送請求並獲取 token 返回。
  • 100,000 token 上下文視窗,提示詞與補全內容合計,無需為其配置記憶體。
  • 透過標準 OpenAI 介面提供串流輸出、函式呼叫和 JSON 模式,因此現有 SDK 和客戶端在更改 Base URL 和金鑰後即可工作。
  • 隨用隨付定價:每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,從永不過期的預付額度中扣款。
  • 提示詞不會用於訓練。

保持本地的理由

  • 你想要磁碟上的權重檔案。託管 API 永遠不會給你這個。
  • 你需要離線工作,或者在任何條款下你的數據都不能離開機器。
  • 你想在多個模型中選擇,或執行自己的微調。此 API 僅提供單一模型、純文字服務,且不提供微調功能。
  • 你已擁有合適的硬體,且用量足夠大,使得每個 token 的邊際成本接近零。

成本:電力與硬體 vs. token

一旦把機器成本算進去,本地部署並非免費。一個簡單的比較方式是問自己:需要生成多少 token,購買 GPU 的成本才會低於按 token 付費。

在託管端,計算很簡單。一場 50 輪的對談,每輪 2,000 個輸入 token 和 400 個輸出 token,總共使用 100,000 個輸入 token 和 20,000 個輸出 token。輸入成本為 0.1 x $0.15 = $0.015。輸出成本為 0.02 x $0.50 = $0.01。整場對談成本為 $0.025,即兩分半錢。

以該速率計算,$20 的額度可支付 800 次此類會話。能運行 32B 模型的 GPU 成本遠高於 $20,因此損益兩平點完全取決於您的使用頻率。對於偶爾使用者,託管方案通常更優。對於每天每時都在生成文字的使用者,本地硬體可收回成本,對他們而言本地方案是更好的選擇。關於電費部分,請將 GPU 的功耗乘以使用時數與您的當地電價;我們在此不提供單一報價,因為電價差異很大。

定價頁面列出當前的儲值金額與贈送額度,贈送比例從 $50 的 +5% 到 $200 的 +15% 不等。

一個客戶端通用:透過 Base URL 切換

你不必永久選擇其中一方。由於 Ollama 與此 API 都支援 OpenAI 聊天格式,單一腳本即可使用兩者。設定三個環境變數,你的程式碼就不需要更改。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")

resp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)

要針對本地執行器進行測試,請將 LLM_BASE_URL 設為您的執行器顯示的地址(Ollama 預設為 http://localhost:11434/v1),將 LLM_MODEL 設為您拉取的模型名稱,並使用任何佔位符作為金鑰。若未設定這些變數,腳本將連接到託管 API,並使用模型 ID uncensored。

此模式讓你能免費針對本地 8B 模型進行原型開發,然後在同一批提示詞下將輸出結果與託管模型的輸出進行比較。快速入門指南 列出了所有支援的參數,新帳戶可從 API 金鑰頁面 領取 $0.50 的試用額度,即可在不付費的情況下執行該比較。

問答

8 GB VRAM 下最好的無審查 LLM 是什麼?

針對 70 億至 80 億參數家族進行微調的無審查模型,並採用 4-bit 量化,通常是合適的選擇。在你的提示詞上嘗試兩三種變體,因為不同微調版本之間的品質差異,往往比參數量標籤所顯示的更大。

本地無審查模型私密嗎?

只要你所使用的工具不發送遙測數據,提示詞在你本地運行時會保留在你的機器上。請檢查你所安裝的特定執行器的設定。

我可以在本地運行此 API 背後的模型嗎?

不行。此 API 透過託管端點提供單一模型服務,且不分發權重。如果你需要磁碟上的檔案,請使用來自公開儲存庫的開放權重模型。

託管模型需要像本地模型那樣大的上下文緩存嗎?

這由供應商端處理。你獲得一個涵蓋提示詞與補全內容的 100,000-token 上下文視窗,且你只需為發送和接收的 token 付費。

無審查等同於非法嗎?

不是。它描述的是一個不會拒絕合法成人請求的模型。涉及未成年人的內容在該服務上始終禁止。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰閱讀文件