JA ▾
API キーを取得

2025年ローカル向け無検閲LLM vs ホストAPI

2025年にローカルで実行できる最良の無検閲LLMは、適切な速度でメモリに収容できる最大のモデルです。この記事では、その選択のサイズの決め方、ツールリングの構成、ホストされたAPIがより簡単なパスとなる場所を示しています。

更新日:

ローカルGPUタワーが光るケーブルでクラウドサーバーに接続された等角イラスト。ローカルとホストされたLLMを比較

主要ポイント

  1. メモリがすべてを決定します:4ビットモデルは、パラメータ10億あたり約0.5ギガバイト必要で、さらにコンテキスト用のスペースが必要です。
  2. Ollama、LM Studio、llama.cppはすべてローカルモデルを実行し、OpenAIスタイルのエンドポイントを公開するものがほとんどです。
  3. ホストAPIは大きなコンテキストウィンドウとハードウェアの不要さを提供しますが、モデルは1つだけで、ファインチューニング機能なしです。
  4. Base URLを変更することでローカルとホストを切り替える1つのクライアントを書くことができます。

無料トライアルクレジットで始める

メールアドレスとパスワードだけで、キーがすぐ画面に表示されます。

API キーを取得

短い答え:メモリに合わせてサイズを決める

2025年スタイルでローカルで動作する最高の無検閲LLMをお探しの場合、単一の勝者を名指すことはできず、1つを主張するリストには注意してください。新しいファインチューニングは数週間ごとに登場し、ランキングは変動します。ストーリーテリングに優れたモデルでも、コードでは平凡な場合があります。より良い質問は、どのモデルがあなたのマシンとタスクに適合するかです。

この順序で作業してください。まず、高速メモリの容量を確認します:GPUのVRAM、またはApple Silicon Macのユニファイドメモリ。次に、コンテキスト用のスペースを残した状態で4-bit量子化時にメモリに収まる最大のモデルファミリーを選択します。次に、そのファミリーの無検閲バリエーションを選択します。これは、通常の法的リクエストを拒否しないように訓練されたファインチューニングまたは修正版を意味します。最後に、独自のプロンプトで1時間テストしてください。そのテストは、どのリーダーボードよりも多くのことを教えてくれます。

オープンウェイトモデルにおける「無検閲」の意味

モデルは通常、2つの段階で学習されます。ベースモデルは巨大なテキストコーパスから学習し、2番目の段階であるインストラクションチューニングにより、リクエストに従う方法と、一部のリクエストを拒否する方法を学びます。無検閲版は、この2番目の段階を変更することで生成されます。具体的には、拒否が含まれていないデータでファインチューニングするか、モデルが拒否行動を生成しないように重みを編集します。コミュニティメンバーは、人気のあるオープンソースモデルファミリーの多くのバリエーションを公開しています。

これにより2つのことが言えます。無検閲とは、より賢いという意味ではありません。拒否を除去すると、品質がわずかに低下する場合があり、ラベルよりもベースモデルのサイズと学習内容の方がはるかに重要です。また、無検閲とは「法則がない」ことを意味するわけではありません。要点は、モデルが説教せずに、成人がフィクション、ロールプレイ、または研究に取り組めることにあり、「何でも許される」わけではありません。未成年者との性的コンテンツを含むものは固く禁止されており、責任あるホストやツールはそれを明記します。

メモリの経験則

量子化は、各重みをより少ないビット数で保存します。4ビットの場合、モデルはパラメータ10億個あたり約0.5ギガバイトの容量を消費し、これは会話の長さによって増大するコンテキストキャッシュの分を含まない値です。これらは異なる量子化フォーマットが存在するため、保証ではなく大まかな計画の数値です。

モデルサイズ4ビット時の概算メモリ典型的なハードウェア
7〜8B約5 GB8 GB GPU、または16 GB RAMのラップトップ
13〜14B約9 GB12 GB GPU
32〜34B約20 GB24 GBのGPU、または32 GB以上のMac
70B約40 GB2台の大型GPU、または64 GB以上のメモリを搭載したMac

コンテキストは隠れたコストです。4,000トークンのチャットで収まるモデルでも、30,000トークンのストーリーを与えるとメモリ不足になる場合があります。ローカルセットアップは、モデルがサポートする範囲よりも大幅にコンテキストを制限することが多く、長いコンテキストは生成も遅くします。プロジェクトが長い会話や大きなドキュメントの記憶に依存している場合、100,000トークンのウィンドウを持つホストオプションと比較する際にこれを考慮してください。

自分のマシンでモデルを実行するためのツール

始めるために手動でコンパイルする必要はありません。これらは一般的な選択肢です。

  • Ollama モデルをダウンロードして提供するためのコマンドラインツールです。マシン上でOpenAI互換のエンドポイントを公開するため、既存のコードを容易にこれに向けることができます。
  • LM Studio。 モデルブラウザ、チャットウィンドウ、ローカルサーバーモードを備えたデスクトップアプリです。グラフィカルインターフェースを好む場合に適しています。
  • llama.cpp これらのツールの多くを支えるC++エンジンです。量子化、CPUとGPU間のレイヤーオフロード、コンテキストサイズに対する最も細かな制御を提供しますが、その代償として学習すべきフラグが増えます。
  • vLLMおよび類似サーバー。 複数のユーザーを同時に処理するGPUサーバー向けです。単一のデスクトップには過剰ですが、独自の小規模デプロイメントを実行する場合は有用です。

これらのほとんどは、量子化モデルの一般的な形式であるGGUFファイルを読み込めます。ファイル名から量子化レベルを選択してください:数字が小さいほど小さく高速ですが精度が低く、4ビットが通常の開始点です。

ホストAPIが適する場所と適さない場所

ホスト型APIは、あなたのハードウェアを別のハードウェアに置き換えます。このサービスは、独立したプロバイダーによって実行され、法的な成人用途においてコンテンツの拒否なしで応答するように調整された1つのオープンウェイトモデルを提供します。これは任意のモデルベンダーの公式APIではなく、モデルの中から選択できるルーターでもありません。

ホストを選択する理由

  • 購入、冷却、更新する必要のあるGPUはありません。リクエストを送信し、トークンを取得します。
  • メモリをサイズ調整することなく、プロンプトと補完を合わせた100,000トークンのコンテキストウィンドウ。
  • 標準的なOpenAIインターフェースを介したストリーミング、ツール呼び出し、JSONモードにより、ベースURLとキーを変更するだけで既存のSDKやクライアントが動作します。
  • 従量課金制:前払いクレジット(期限なし)から、入力トークン1Mあたり$0.15、出力トークン1Mあたり$0.50。
  • プロンプトはトレーニングに使用されません。

ローカルに留まる理由

  • ディスク上に重みが欲しい場合。ホストAPIはそれを決して提供しません。
  • オフラインで作業する必要がある場合、またはいかなる条件の下でもデータがマシンから外部に出ないことを求める場合
  • 複数のモデルから選択したい場合、または独自のファインチューニングを実行したい場合。このAPIは1つのモデルのみを提供し、テキストのみに対応し、ファインチューニング機能は提供しません。
  • 適切なハードウェアを既に所有しており、かつボリュームが十分に大きく、ローカルなトークンの限界コストがほぼゼロである場合

コスト:電気とハードウェア対トークン

マシンを含めると、ローカルは無料ではありません。比較する簡単な方法は、GPUを購入して所有することが、トークンごとの支払いよりも有利になるまでに、どれだけのトークンを生成する必要があるかを問うことです。

ホスティング側の計算は簡単です。50ターン、1ターンあたり2,000トークンの入力と400トークンの出力を行うロールプレイセッションでは、100,000トークンの入力と20,000トークンの出力を使用します。入力のコストは0.1 x $0.15 = $0.015です。出力のコストは0.02 x $0.50 = $0.01です。セッション全体のコストは$0.025、すなわち2.5セントです。

そのレートでは、$20のクレジットで800回のセッションが支払えます。32Bモデルを実行できるGPUは$20をはるかに超えるコストがかかるため、損益分岐点は完全に使用方法に依存します。たまに使用するユーザーにとって、ホストされたサービスが通常は優れています。毎日終日テキストを生成する人にとって、ローカルハードウェアは元が取れる可能性があり、彼らにとってローカルがより良い答えです。電気代については、GPUの消費電力に使用時間とローカルの電気料金を掛けてください。ここでは広範囲に変動するため引用していません。

料金ページには、$50で+5%から$200で+15%までのボーナス付きの現在のチャージ額が記載されています。

両方のための1つのクライアント:ベースURLで切り替え

永久にどちらかを選ぶ必要はありません。OllamaとこのAPIの両方がOpenAIチャットフォーマットをサポートしているため、単一のスクリプトでどちらかを使用できます。環境変数を3つ設定するだけで、コードを変更する必要はありません。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")

resp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)

ローカルランナーでテストするには、LLM_BASE_URLをランナーがコンソールに出力するアドレスに設定します(Ollamaのデフォルトはhttp://localhost:11434/v1です)。LLM_MODELにはプルしたモデル名を設定し、キーには任意のプレースホルダーを使用します。これらを未設定にすると、スクリプトはモデルIDuncensoredでホストAPIに接続します。

このパターンにより、ローカルの8Bモデルに対して無料でプロトタイプを作成し、同じプロンプトでホストされたモデルの出力と比較できます。クイックスタートにはサポートされているパラメータの完全なリストがあり、新しいアカウントはAPIキーページから$0.50のトライアルクレジットを取得して、その比較を無料で実行できます。

質問と回答

8 GBのVRAMに最適な無検閲LLMは何ですか?

4-bit量子化された70億〜80億パラメータのモデルファミリーの無検閲ファインチューニングが通常適しています。ファインチューニング間で品質がサイズラベルが示すよりも大きく異なるため、独自のプロンプトで2〜3つのバリエーションを試してください。

ローカルの無検閲モデルはプライベートですか?

ツールがテレメトリーを送信しない限り、プロンプトはローカル実行中はあなたのマシン上に留まります。インストールする特定のランナーの設定を確認してください。

このAPIのモデルをローカルで実行できますか?

いいえ。このAPIはホストされたエンドポイントを通じて1つのモデルのみを提供し、ウェイトを配布しません。ディスク上のファイルが必要な場合は、公開リポジトリからオープンウェイトモデルを使用してください。

ホストされたモデルはローカルモデルのような大きなコンテキストキャッシュが必要ですか?

それはプロバイダ側で処理されます。プロンプトと補完を合わせた100,000トークンのウィンドウが提供され、送信および受信したトークンのみに対して課金されます。

無検閲とは違法と同じ意味ですか?

いいえ。これは、法的な成人向けリクエストを拒否しないように調整されたモデルを指します。未成年者に関連するコンテンツは、このサービスでは決して許可されません。

キーはフォームを1つ埋めるだけで入手できます

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む