JA ▾
API キーを取得

無検閲 LLM チャット:シンプルクライアントの構築

OpenAI 互換のエンドポイントがあれば、フィルタなしの LLM チャットは簡単に構築できます。ループ、メッセージリスト、ストリーミングリーダーが必要です。以下に、ターミナル用とブラウザ用の2つの最小限のクライアントを示します。数分で実行できます。

更新日:

ターミナルの上にチャットバブルがあり、ストリーミングパーティクルがそれらの間を流れている様子。ストリーミングチャットクライアントを表します。
ローカルGPUタワーが光るケーブルでクラウドサーバーに接続された等角イラスト。ローカルとホストされたLLMを比較

主要ポイント

  1. チャットクライアントは、メッセージリストとストリーミングループで構成されます。API はステートレスなので、履歴は毎回再送信されます。
  2. ターミナル版は、OpenAI SDK を使用した 25 行の Python コードです。
  3. Web の場合、API キーを小型サーバーに保持し、レスポンスをブラウザにストリーミングします。
  4. 100,000 トークンのコンテキストウィンドウに達する前に古いメッセージを削除し、429 エラーを再試行で処理します。

無料トライアルクレジットで始める

メールアドレスとパスワードだけで、キーがすぐ画面に表示されます。

API キーを取得

あなたが構築しているもの

2 つの小さなプログラムです。1 つは到着したトークンをストリーミングするターミナルチャットです。2 つは、その前に小さな Node サーバーを配置した Web ページです。両方とも同じエンドポイント https://api.uncensoredllmonline.com/v1 に、モデル uncensored を使用して通信します。

これは、モデルが法的な成人利用に対してコンテンツ拒否なしで回答するように調整されているという意味で、フィルタなしの LLM チャットです。これは独立したプロバイダが運用するオープンウェイトモデルの1つであり、大手ベンダーの公式製品ではありません。未成年者を含む性的コンテンツは許可されておらず、回答もされません。テキストのみです。

キーが必要です。サインアップ後、API キーページで $0.50 のトライアル分を請求してください。この記事の内容を試すには十分です。アプリを書かずに既製のアプリを使いたい場合は、API クライアントのオプションに関するガイドをご覧ください。

チャットのステート動作

API は会話を記憶しません。すべてのリクエストには、メッセージのリストとして履歴全体を含める必要があります。最初にシステムメッセージ、その後ユーザーとアシスタントのメッセージが交互に続きます。モデルは送信された内容のみを認識します。メモリはクライアントが管理します。

これはコストに直接影響します。入力トークン100万あたり $0.15 で、履歴が8,000トークンに達したチャットの場合、次のターンでの入力コストは $0.0012 です(8,000 x $0.15 / 1M)。300トークンの応答は $0.00015 を追加します。したがって、1ターンは約 $0.00135 となり、トライアルクレジットは数百回分をカバーできます。出力は100万あたり $0.50 で課金されます。

コンテキストウィンドウは100,000トークンで、プロンプトと completion を合わせた合計です。通常のチャットではこれに達しませんが、長いロールプレイやドキュメントチャットでは達する可能性があるため、トリミングの計画を立ててください(以下参照)。

ターミナルクライアント(Python)

pip install openai で SDK をインストールし、キーを設定して実行します:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

コードに関する注釈。stream=True はチャンクを返します。各チャンクには delta.content に小さなテキストの断片が含まれます。chunk.choices のチェックが重要なのは、最終的な使用量チャンクが choices なしで届く可能性があるためです。応答は1つの文字列にまとめられ、アシスタントメッセージとして履歴に追加されます。これにより、次のターンが最後の応答を認識できるようになります。Ctrl+C または Ctrl+D でセッションをクリーンに終了します。

Web クライアント:サーバーにキーを保持し、ページにストリーミング

API キーをブラウザの JavaScript に直接入れないでください。誰でもキーを読み取ってクレジットを使い果たすことができます。代わりに、キーを追加してストリームを転送する小型サーバーを実行します。このコードには Node 18 以上が必要で、パッケージは不要です:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

API_KEY=your_key node server.mjs で起動します。index.html では、テキストボックスと div だけで十分です。重要なのはサーバー送信イベントの読み取り部分です:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

send(history, text => out.textContent += text) を呼び出し、完了した返信を履歴配列に追加します。サーバー送信イベントは任意のバイト位置でチャンクを分割するため、コードはバッファを保持し、完全な行のみを解析します。

長期チャットの健全性維持

長いセッションでは 3 つの問題が発生しますが、すべて簡単な修正方法があります。

履歴が無限に成長する

システムメッセージと最新の N 件のメッセージを保持するか、最も古い部分を1つのメッセージに要約してください。トークンの推定には、文字数を4で割るのが十分な精度です。100,000を大幅に下回るよう努めてください。

429 エラー

完全なキーは8つの同時リクエストと1分あたり300リクエストを許可し、トライアルキーは2と60を許可します。コードが rate_limited または concurrency の HTTP 429 を返す場合は、少し待機して再試行してください。一時的な過負荷も Retry-After: 5 とともに 429 を返します。ストリーミングリクエストはストリームが終了するまで同時実行数のスロットを保持するため、タブを閉じたユーザーはサーバー側で接続を中止する必要があります。

トーンのドリフト

システムメッセージが動作を決定します。短く具体的に保ち、一貫性のために temperature を下げ、クリエイティブな書き込みのために上げます。top_p、stop、seed などのパラメータはそのまま渡されます。

プロトタイプから共有可能な形へ

他のユーザーがチャットを使用する場合は、サーバー側でユーザーごとのレート制限を追加し、1人のユーザーが残高を使い切らないようにしてください。リクエストが失敗した場合は明確なメッセージを表示し、失敗または拒否されたリクエストには課金されないことを忘れないでください。残高は X-Balance-USD 応答ヘッダーから確認するか、GET /v1/balance を呼び出すことができます。

トライアルが尽きたら、$20 から $500 の任意の整数金額でチャージしてください。$50 以上で +5%、$100 以上で +10%、$200 以上で +15% のボーナス付きで、クレジットは期限切れになりません。暗号資産で支払うことができます。価格ページ に詳細があり、ドキュメント には /v1/responses を含むすべてのエンドポイントがリストされています。

質問と回答

すべてのリクエストで履歴全体を送信する必要がありますか?

はい。API はステートレスなので、クライアントはシステムメッセージと過去の会話を毎回送信します。

ブラウザから API に直接アクセスできますか?

技術的には可能ですが、API キーが漏洩する可能性があります。キーはサーバーに保持し、レスポンスをそのサーバー経由でストリーミングしてください。

ストリーミング出力を取得するにはどうすればよいですか?

stream を true に設定します。レスポンスはサーバー送信イベント(SSE)として届き、トークン使用量は最後に報告されます。

レート制限に達するとどうなりますか?

エラーコードが rate_limited または concurrency の HTTP 429 が返されます。待機して再試行してください。ヘッダー Retry-After: 5 が存在する場合は、その秒数待機してください。

フォームを1つ記入するだけでキーが手に入ります

アカウントを作成し、キーをコピーし、基本URLを変更します。これでセットアップは完了です。

APIキーを取得ドキュメントを読む