繁中 ▾
取得 API 金鑰

無審查 LLM 聊天:建立簡單客戶端

一旦擁有 OpenAI 相容的端點,建立無審查 LLM 聊天很簡單:只需一個迴圈、一個訊息列表和一個串流讀取器。以下提供兩個最小化客戶端,一個用於終端機,一個用於瀏覽器,你可以在幾分鐘內執行它們。

更新於

終端機上方的聊天氣泡,串流粒子在它們之間流動,代表串流聊天客戶端
等距插圖:本地 GPU 塔透過發光電纜連接至雲端伺服器,比較本地與託管 LLM

重點摘要

  1. 聊天客戶端由訊息列表加上串流迴圈組成;API 為無狀態,因此你在每一輪都會重新傳送歷史記錄。
  2. 終端機版本由 25 行 Python 程式碼組成,使用 OpenAI SDK。
  3. 對於網頁,請將 API 金鑰保留在小型伺服器上,並將回應串流輸出到瀏覽器。
  4. 在達到 100,000 token 上下文視窗之前修剪舊訊息,並處理 429 錯誤(重試)。

從試用額度開始

電子郵件和密碼,金鑰立即顯示在畫面上。

取得 API 金鑰

你要建置的內容

兩個小型程式。第一個是終端機聊天,會隨 token 到達進行串流輸出。第二個是網頁,前端有一個小型 Node 伺服器。兩者都透過端點 https://api.uncensoredllmonline.com/v1 使用模型 uncensored 進行通訊。

此為無審查 LLM 聊天,意指該模型針對合法成人用途調整過,能無內容拒絕地進行回應。它是由獨立供應商運營的單一開放權重模型,並非任何大型廠商的官方產品。涉及未成年人的性內容不被允許,且不會被回應。此為純文字模式。

你需要金鑰。註冊後,前往 API 金鑰頁面領取 $0.50 試用額度;這足以應付本文中的所有操作。如果你傾向使用現成應用程式而非自行編寫,請參閱 API 客戶端選項 指南。

聊天狀態運作方式

API 不會記住對話。每個請求必須包含完整的歷史記錄作為訊息列表:首先是系統訊息,然後是使用者與助手交錯的訊息。模型只能看到你傳送的內容。記憶由你的客戶端管理。

這會直接影響成本。輸入 token 每 100 萬個 $0.15,當聊天歷史累積至 8,000 個 token 時,下一輪的輸入成本為 $0.0012(8,000 x $0.15 / 1M)。300 token 的回覆則增加 $0.00015。因此單輪成本約為 $0.00135,而試用額度仍足以支付數百輪。輸出費用為每 100 萬個 token $0.50。

上下文視窗為 100,000 token(提示詞與補全合計)。一般聊天不會接近此限制,但長篇角色扮演或文件聊天可能會達到,因此請規劃修剪(見下文)。

終端機客戶端(Python)

使用 pip install openai 安裝 SDK,設定你的金鑰並執行此程式:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

程式碼說明。stream=True 會回傳區塊;每個區塊在 delta.content 中包含一小段文字。檢查 chunk.choices 很重要,因為最後的用量區塊可能在沒有 choices 的情況下到達。回覆會被收集為單一字串,並作為助手訊息加入歷史記錄,這使得下一輪能夠知曉上一輪的內容。按 Ctrl+C 或 Ctrl+D 可乾淨地結束工作階段。

網頁客戶端:金鑰在伺服器,串流至頁面

切勿將 API 金鑰放在瀏覽器 JavaScript 中。任何人都可以讀取它並耗盡你的額度。相反地,運行一個小型伺服器來加入金鑰並轉發串流輸出。此伺服器需要 Node 18 或更新版本,且無需安裝套件:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

使用 API_KEY=your_key node server.mjs 啟動它。在 index.html 中,一個文字框和一個 div 就足夠了。關鍵部分在於讀取伺服器發送事件:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

呼叫 send(history, text => out.textContent += text),然後將完成的回應推入你的歷史記錄陣列。伺服器發送的事件 (SSE) 會將資料塊分割在任意位元組位置,這就是程式碼保留緩衝區並僅解析完整行的原因。

保持長對話健康

較長的會話會出現三種問題,且都有簡單的解決方案。

歷史記錄無限增長

保留系統訊息與最近的 N 個訊息,或將最舊的部分摘要為單一訊息。將字元數除以四是估算 token 數的足夠準確方式。目標是遠低於 100,000。

429 錯誤

完整金鑰允許 8 個並行請求與每分鐘 300 個;試用金鑰允許 2 個與每分鐘 60 個。若看到 HTTP 429 且程式碼為 rate_limited 或 concurrency,請稍候並重試。暫時過載也會回傳 429 並帶有 Retry-After: 5。串流請求會佔用其並行槽位直到串流結束,因此關閉分頁的用戶應在伺服器端中止連線。

語氣漂移

系統訊息設定行為。保持簡短具體,降低 temperature 以保持一致性,提高則用於創意寫作。參數如 top_p、stop 與 seed 會透傳。

從原型到可分享的應用

如果其他人將使用你的聊天,請在伺服器上新增每用戶速率限制,以防一人耗盡餘額。當請求失敗時顯示明確訊息,並記住失敗或被拒的請求不會收費。你可以從 X-Balance-USD 回應標頭讀取剩餘額度,或呼叫 GET /v1/balance。

當試用額度耗盡時,以 $20 至 $500 的整數金額進行儲值。較大的儲值額享有額外獎勵:$50 起 +5%、$100 起 +10%、$200 起 +15%,且額度永不過期。你可以使用加密貨幣付款。價格頁面 有詳細資訊,文件 列出了所有端點,包括 /v1/responses(如果你偏好該格式)。

問答

我是否需要在每次請求時傳送完整歷史記錄?

是的。API 為無狀態,因此你的客戶端每次都會傳送系統提示詞與之前的對話輪次。

瀏覽器可以直接呼叫 API 嗎?

技術上可行,但會暴露你的金鑰。請將金鑰保留在伺服器上,並透過它串流輸出回應。

我如何取得串流輸出?

將 stream 設為 true。回應以伺服器發送事件 (SSE) 形式到達,並在結尾報告 token 用量。

如果我達到速率限制會發生什麼事?

你會收到 HTTP 429,代碼為 rate_limited 或 concurrency。請等待並重試;若標頭 Retry-After: 5 存在,請等待該秒數。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰閱讀文件