無審查 LLM 聊天:建立簡單客戶端
一旦擁有 OpenAI 相容的端點,建立無審查 LLM 聊天很簡單:只需一個迴圈、一個訊息列表和一個串流讀取器。以下提供兩個最小化客戶端,一個用於終端機,一個用於瀏覽器,你可以在幾分鐘內執行它們。


重點摘要
- 聊天客戶端由訊息列表加上串流迴圈組成;API 為無狀態,因此你在每一輪都會重新傳送歷史記錄。
- 終端機版本由 25 行 Python 程式碼組成,使用 OpenAI SDK。
- 對於網頁,請將 API 金鑰保留在小型伺服器上,並將回應串流輸出到瀏覽器。
- 在達到 100,000 token 上下文視窗之前修剪舊訊息,並處理 429 錯誤(重試)。
你要建置的內容
兩個小型程式。第一個是終端機聊天,會隨 token 到達進行串流輸出。第二個是網頁,前端有一個小型 Node 伺服器。兩者都透過端點 https://api.uncensoredllmonline.com/v1 使用模型 uncensored 進行通訊。
此為無審查 LLM 聊天,意指該模型針對合法成人用途調整過,能無內容拒絕地進行回應。它是由獨立供應商運營的單一開放權重模型,並非任何大型廠商的官方產品。涉及未成年人的性內容不被允許,且不會被回應。此為純文字模式。
你需要金鑰。註冊後,前往 API 金鑰頁面領取 $0.50 試用額度;這足以應付本文中的所有操作。如果你傾向使用現成應用程式而非自行編寫,請參閱 API 客戶端選項 指南。
聊天狀態運作方式
API 不會記住對話。每個請求必須包含完整的歷史記錄作為訊息列表:首先是系統訊息,然後是使用者與助手交錯的訊息。模型只能看到你傳送的內容。記憶由你的客戶端管理。
這會直接影響成本。輸入 token 每 100 萬個 $0.15,當聊天歷史累積至 8,000 個 token 時,下一輪的輸入成本為 $0.0012(8,000 x $0.15 / 1M)。300 token 的回覆則增加 $0.00015。因此單輪成本約為 $0.00135,而試用額度仍足以支付數百輪。輸出費用為每 100 萬個 token $0.50。
上下文視窗為 100,000 token(提示詞與補全合計)。一般聊天不會接近此限制,但長篇角色扮演或文件聊天可能會達到,因此請規劃修剪(見下文)。
終端機客戶端(Python)
使用 pip install openai 安裝 SDK,設定你的金鑰並執行此程式:
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a direct, friendly assistant."}]
while True:
try:
user = input("\nyou> ").strip()
except (EOFError, KeyboardInterrupt):
break
if not user:
continue
history.append({"role": "user", "content": user})
reply = ""
stream = client.chat.completions.create(
model="uncensored", messages=history, stream=True
)
print("bot> ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
reply += piece
print(piece, end="", flush=True)
history.append({"role": "assistant", "content": reply})
程式碼說明。stream=True 會回傳區塊;每個區塊在 delta.content 中包含一小段文字。檢查 chunk.choices 很重要,因為最後的用量區塊可能在沒有 choices 的情況下到達。回覆會被收集為單一字串,並作為助手訊息加入歷史記錄,這使得下一輪能夠知曉上一輪的內容。按 Ctrl+C 或 Ctrl+D 可乾淨地結束工作階段。
網頁客戶端:金鑰在伺服器,串流至頁面
切勿將 API 金鑰放在瀏覽器 JavaScript 中。任何人都可以讀取它並耗盡你的額度。相反地,運行一個小型伺服器來加入金鑰並轉發串流輸出。此伺服器需要 Node 18 或更新版本,且無需安裝套件:
import http from "node:http";
import { readFileSync } from "node:fs";
const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;
http.createServer(async (req, res) => {
if (req.method === "GET") {
res.setHeader("Content-Type", "text/html");
return res.end(readFileSync("index.html"));
}
if (req.method === "POST" && req.url === "/chat") {
let body = "";
for await (const c of req) body += c;
const { messages } = JSON.parse(body);
const up = await fetch(BASE + "/chat/completions", {
method: "POST",
headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
body: JSON.stringify({ model: "uncensored", messages, stream: true }),
});
res.writeHead(up.status, { "Content-Type": "text/event-stream" });
for await (const chunk of up.body) res.write(chunk);
return res.end();
}
res.statusCode = 404;
res.end();
}).listen(3000);
使用 API_KEY=your_key node server.mjs 啟動它。在 index.html 中,一個文字框和一個 div 就足夠了。關鍵部分在於讀取伺服器發送事件:
async function send(messages, onText) {
const r = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = r.body.getReader();
const dec = new TextDecoder();
let buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const lines = buf.split("\n");
buf = lines.pop();
for (const line of lines) {
if (line.startsWith("data: ") === false) continue;
const data = line.slice(6).trim();
if (data === "[DONE]") return;
const delta = JSON.parse(data).choices?.[0]?.delta?.content;
if (delta) onText(delta);
}
}
}呼叫 send(history, text => out.textContent += text),然後將完成的回應推入你的歷史記錄陣列。伺服器發送的事件 (SSE) 會將資料塊分割在任意位元組位置,這就是程式碼保留緩衝區並僅解析完整行的原因。
保持長對話健康
較長的會話會出現三種問題,且都有簡單的解決方案。
歷史記錄無限增長
保留系統訊息與最近的 N 個訊息,或將最舊的部分摘要為單一訊息。將字元數除以四是估算 token 數的足夠準確方式。目標是遠低於 100,000。
429 錯誤
完整金鑰允許 8 個並行請求與每分鐘 300 個;試用金鑰允許 2 個與每分鐘 60 個。若看到 HTTP 429 且程式碼為 rate_limited 或 concurrency,請稍候並重試。暫時過載也會回傳 429 並帶有 Retry-After: 5。串流請求會佔用其並行槽位直到串流結束,因此關閉分頁的用戶應在伺服器端中止連線。
語氣漂移
系統訊息設定行為。保持簡短具體,降低 temperature 以保持一致性,提高則用於創意寫作。參數如 top_p、stop 與 seed 會透傳。
從原型到可分享的應用
如果其他人將使用你的聊天,請在伺服器上新增每用戶速率限制,以防一人耗盡餘額。當請求失敗時顯示明確訊息,並記住失敗或被拒的請求不會收費。你可以從 X-Balance-USD 回應標頭讀取剩餘額度,或呼叫 GET /v1/balance。
當試用額度耗盡時,以 $20 至 $500 的整數金額進行儲值。較大的儲值額享有額外獎勵:$50 起 +5%、$100 起 +10%、$200 起 +15%,且額度永不過期。你可以使用加密貨幣付款。價格頁面 有詳細資訊,文件 列出了所有端點,包括 /v1/responses(如果你偏好該格式)。
更多指南
問答
我是否需要在每次請求時傳送完整歷史記錄?
是的。API 為無狀態,因此你的客戶端每次都會傳送系統提示詞與之前的對話輪次。
瀏覽器可以直接呼叫 API 嗎?
技術上可行,但會暴露你的金鑰。請將金鑰保留在伺服器上,並透過它串流輸出回應。
我如何取得串流輸出?
將 stream 設為 true。回應以伺服器發送事件 (SSE) 形式到達,並在結尾報告 token 用量。
如果我達到速率限制會發生什麼事?
你會收到 HTTP 429,代碼為 rate_limited 或 concurrency。請等待並重試;若標頭 Retry-After: 5 存在,請等待該秒數。