无审查 LLM 聊天:构建简易客户端
一旦拥有 OpenAI 兼容的接口,构建无审查 LLM 聊天很容易:一个循环、一个消息列表和一个流式读取器。下面是两个最小化的客户端,一个用于终端,一个用于浏览器,你可以在几分钟内运行它们。


要点
- 聊天客户端是一个消息列表加上一个流式循环;API 是无状态的,因此你在每一轮都要重新发送历史记录。
- 终端版本是 25 行 Python 代码,使用 OpenAI SDK。
- 对于 Web,将 API 密钥保留在小型服务器上,并将响应流式传输到浏览器。
- 在达到 100,000-token 上下文窗口之前修剪旧消息,并处理 429 错误并重试。
你正在构建的内容
两个小程序。第一个是终端聊天,在 token 到达时进行流式输出。第二个是网页,其前端有一个小型 Node.js 服务器。两者都使用模型 uncensored 访问同一接口 https://api.uncensoredllmonline.com/v1。
这种无审查 LLM 聊天的含义是,该模型经过调整,可以在合法成人使用时无需内容拒绝即可回答。它是由独立提供商运营的一个开放权重模型,不是任何大型厂商的官方产品。涉及未成年人的色情内容是不允许的,也不会被回答。它仅支持文本。
你需要一个密钥。注册后,在 API 密钥页面领取 $0.50 的试用额度;这对于本文中的所有操作都足够了。如果你更愿意使用现成的应用程序而不是自己编写,请参阅 API 客户端选项 指南。
聊天状态的工作原理
API 不记住对话。每个请求必须携带完整的历史记录作为消息列表:首先是系统消息,然后是交替的用户和助手消息。模型只能看到你发送的内容。你的客户端拥有记忆。
这直接影响成本。每 1M 输入 token 价格为 $0.15,历史记录增长到 8,000 token 的聊天在下一轮的成本为 $0.0012(8,000 x $0.15 / 1M)。300 token 的回复增加 $0.00015。因此,一轮的成本约为 $0.00135,试用额度仍然可以覆盖数百轮。输出按每 1M token $0.50 计费。
上下文窗口为 100,000 个 token,包括提示词和补全。正常聊天永远不会接近它,但长角色扮演或文档聊天可能会接近它,因此请规划好截断策略(见下文)。
Python 终端客户端
使用 pip install openai 安装 SDK,设置密钥并运行以下代码:
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a direct, friendly assistant."}]
while True:
try:
user = input("\nyou> ").strip()
except (EOFError, KeyboardInterrupt):
break
if not user:
continue
history.append({"role": "user", "content": user})
reply = ""
stream = client.chat.completions.create(
model="uncensored", messages=history, stream=True
)
print("bot> ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
reply += piece
print(piece, end="", flush=True)
history.append({"role": "assistant", "content": reply})
代码说明。stream=True 返回数据块;每个块包含一小段文本,位于 delta.content 中。检查 chunk.choices 很重要,因为最终的用量块可能不包含 choices。回复被收集为一个字符串,并作为助手消息添加到历史记录中,这使得下一轮对话能够感知上一轮的内容。按 Ctrl+C 或 Ctrl+D 可干净地结束会话。
Web 客户端:密钥在服务器上,流式传输到页面
永远不要将 API 密钥放在浏览器 JavaScript 中。任何人都可以读取它并消耗你的额度。相反,运行一个小型服务器,添加密钥并转发流。该服务器示例需要 Node 18 或更高版本,且无需额外依赖包:
import http from "node:http";
import { readFileSync } from "node:fs";
const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;
http.createServer(async (req, res) => {
if (req.method === "GET") {
res.setHeader("Content-Type", "text/html");
return res.end(readFileSync("index.html"));
}
if (req.method === "POST" && req.url === "/chat") {
let body = "";
for await (const c of req) body += c;
const { messages } = JSON.parse(body);
const up = await fetch(BASE + "/chat/completions", {
method: "POST",
headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
body: JSON.stringify({ model: "uncensored", messages, stream: true }),
});
res.writeHead(up.status, { "Content-Type": "text/event-stream" });
for await (const chunk of up.body) res.write(chunk);
return res.end();
}
res.statusCode = 404;
res.end();
}).listen(3000);
使用 API_KEY=your_key node server.mjs 启动它。在 index.html 中,一个文本框和一个 div 就足够了。关键部分在于读取服务器发送的事件:
async function send(messages, onText) {
const r = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = r.body.getReader();
const dec = new TextDecoder();
let buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const lines = buf.split("\n");
buf = lines.pop();
for (const line of lines) {
if (line.startsWith("data: ") === false) continue;
const data = line.slice(6).trim();
if (data === "[DONE]") return;
const delta = JSON.parse(data).choices?.[0]?.delta?.content;
if (delta) onText(delta);
}
}
}调用 send(history, text => out.textContent += text),然后将完整的回复推入你的历史记录数组。服务器发送事件(SSE)协议会在任意字节位置分割数据块,这就是代码保留缓冲区并仅解析完整行的原因。
保持长聊天的健康
在较长的会话中会出现三个问题,并且都有简单的解决方法。
历史记录无限增长
保留系统提示词和最近的 N 条消息,或将最旧的部分总结为一条消息。将字符数除以四可作为 token 数量的粗略估算。尽量远低于 100,000。
429 错误
完整密钥允许 8 个并发请求和每分钟 300 个请求;试用密钥允许 2 个并发请求和每分钟 60 个请求。如果看到 HTTP 429 错误且错误码为 rate_limited 或 concurrency,请等待片刻并重试。临时过载也会返回带有 Retry-After: 5 的 429 状态码。流式请求会占用并发槽位,直到流结束,因此如果用户关闭标签页,应在服务器端中止连接。
语气漂移
系统消息用于设定行为。保持简短具体,降低 temperature 以提高一致性,提高它用于创意写作。top_p、stop 和 seed 等参数会透传。
从原型到可共享的应用
如果其他人将使用你的聊天,请在服务器端添加按用户划分的速率限制,以防止一人耗尽余额。当请求失败时显示清晰的消息,并记住失败或被拒绝的请求不会收费。你可以从 X-Balance-USD 响应头读取剩余余额,或调用 GET /v1/balance。
当试用额度用完时,充值任意整金额,从 $20 到 $500。更大的充值享有额外奖励:$50 起 +5%,$100 起 +10%,$200 起 +15%,且额度永不失效。你可以通过加密货币支付。定价页面 有详细信息,文档 列出了所有接口,包括 /v1/responses,如果你更喜欢那种格式的话。
更多指南
问答
每次请求都需要发送完整的历史记录吗?
是的。API 是无状态的,因此你的客户端每次都需要发送系统消息和之前的对话轮次。
浏览器可以直接调用 API 吗?
技术上可行,但这会暴露你的密钥。将密钥保留在服务器上,并通过它流式传输响应。
如何获取流式输出?
将 stream 设置为 true。响应以服务器发送事件的形式到达,并在末尾报告 token 使用情况。
如果我达到速率限制会发生什么?
你会收到 HTTP 429 错误,错误码为 rate_limited 或 concurrency。等待并重试;如果存在标头 Retry-After: 5,请等待相应秒数。