中文 ▾
获取 API 密钥

无审查 LLM 聊天:构建简易客户端

一旦拥有 OpenAI 兼容的接口,构建无审查 LLM 聊天很容易:一个循环、一个消息列表和一个流式读取器。下面是两个最小化的客户端,一个用于终端,一个用于浏览器,你可以在几分钟内运行它们。

更新于

终端上方的聊天气泡,流式粒子在它们之间流动,代表流式聊天客户端
本地 GPU 塔通过发光电缆连接到云服务器的等距插图,对比本地和托管 LLM

要点

  1. 聊天客户端是一个消息列表加上一个流式循环;API 是无状态的,因此你在每一轮都要重新发送历史记录。
  2. 终端版本是 25 行 Python 代码,使用 OpenAI SDK。
  3. 对于 Web,将 API 密钥保留在小型服务器上,并将响应流式传输到浏览器。
  4. 在达到 100,000-token 上下文窗口之前修剪旧消息,并处理 429 错误并重试。

从试用额度开始

邮箱和密码,密钥立即显示在屏幕上。

获取 API 密钥

你正在构建的内容

两个小程序。第一个是终端聊天,在 token 到达时进行流式输出。第二个是网页,其前端有一个小型 Node.js 服务器。两者都使用模型 uncensored 访问同一接口 https://api.uncensoredllmonline.com/v1。

这种无审查 LLM 聊天的含义是,该模型经过调整,可以在合法成人使用时无需内容拒绝即可回答。它是由独立提供商运营的一个开放权重模型,不是任何大型厂商的官方产品。涉及未成年人的色情内容是不允许的,也不会被回答。它仅支持文本。

你需要一个密钥。注册后,在 API 密钥页面领取 $0.50 的试用额度;这对于本文中的所有操作都足够了。如果你更愿意使用现成的应用程序而不是自己编写,请参阅 API 客户端选项 指南。

聊天状态的工作原理

API 不记住对话。每个请求必须携带完整的历史记录作为消息列表:首先是系统消息,然后是交替的用户和助手消息。模型只能看到你发送的内容。你的客户端拥有记忆。

这直接影响成本。每 1M 输入 token 价格为 $0.15,历史记录增长到 8,000 token 的聊天在下一轮的成本为 $0.0012(8,000 x $0.15 / 1M)。300 token 的回复增加 $0.00015。因此,一轮的成本约为 $0.00135,试用额度仍然可以覆盖数百轮。输出按每 1M token $0.50 计费。

上下文窗口为 100,000 个 token,包括提示词和补全。正常聊天永远不会接近它,但长角色扮演或文档聊天可能会接近它,因此请规划好截断策略(见下文)。

Python 终端客户端

使用 pip install openai 安装 SDK,设置密钥并运行以下代码:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

代码说明。stream=True 返回数据块;每个块包含一小段文本,位于 delta.content 中。检查 chunk.choices 很重要,因为最终的用量块可能不包含 choices。回复被收集为一个字符串,并作为助手消息添加到历史记录中,这使得下一轮对话能够感知上一轮的内容。按 Ctrl+C 或 Ctrl+D 可干净地结束会话。

Web 客户端:密钥在服务器上,流式传输到页面

永远不要将 API 密钥放在浏览器 JavaScript 中。任何人都可以读取它并消耗你的额度。相反,运行一个小型服务器,添加密钥并转发流。该服务器示例需要 Node 18 或更高版本,且无需额外依赖包:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

使用 API_KEY=your_key node server.mjs 启动它。在 index.html 中,一个文本框和一个 div 就足够了。关键部分在于读取服务器发送的事件:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

调用 send(history, text => out.textContent += text),然后将完整的回复推入你的历史记录数组。服务器发送事件(SSE)协议会在任意字节位置分割数据块,这就是代码保留缓冲区并仅解析完整行的原因。

保持长聊天的健康

在较长的会话中会出现三个问题,并且都有简单的解决方法。

历史记录无限增长

保留系统提示词和最近的 N 条消息,或将最旧的部分总结为一条消息。将字符数除以四可作为 token 数量的粗略估算。尽量远低于 100,000。

429 错误

完整密钥允许 8 个并发请求和每分钟 300 个请求;试用密钥允许 2 个并发请求和每分钟 60 个请求。如果看到 HTTP 429 错误且错误码为 rate_limited 或 concurrency,请等待片刻并重试。临时过载也会返回带有 Retry-After: 5 的 429 状态码。流式请求会占用并发槽位,直到流结束,因此如果用户关闭标签页,应在服务器端中止连接。

语气漂移

系统消息用于设定行为。保持简短具体,降低 temperature 以提高一致性,提高它用于创意写作。top_p、stop 和 seed 等参数会透传。

从原型到可共享的应用

如果其他人将使用你的聊天,请在服务器端添加按用户划分的速率限制,以防止一人耗尽余额。当请求失败时显示清晰的消息,并记住失败或被拒绝的请求不会收费。你可以从 X-Balance-USD 响应头读取剩余余额,或调用 GET /v1/balance。

当试用额度用完时,充值任意整金额,从 $20 到 $500。更大的充值享有额外奖励:$50 起 +5%,$100 起 +10%,$200 起 +15%,且额度永不失效。你可以通过加密货币支付。定价页面 有详细信息,文档 列出了所有接口,包括 /v1/responses,如果你更喜欢那种格式的话。

问答

每次请求都需要发送完整的历史记录吗?

是的。API 是无状态的,因此你的客户端每次都需要发送系统消息和之前的对话轮次。

浏览器可以直接调用 API 吗?

技术上可行,但这会暴露你的密钥。将密钥保留在服务器上,并通过它流式传输响应。

如何获取流式输出?

将 stream 设置为 true。响应以服务器发送事件的形式到达,并在末尾报告 token 使用情况。

如果我达到速率限制会发生什么?

你会收到 HTTP 429 错误,错误码为 rate_limited 或 concurrency。等待并重试;如果存在标头 Retry-After: 5,请等待相应秒数。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥阅读文档