VI ▾
Lấy khóa API

Trò chuyện LLM không kiểm duyệt: Xây dựng ứng dụng đơn giản

Một ứng dụng trò chuyện LLM không kiểm duyệt rất dễ xây dựng khi bạn đã có một endpoint tương thích OpenAI: một vòng lặp, danh sách tin nhắn và trình đọc truyền phát. Dưới đây là hai ứng dụng tối giản, một cho terminal và một cho trình duyệt, mà bạn có thể chạy trong vài phút.

Cập nhật

Các bong bóng trò chuyện màu kính phía trên terminal với các hạt truyền phát di chuyển giữa chúng, đại diện cho một ứng dụng trò chuyện truyền phát
Minh họa đẳng hướng của tháp GPU cục bộ được liên kết với máy chủ đám mây bằng cáp phát sáng, so sánh LLM cục bộ và lưu trữ

Điểm chính

  1. Một ứng dụng trò chuyện là danh sách tin nhắn cộng với vòng lặp truyền phát; API không trạng thái, nên bạn gửi lại lịch sử mỗi lượt.
  2. Phiên bản terminal gồm 25 dòng mã Python với SDK OpenAI.
  3. Đối với web, hãy giữ khóa API trên một máy chủ nhỏ và truyền phát phản hồi về trình duyệt.
  4. Cắt bớt các tin nhắn cũ trước khi bạn đạt đến cửa sổ ngữ cảnh 100.000 token, và xử lý lỗi 429 bằng cách thử lại.

Bắt đầu với tín dụng dùng thử

Email và mật khẩu, khóa hiện ngay trên màn hình.

Lấy khóa API

Bạn đang xây dựng

Hai chương trình nhỏ. Cái đầu tiên là trò chuyện terminal truyền phát token liên tục khi chúng đến. Cái thứ hai là trang web có một máy chủ Node nhỏ phía trước. Cả hai đều giao tiếp với cùng một endpoint, https://api.uncensoredllmonline.com/v1, sử dụng mô hình uncensored.

Đây là trò chuyện LLM không kiểm duyệt theo nghĩa mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Đây là một mô hình trọng số mở do một nhà cung cấp độc lập vận hành, không phải sản phẩm chính thức của bất kỳ nhà cung cấp lớn nào. Nội dung tình dục liên quan đến người chưa thành niên không được phép và sẽ không bao giờ được trả lời. Chỉ hỗ trợ văn bản.

Bạn cần một khóa API. Sau khi đăng ký, hãy nhận $0,50 dùng thử trên trang khóa API; điều đó là đủ cho mọi thứ trong bài viết này. Nếu bạn muốn dùng ứng dụng có sẵn thay vì tự viết, hãy xem hướng dẫn về các tùy chọn khách hàng API.

Cách hoạt động của trạng thái trò chuyện

API không ghi nhớ các cuộc hội thoại. Mọi yêu cầu đều phải chứa toàn bộ lịch sử dưới dạng danh sách tin nhắn: một tin nhắn hệ thống ở đầu, sau đó là các tin nhắn người dùng và trợ lý xen kẽ. Mô hình chỉ thấy những gì bạn gửi. Ứng dụng của bạn sở hữu bộ nhớ.

Điều đó ảnh hưởng trực tiếp đến chi phí. Ở mức $0,15 cho 1 triệu token đầu vào, một cuộc trò chuyện đã phát triển lên 8.000 token lịch sử tốn $0,0012 cho phần đầu vào ở lượt tiếp theo (8.000 x $0,15 / 1 triệu). Một câu trả lời 300 token thêm $0,00015. Vậy một lượt tốn khoảng $0,00135, và tín dụng dùng thử vẫn bao phủ được vài trăm lượt như vậy. Đầu ra được tính phí $0,50 cho 1 triệu token.

Cửa sổ ngữ cảnh là 100.000 token, bao gồm prompt và kết quả. Một cuộc trò chuyện bình thường không bao giờ đến gần giới hạn đó, nhưng một cuộc đóng vai dài hoặc trò chuyện tài liệu thì có thể, vì vậy hãy lên kế hoạch cắt ngắn (xem bên dưới).

Ứng dụng terminal bằng Python

Cài đặt SDK với pip install openai, đặt khóa của bạn và chạy lệnh này:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Ghi chú về mã. stream=True trả về các chunk; mỗi chunk có một đoạn văn bản nhỏ trong delta.content. Việc kiểm tra chunk.choices rất quan trọng vì chunk sử dụng cuối cùng có thể đến mà không có choices. Câu trả lời được thu thập thành một chuỗi và thêm vào lịch sử dưới dạng tin nhắn của trợ lý, đây là cách giúp lượt sau biết được lượt trước. Ctrl+C hoặc Ctrl+D kết thúc phiên một cách sạch sẽ.

Ứng dụng web: khóa trên máy chủ, truyền phát về trang

Đừng bao giờ đặt khóa API trong JavaScript của trình duyệt. Bất kỳ ai cũng có thể đọc nó và tiêu tốn tín dụng của bạn. Thay vào đó, hãy chạy một máy chủ nhỏ thêm khóa và chuyển tiếp luồng truyền phát. Cái này cần Node 18 trở lên và không cần gói:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

Khởi động nó với API_KEY=your_key node server.mjs. Trong index.html, một hộp văn bản và một div là đủ. Phần quan trọng là đọc các sự kiện gửi từ máy chủ:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

Gọi send(history, text => out.textContent += text), sau đó đẩy câu trả lời hoàn chỉnh vào mảng lịch sử của bạn. Sự kiện gửi bởi máy chủ chia các chunk tại các vị trí byte tùy ý, đó là lý do tại sao mã giữ một bộ đệm và chỉ phân tích các dòng hoàn chỉnh.

Giữ cho các cuộc trò chuyện dài ổn định

Ba vấn đề xảy ra trong các phiên làm việc dài hơn, và tất cả đều có cách khắc phục đơn giản.

Lịch sử không bao giờ hết

Giữ lại thông báo hệ thống và N tin nhắn mới nhất, hoặc tóm tắt phần cũ nhất thành một tin nhắn. Đếm số ký tự chia cho 4 là một ước lượng đủ tốt cho số token. Hãy cố gắng duy trì ở mức thấp hơn nhiều so với 100.000.

Lỗi 429

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 mỗi phút; một khóa dùng thử cho phép 2 và 60. Nếu bạn thấy HTTP 429 với mã rate_limited hoặc concurrency, hãy đợi một lúc và thử lại. Quá tải tạm thời cũng trả về 429 với Retry-After: 5. Một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc, vì vậy một người dùng đóng tab nên hủy kết nối trên server.

Lệch tông giọng

Tin nhắn hệ thống xác định hành vi. Hãy giữ nó ngắn gọn và cụ thể, giảm temperature để nhất quán và tăng nó cho việc viết sáng tạo. Các tham số như top_p, stop và seed được chuyển tiếp.

Từ nguyên mẫu đến thứ gì đó bạn có thể chia sẻ

Nếu người khác sẽ sử dụng trò chuyện của bạn, hãy thêm giới hạn tốc độ cho từng người dùng trên server của bạn để một người không thể làm cạn số dư. Hiển thị thông báo rõ ràng khi một yêu cầu thất bại, và nhớ rằng các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Bạn có thể đọc số dư còn lại từ header phản hồi X-Balance-USD, hoặc gọi GET /v1/balance.

Khi tín dụng dùng thử hết hạn, hãy nạp tiền với số nguyên bất kỳ từ $20 đến $500. Các khoản nạp lớn hơn có thêm phần thưởng +5% từ $50, +10% từ $100 và +15% từ $200, và tín dụng không bao giờ hết hạn. Bạn có thể thanh toán bằng tiền mã hóa. Trang giá cả có chi tiết, và tài liệu liệt kê mọi endpoint, bao gồm /v1/responses nếu bạn thích định dạng đó.

Hỏi đáp

Tôi có cần gửi toàn bộ lịch sử trong mỗi yêu cầu không?

Có. API hoạt động không trạng thái, nên ứng dụng của bạn phải gửi tin nhắn hệ thống và các lượt hội thoại trước đó mỗi lần.

Trình duyệt có thể gọi API trực tiếp không?

Về mặt kỹ thuật thì có, nhưng điều này sẽ làm lộ khóa của bạn. Hãy giữ khóa trên máy chủ và truyền phát phản hồi qua đó.

Làm thế nào để tôi nhận đầu ra truyền phát?

Đặt stream thành true. Phản hồi đến dưới dạng sự kiện gửi từ máy chủ, với thông tin sử dụng token được báo cáo ở cuối.

Điều gì xảy ra nếu tôi đạt giới hạn tốc độ?

Bạn nhận HTTP 429 với mã rate_limited hoặc concurrency. Hãy đợi và thử lại; nếu header Retry-After: 5 có mặt, hãy đợi số giây đó.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa APIĐọc tài liệu