TH ▾
รับคีย์ API

แชท LLM แบบไม่เซ็นเซอร์: สร้างไคลเอนต์ง่าย

แชท LLM แบบไม่เซ็นเซอร์นั้นสร้างได้ง่ายเมื่อคุณมีเอนด์พอยต์ที่เข้ากันได้กับ OpenAI: ลูป การลิสต์ข้อความ และตัวอ่านสตรีมมิง ด้านล่างคือไคลเอนต์พื้นฐานสองตัว สำหรับเทอร์มินัลและเบราว์เซอร์ ซึ่งคุณสามารถรันได้ภายในไม่กี่นาที

อัปเดต

ฟองแชทสีใสเหนือเทอร์มินัลพร้อมอนุภาคสตรีมมิงไหลระหว่างกัน แทนไคลเอนต์แชทแบบสตรีมมิง
ภาพประกอบไอโซเมตริกของตู้ GPU ในเครื่องที่เชื่อมต่อกับเซิร์ฟเวอร์คลาวด์ด้วยสายไฟส่องสว่าง เปรียบเทียบ LLM แบบในเครื่องและแบบโฮสต์

ประเด็นสำคัญ

  1. ไคลเอนต์แชทคือลิสต์ข้อความบวกกับลูปสตรีมมิง; API เป็นแบบ stateless ดังนั้นคุณต้องส่งประวัติใหม่ในทุกเทิร์น
  2. เวอร์ชันเทอร์มินัลมี 25 บรรทัดของ Python โดยใช้ OpenAI SDK
  3. สำหรับเว็บ ให้เก็บคีย์ API ไว้ที่เซิร์ฟเวอร์ขนาดเล็กและสตรีมการตอบกลับไปยังเบราว์เซอร์
  4. ตัดข้อความเก่าออกก่อนที่คุณจะถึงหน้าต่างบริบท 100,000 โทเคน และจัดการกับ 429 ด้วยการลองใหม่

เริ่มต้นด้วยเครดิตทดลองใช้

อีเมลและรหัสผ่าน คีย์แสดงบนหน้าจอทันที

รับคีย์ API

สิ่งที่คุณกำลังสร้าง

โปรแกรมขนาดเล็กสองตัว ตัวแรกคือแชทเทอร์มินัลที่สตรีมโทเคนเมื่อได้รับข้อมูล ตัวที่สองคือหน้าเว็บที่มีเซิร์ฟเวอร์ Node ขนาดเล็กอยู่ด้านหน้า ทั้งสองตัวเชื่อมต่อกับเอนด์พอยต์เดียวกัน https://api.uncensoredllmonline.com/v1 โดยใช้โมเดล uncensored

นี่คือแชท LLM แบบไม่กรอง ในความหมายที่โมเดลถูกปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เป็นโมเดลโอเพนเวตหนึ่งตัวที่ให้บริการโดยผู้ให้บริการอิสระ ไม่ใช่ผลิตภัณฑ์ทางการของผู้ขายรายใหญ่ เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตและไม่มีการตอบเลย เนื้อหาเป็นข้อความเท่านั้น

คุณต้องมีคีย์ หลังจากสมัครสมาชิกแล้ว ให้ขอเครดิตทดลอง $0.50 บนหน้า หน้าคีย์ API ซึ่งเพียงพอสำหรับทุกสิ่งในบทความนี้ หากคุณต้องการใช้แอปสำเร็จรูปแทนที่จะเขียนเอง โปรดดูคู่มือตัวเลือก ไคลเอนต์ API

การทำงานของสถานะแชท

API ไม่จำการสนทนา คำขอทุกคำต้องประกอบด้วยประวัติทั้งหมดในรูปแบบรายการข้อความ: เริ่มต้นด้วยข้อความระบบ จากนั้นสลับระหว่างข้อความผู้ใช้และข้อความผู้ช่วย โมเดลเห็นเฉพาะข้อมูลที่คุณส่งให้ ไคลเอนต์ของคุณเป็นเจ้าของหน่วยความจำ

สิ่งนี้มีผลโดยตรงต่อต้นทุน ที่อัตรา $0.15 ต่อ 1M โทเคนอินพุต การแชทที่มีประวัติยาว 8,000 โทเคนจะมีต้นทุนอินพุต $0.0012 สำหรับรอบถัดไป (8,000 x $0.15 / 1M) คำตอบความยาว 300 โทเคนเพิ่มต้นทุน $0.00015 ดังนั้นหนึ่งรอบมีต้นทุนประมาณ $0.00135 และเครดิตทดลองยังครอบคลุมได้หลายร้อยรอบ ส่วนเอาท์พุตคิดอัตรา $0.50 ต่อ 1M

หน้าต่างบริบทมีขนาด 100,000 โทเคน รวมพรอมต์และคอมพลีชัน การแชทปกติไม่เคยเข้าใกล้ขีดจำกัดนี้ แต่การแชทบทบาทสมมติหรือแชทเอกสารความยาวสูงอาจทำได้ ดังนั้นควรวางแผนตัดข้อความออก (ดูด้านล่าง)

ไคลเอนต์เทอร์มินัลด้วย Python

ติดตั้ง SDK ด้วย pip install openai ตั้งค่าคีย์ของคุณ แล้วรันโค้ดนี้:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

หมายเหตุเกี่ยวกับโค้ด stream=True ส่งข้อมูลแบบชิ้นส่วน; แต่ละชิ้นส่วนมีข้อความขนาดเล็กใน delta.content การตรวจสอบ chunk.choices สำคัญเพราะชิ้นส่วนการใช้งานสุดท้ายอาจมาถึงโดยไม่มี choices ข้อตอบถูกเก็บรวมเป็นสตริงเดียวและเพิ่มลงในประวัติเป็นข้อความผู้ช่วย ซึ่งทำให้เทิร์นถัดไปรู้บริบทของเทิร์นก่อนหน้า Ctrl+C หรือ Ctrl+D จะปิดเซสชันอย่างเรียบร้อย

ไคลเอนต์เว็บ: คีย์บนเซิร์ฟเวอร์ สตรีมไปยังหน้าเว็บ

อย่าใส่คีย์ API ใน JavaScript ของเบราว์เซอร์ ใครก็สามารถอ่านคีย์และใช้เครดิตของคุณได้ ให้รันเซิร์ฟเวอร์ขนาดเล็กที่เพิ่มคีย์และส่งต่อสตรีม เซิร์ฟเวอร์นี้ต้องการ Node 18 ขึ้นไป และไม่ต้องการแพ็กเกจ:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

เริ่มด้วย API_KEY=your_key node server.mjs ใน index.html ช่องกรอกข้อความและ div เพียงพอ ส่วนที่สำคัญคือการอ่านเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

เรียก send(history, text => out.textContent += text) แล้วเพิ่มข้อตอบที่เสร็จสมบูรณ์ลงในอาร์เรย์ประวัติของคุณ เหตุการณ์ที่ส่งจากเซิร์ฟเวอร์แบ่งชิ้นส่วนที่ตำแหน่งไบต์แบบสุ่ม ซึ่งเป็นเหตุผลที่โค้ดเก็บ buffer ไว้และแยกวิเคราะห์เฉพาะบรรทัดที่สมบูรณ์

รักษาความสมบูรณ์ของแชทยาว

มีสามสิ่งที่ผิดพลาดในเซสชันที่ยาวขึ้น และทั้งหมดมีวิธีแก้ไขง่ายๆ

ประวัติเติบโตไม่สิ้นสุด

เก็บข้อความระบบและข้อความล่าสุด N ข้อความ หรือสรุปส่วนที่เก่าที่สุดเป็นข้อความเดียว การนับจำนวนตัวอักษรหารด้วยสี่เป็นการประมาณค่าสำหรับโทเคนที่เพียงพอ เป้าหมายคือควรอยู่ต่ำกว่า 100,000 มาก

ข้อผิดพลาด 429

คีย์เต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที; คีย์ทดลองอนุญาตให้ทำ 2 และ 60 หากเห็น HTTP 429 พร้อมโค้ด rate_limited หรือ concurrency ให้รอสักครู่แล้วลองใหม่ การโอเวอร์โหลดชั่วคราวยังส่ง 429 พร้อม Retry-After: 5 คำขอแบบสตรีมจะครอบครองช่อง concurrency จนกว่าสตรีมจะสิ้นสุด ดังนั้นผู้ใช้ที่ปิดแท็บควรตัดการเชื่อมต่อที่เซิร์ฟเวอร์

น้ำเสียงเบี่ยงเบน

ข้อความระบบกำหนดพฤติกรรม เก็บข้อความให้สั้นและเฉพาะเจาะจง ลด temperature เพื่อความสม่ำเสมอ และเพิ่มสำหรับการเขียนเชิงสร้างสรรค์ พารามิเตอร์เช่น top_p, stop และ seed จะส่งผ่าน

จากโปรโตไทป์สู่สิ่งที่แชร์ให้คนอื่นได้

หากมีผู้อื่นใช้งานแชทของคุณ ให้ตั้งค่าขีดจำกัดอัตราต่อผู้ใช้บนเซิร์ฟเวอร์ของคุณเพื่อป้องกันไม่ให้ผู้ใช้รายใดรายหนึ่งใช้ยอดเงินจนหมด แสดงข้อความที่ชัดเจนเมื่อคำขอล้มเหลว และจำไว้ว่าคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน คุณสามารถตรวจสอบยอดเงินคงเหลือได้จากหัวตอบกลับ X-Balance-USD หรือเรียกใช้ GET /v1/balance

เมื่อเครดิตทดลองหมด ให้เติมเงินจำนวนเต็มตั้งแต่ $20 ถึง $500 การเติมเงินจำนวนมากขึ้นจะได้รับโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 และเครดิตจะไม่หมดอายุ คุณสามารถชำระเงินด้วยคริปโต หน้า ราคา มีรายละเอียด และหน้า เอกสาร ระบุเอนด์พอยต์ทั้งหมด รวมถึง /v1/responses หากคุณต้องการใช้รูปแบบนั้น

ถาม-ตอบ

ฉันจำเป็นต้องส่งประวัติการสนทนาทั้งหมดในทุกคำขอหรือไม่?

ใช่ API เป็นแบบไม่มีสถานะ ดังนั้นไคลเอนต์ของคุณจะต้องส่งข้อความระบบและรอบการสนทนาก่อนหน้านี้ทุกครั้ง

เบราว์เซอร์สามารถเรียกใช้ API โดยตรงได้หรือไม่?

เป็นไปได้ในทางเทคนิค แต่จะทำให้คีย์ API ของคุณถูกเปิดเผย ควรเก็บคีย์ไว้บนเซิร์ฟเวอร์และสตรีมมิงการตอบกลับผ่านเซิร์ฟเวอร์นั้น

ฉันจะได้รับเอาต์พุตแบบสตรีมมิงได้อย่างไร?

ตั้งค่า stream เป็น true การตอบกลับจะมาถึงในรูปแบบ server-sent events โดยมีการรายงานการใช้โทเคนที่ส่วนท้าย

เกิดอะไรขึ้นเมื่อฉันถึงขีดจำกัดอัตรา?

คุณจะได้รับ HTTP 429 พร้อมรหัส rate_limited หรือ concurrency ให้รอแล้วลองใหม่; หากมีหัวตอบกลับ Retry-After: 5 ให้รอตามจำนวนวินาทีนั้น

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ APIอ่านเอกสาร