แชท LLM แบบไม่เซ็นเซอร์: สร้างไคลเอนต์ง่าย
แชท LLM แบบไม่เซ็นเซอร์นั้นสร้างได้ง่ายเมื่อคุณมีเอนด์พอยต์ที่เข้ากันได้กับ OpenAI: ลูป การลิสต์ข้อความ และตัวอ่านสตรีมมิง ด้านล่างคือไคลเอนต์พื้นฐานสองตัว สำหรับเทอร์มินัลและเบราว์เซอร์ ซึ่งคุณสามารถรันได้ภายในไม่กี่นาที


ประเด็นสำคัญ
- ไคลเอนต์แชทคือลิสต์ข้อความบวกกับลูปสตรีมมิง; API เป็นแบบ stateless ดังนั้นคุณต้องส่งประวัติใหม่ในทุกเทิร์น
- เวอร์ชันเทอร์มินัลมี 25 บรรทัดของ Python โดยใช้ OpenAI SDK
- สำหรับเว็บ ให้เก็บคีย์ API ไว้ที่เซิร์ฟเวอร์ขนาดเล็กและสตรีมการตอบกลับไปยังเบราว์เซอร์
- ตัดข้อความเก่าออกก่อนที่คุณจะถึงหน้าต่างบริบท 100,000 โทเคน และจัดการกับ 429 ด้วยการลองใหม่
สิ่งที่คุณกำลังสร้าง
โปรแกรมขนาดเล็กสองตัว ตัวแรกคือแชทเทอร์มินัลที่สตรีมโทเคนเมื่อได้รับข้อมูล ตัวที่สองคือหน้าเว็บที่มีเซิร์ฟเวอร์ Node ขนาดเล็กอยู่ด้านหน้า ทั้งสองตัวเชื่อมต่อกับเอนด์พอยต์เดียวกัน https://api.uncensoredllmonline.com/v1 โดยใช้โมเดล uncensored
นี่คือแชท LLM แบบไม่กรอง ในความหมายที่โมเดลถูกปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหา สำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย เป็นโมเดลโอเพนเวตหนึ่งตัวที่ให้บริการโดยผู้ให้บริการอิสระ ไม่ใช่ผลิตภัณฑ์ทางการของผู้ขายรายใหญ่ เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์ไม่อนุญาตและไม่มีการตอบเลย เนื้อหาเป็นข้อความเท่านั้น
คุณต้องมีคีย์ หลังจากสมัครสมาชิกแล้ว ให้ขอเครดิตทดลอง $0.50 บนหน้า หน้าคีย์ API ซึ่งเพียงพอสำหรับทุกสิ่งในบทความนี้ หากคุณต้องการใช้แอปสำเร็จรูปแทนที่จะเขียนเอง โปรดดูคู่มือตัวเลือก ไคลเอนต์ API
การทำงานของสถานะแชท
API ไม่จำการสนทนา คำขอทุกคำต้องประกอบด้วยประวัติทั้งหมดในรูปแบบรายการข้อความ: เริ่มต้นด้วยข้อความระบบ จากนั้นสลับระหว่างข้อความผู้ใช้และข้อความผู้ช่วย โมเดลเห็นเฉพาะข้อมูลที่คุณส่งให้ ไคลเอนต์ของคุณเป็นเจ้าของหน่วยความจำ
สิ่งนี้มีผลโดยตรงต่อต้นทุน ที่อัตรา $0.15 ต่อ 1M โทเคนอินพุต การแชทที่มีประวัติยาว 8,000 โทเคนจะมีต้นทุนอินพุต $0.0012 สำหรับรอบถัดไป (8,000 x $0.15 / 1M) คำตอบความยาว 300 โทเคนเพิ่มต้นทุน $0.00015 ดังนั้นหนึ่งรอบมีต้นทุนประมาณ $0.00135 และเครดิตทดลองยังครอบคลุมได้หลายร้อยรอบ ส่วนเอาท์พุตคิดอัตรา $0.50 ต่อ 1M
หน้าต่างบริบทมีขนาด 100,000 โทเคน รวมพรอมต์และคอมพลีชัน การแชทปกติไม่เคยเข้าใกล้ขีดจำกัดนี้ แต่การแชทบทบาทสมมติหรือแชทเอกสารความยาวสูงอาจทำได้ ดังนั้นควรวางแผนตัดข้อความออก (ดูด้านล่าง)
ไคลเอนต์เทอร์มินัลด้วย Python
ติดตั้ง SDK ด้วย pip install openai ตั้งค่าคีย์ของคุณ แล้วรันโค้ดนี้:
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a direct, friendly assistant."}]
while True:
try:
user = input("\nyou> ").strip()
except (EOFError, KeyboardInterrupt):
break
if not user:
continue
history.append({"role": "user", "content": user})
reply = ""
stream = client.chat.completions.create(
model="uncensored", messages=history, stream=True
)
print("bot> ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
reply += piece
print(piece, end="", flush=True)
history.append({"role": "assistant", "content": reply})
หมายเหตุเกี่ยวกับโค้ด stream=True ส่งข้อมูลแบบชิ้นส่วน; แต่ละชิ้นส่วนมีข้อความขนาดเล็กใน delta.content การตรวจสอบ chunk.choices สำคัญเพราะชิ้นส่วนการใช้งานสุดท้ายอาจมาถึงโดยไม่มี choices ข้อตอบถูกเก็บรวมเป็นสตริงเดียวและเพิ่มลงในประวัติเป็นข้อความผู้ช่วย ซึ่งทำให้เทิร์นถัดไปรู้บริบทของเทิร์นก่อนหน้า Ctrl+C หรือ Ctrl+D จะปิดเซสชันอย่างเรียบร้อย
ไคลเอนต์เว็บ: คีย์บนเซิร์ฟเวอร์ สตรีมไปยังหน้าเว็บ
อย่าใส่คีย์ API ใน JavaScript ของเบราว์เซอร์ ใครก็สามารถอ่านคีย์และใช้เครดิตของคุณได้ ให้รันเซิร์ฟเวอร์ขนาดเล็กที่เพิ่มคีย์และส่งต่อสตรีม เซิร์ฟเวอร์นี้ต้องการ Node 18 ขึ้นไป และไม่ต้องการแพ็กเกจ:
import http from "node:http";
import { readFileSync } from "node:fs";
const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;
http.createServer(async (req, res) => {
if (req.method === "GET") {
res.setHeader("Content-Type", "text/html");
return res.end(readFileSync("index.html"));
}
if (req.method === "POST" && req.url === "/chat") {
let body = "";
for await (const c of req) body += c;
const { messages } = JSON.parse(body);
const up = await fetch(BASE + "/chat/completions", {
method: "POST",
headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
body: JSON.stringify({ model: "uncensored", messages, stream: true }),
});
res.writeHead(up.status, { "Content-Type": "text/event-stream" });
for await (const chunk of up.body) res.write(chunk);
return res.end();
}
res.statusCode = 404;
res.end();
}).listen(3000);
เริ่มด้วย API_KEY=your_key node server.mjs ใน index.html ช่องกรอกข้อความและ div เพียงพอ ส่วนที่สำคัญคือการอ่านเหตุการณ์ที่ส่งจากเซิร์ฟเวอร์:
async function send(messages, onText) {
const r = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = r.body.getReader();
const dec = new TextDecoder();
let buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const lines = buf.split("\n");
buf = lines.pop();
for (const line of lines) {
if (line.startsWith("data: ") === false) continue;
const data = line.slice(6).trim();
if (data === "[DONE]") return;
const delta = JSON.parse(data).choices?.[0]?.delta?.content;
if (delta) onText(delta);
}
}
}เรียก send(history, text => out.textContent += text) แล้วเพิ่มข้อตอบที่เสร็จสมบูรณ์ลงในอาร์เรย์ประวัติของคุณ เหตุการณ์ที่ส่งจากเซิร์ฟเวอร์แบ่งชิ้นส่วนที่ตำแหน่งไบต์แบบสุ่ม ซึ่งเป็นเหตุผลที่โค้ดเก็บ buffer ไว้และแยกวิเคราะห์เฉพาะบรรทัดที่สมบูรณ์
รักษาความสมบูรณ์ของแชทยาว
มีสามสิ่งที่ผิดพลาดในเซสชันที่ยาวขึ้น และทั้งหมดมีวิธีแก้ไขง่ายๆ
ประวัติเติบโตไม่สิ้นสุด
เก็บข้อความระบบและข้อความล่าสุด N ข้อความ หรือสรุปส่วนที่เก่าที่สุดเป็นข้อความเดียว การนับจำนวนตัวอักษรหารด้วยสี่เป็นการประมาณค่าสำหรับโทเคนที่เพียงพอ เป้าหมายคือควรอยู่ต่ำกว่า 100,000 มาก
ข้อผิดพลาด 429
คีย์เต็มอนุญาตให้ทำคำขอพร้อมกัน 8 คำขอและ 300 คำขอต่อนาที; คีย์ทดลองอนุญาตให้ทำ 2 และ 60 หากเห็น HTTP 429 พร้อมโค้ด rate_limited หรือ concurrency ให้รอสักครู่แล้วลองใหม่ การโอเวอร์โหลดชั่วคราวยังส่ง 429 พร้อม Retry-After: 5 คำขอแบบสตรีมจะครอบครองช่อง concurrency จนกว่าสตรีมจะสิ้นสุด ดังนั้นผู้ใช้ที่ปิดแท็บควรตัดการเชื่อมต่อที่เซิร์ฟเวอร์
น้ำเสียงเบี่ยงเบน
ข้อความระบบกำหนดพฤติกรรม เก็บข้อความให้สั้นและเฉพาะเจาะจง ลด temperature เพื่อความสม่ำเสมอ และเพิ่มสำหรับการเขียนเชิงสร้างสรรค์ พารามิเตอร์เช่น top_p, stop และ seed จะส่งผ่าน
จากโปรโตไทป์สู่สิ่งที่แชร์ให้คนอื่นได้
หากมีผู้อื่นใช้งานแชทของคุณ ให้ตั้งค่าขีดจำกัดอัตราต่อผู้ใช้บนเซิร์ฟเวอร์ของคุณเพื่อป้องกันไม่ให้ผู้ใช้รายใดรายหนึ่งใช้ยอดเงินจนหมด แสดงข้อความที่ชัดเจนเมื่อคำขอล้มเหลว และจำไว้ว่าคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน คุณสามารถตรวจสอบยอดเงินคงเหลือได้จากหัวตอบกลับ X-Balance-USD หรือเรียกใช้ GET /v1/balance
เมื่อเครดิตทดลองหมด ให้เติมเงินจำนวนเต็มตั้งแต่ $20 ถึง $500 การเติมเงินจำนวนมากขึ้นจะได้รับโบนัส +5% จาก $50, +10% จาก $100 และ +15% จาก $200 และเครดิตจะไม่หมดอายุ คุณสามารถชำระเงินด้วยคริปโต หน้า ราคา มีรายละเอียด และหน้า เอกสาร ระบุเอนด์พอยต์ทั้งหมด รวมถึง /v1/responses หากคุณต้องการใช้รูปแบบนั้น
คู่มือเพิ่มเติม
ถาม-ตอบ
ฉันจำเป็นต้องส่งประวัติการสนทนาทั้งหมดในทุกคำขอหรือไม่?
ใช่ API เป็นแบบไม่มีสถานะ ดังนั้นไคลเอนต์ของคุณจะต้องส่งข้อความระบบและรอบการสนทนาก่อนหน้านี้ทุกครั้ง
เบราว์เซอร์สามารถเรียกใช้ API โดยตรงได้หรือไม่?
เป็นไปได้ในทางเทคนิค แต่จะทำให้คีย์ API ของคุณถูกเปิดเผย ควรเก็บคีย์ไว้บนเซิร์ฟเวอร์และสตรีมมิงการตอบกลับผ่านเซิร์ฟเวอร์นั้น
ฉันจะได้รับเอาต์พุตแบบสตรีมมิงได้อย่างไร?
ตั้งค่า stream เป็น true การตอบกลับจะมาถึงในรูปแบบ server-sent events โดยมีการรายงานการใช้โทเคนที่ส่วนท้าย
เกิดอะไรขึ้นเมื่อฉันถึงขีดจำกัดอัตรา?
คุณจะได้รับ HTTP 429 พร้อมรหัส rate_limited หรือ concurrency ให้รอแล้วลองใหม่; หากมีหัวตอบกลับ Retry-After: 5 ให้รอตามจำนวนวินาทีนั้น
คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว
สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด