Niefiltrowany czat LLM: Zbuduj prostego klienta
Niefiltrowany czat LLM jest łatwy do zbudowania, gdy masz endpoint kompatybilny z OpenAI: pętlę, listę komunikatów i czytnik strumienia. Poniżej znajdziesz dwa minimalne klienty, jeden dla terminala i jeden dla przeglądarki, które możesz uruchomić w kilka minut.


Kluczowe punkty
- Klient czatu to lista komunikatów plus pętla strumieniowania; API jest bezstanowe, więc wysyłasz historię przy każdej turze.
- Wersja terminalowa to 25 linii Pythona z użyciem SDK OpenAI.
- Dla sieci przechowuj klucz API na małym serwerze i strumieniuj odpowiedź do przeglądarki.
- Odcinaj stare komunikaty przed osiągnięciem okna kontekstu 100 000 tokenów i obsługuj błąd 429 ponowną próbą.
Co budujesz
Dwa małe programy. Pierwszy to czat terminalowy, który strumieniuje tokeny w miarę ich przybywania. Drugi to strona internetowa z małym serwerem Node przed nią. Oba łączą się z tym samym endpointem, https://api.uncensoredllmonline.com/v1, używając modelu uncensored.
To jest niefiltrowany czat LLM w sensie, że model jest dostrojony do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłych. To jeden model o otwartych wagach uruchamiany przez niezależnego dostawcę, a nie oficjalny produkt żadnego dużego dostawcy. Treści seksualne z udziałem nieletnich są niedozwolone i nigdy nie są odpowiadane. To tylko tekst.
Potrzebujesz klucza. Po zalogowaniu się odbierz darmowy kredyt próbny $0,50 na stronie klucz API; to wystarczy na wszystko w tym artykule. Jeśli wolisz gotową aplikację niż pisanie własnej, zobacz przewodnik po opcjach klienta API.
Jak działa stan czatu
API nie zapamiętuje rozmów. Każde zapytanie musi zawierać pełną historię jako listę komunikatów: najpierw komunikat systemowy, naprzemiennie komunikaty użytkownika i asystenta. Model widzi tylko to, co wyślesz. Twój klient jest właścicielem pamięci.
Ma to bezpośredni wpływ na koszt. Przy $0,15 za 1 mln tokenów wejściowych, czat, który urośnie do 8 000 tokenów historii, kosztuje $0,0012 wejścia przy kolejnej turze (8 000 x $0,15 / 1 mln). Odpowiedź o 300 tokenach dodaje $0,00015. Zatem tura kosztuje około $0,00135, a kredyt próbny nadal pokrywa kilkaset z nich. Wyjście jest rozliczane po $0,50 za 1 mln.
Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem. Normalny czat nigdy nie zbliży się do tego limitu, ale długa gra fabularna lub czat dokumentowy mogą, więc zaplanuj obcinanie (zobacz poniżej).
Klient terminalowy w Pythonie
Zainstaluj SDK za pomocą pip install openai, ustaw swój klucz i uruchom to:
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a direct, friendly assistant."}]
while True:
try:
user = input("\nyou> ").strip()
except (EOFError, KeyboardInterrupt):
break
if not user:
continue
history.append({"role": "user", "content": user})
reply = ""
stream = client.chat.completions.create(
model="uncensored", messages=history, stream=True
)
print("bot> ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
reply += piece
print(piece, end="", flush=True)
history.append({"role": "assistant", "content": reply})
Uwagi do kodu. stream=True zwraca chunki; każdy z nich zawiera mały fragment tekstu w delta.content. Sprawdzenie chunk.choices ma znaczenie, ponieważ końcowy chunk użycia może przyjść bez choices. Odpowiedź jest zbierana do jednego ciągu i dodawana do historii jako wiadomość asystenta, co sprawia, że kolejna tura pamięta poprzednią. Ctrl+C lub Ctrl+D kończy sesję w sposób czysty.
Klient sieciowy: klucz na serwerze, strumień do strony
Nigdy nie umieszczaj klucza API w JavaScript przeglądarki. Każdy może go odczytać i wydać Twój kredyt. Zamiast tego uruchom mały serwer, który dodaje klucz i przekazuje strumień. Ten wymaga Node 18 lub nowszego i nie wymaga pakietów:
import http from "node:http";
import { readFileSync } from "node:fs";
const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;
http.createServer(async (req, res) => {
if (req.method === "GET") {
res.setHeader("Content-Type", "text/html");
return res.end(readFileSync("index.html"));
}
if (req.method === "POST" && req.url === "/chat") {
let body = "";
for await (const c of req) body += c;
const { messages } = JSON.parse(body);
const up = await fetch(BASE + "/chat/completions", {
method: "POST",
headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
body: JSON.stringify({ model: "uncensored", messages, stream: true }),
});
res.writeHead(up.status, { "Content-Type": "text/event-stream" });
for await (const chunk of up.body) res.write(chunk);
return res.end();
}
res.statusCode = 404;
res.end();
}).listen(3000);
Uruchom go z API_KEY=your_key node server.mjs. W index.html wystarczy pole tekstowe i div. Najważniejsza część to odczyt zdarzeń wysyłanych przez serwer:
async function send(messages, onText) {
const r = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = r.body.getReader();
const dec = new TextDecoder();
let buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const lines = buf.split("\n");
buf = lines.pop();
for (const line of lines) {
if (line.startsWith("data: ") === false) continue;
const data = line.slice(6).trim();
if (data === "[DONE]") return;
const delta = JSON.parse(data).choices?.[0]?.delta?.content;
if (delta) onText(delta);
}
}
}Wywołaj send(history, text => out.textContent += text), a następnie dodaj ukończoną odpowiedź do swojej tablicy historii. Zdarzenia wysyłane przez serwer dzielą chunki na dowolnych pozycjach bajtowych, dlatego kod buforuje dane i parsuje tylko kompletne linie.
Utrzymywanie długich czatów w zdrowiu
Trzy rzeczy psują się w dłuższych sesjach i wszystkie mają proste rozwiązania.
Historia rośnie bez końca
Zachowaj wiadomość systemową i N najnowszych wiadomości lub podsumuj najstarszą część do jednej wiadomości. Zliczanie znaków podzielonych przez cztery to wystarczająco dobre przybliżenie dla tokenów. Staraj się trzymać daleko poniżej 100 000.
Błędy 429
Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę; klucz próbny pozwala na 2 i 60. Jeśli widzisz HTTP 429 z kodem rate_limited lub concurrency, poczekaj chwilę i spróbuj ponownie. Tymczasowe przeciążenie również zwraca 429 z Retry-After: 5. Żądanie strumieniowane zajmuje slot współbieżności do końca strumienia, więc użytkownik, który zamknie kartę, powinien mieć połączenie przerwane po stronie serwera.
Zmiana tonu
Komunikat systemowy określa zachowanie. Zachowaj go krótkim i konkretnym, obniż temperature dla spójności i podnieś go dla twórczego pisania. Parametry takie jak top_p, stop i seed są przekazywane dalej.
Od prototypu do czegoś, czym możesz się podzielić
Jeśli z Twoim czatem będą korzystać inni ludzie, dodaj limity zapytań na użytkownika na swoim serwerze, aby jedna osoba nie wyczerpała salda. Pokaż wyraźną wiadomość, gdy zapytanie się nie powiedzie, i pamiętaj, że nieudane lub odrzucone zapytania nie są rozliczane. Możesz odczytać pozostałe saldo z nagłówka odpowiedzi X-Balance-USD lub wywołać GET /v1/balance.
Gdy skończy się kredyt próbny, doładowaj dowolną kwotę całkowitą od $20 do $500. Większe doładowania dają bonus +5% od $50, +10% od $100 i +15% od $200, a kredyt nigdy nie wygasa. Możesz zapłacić kryptowalutami. Strona cennika zawiera szczegóły, a dokumentacja wymienia każdy endpoint, w tym /v1/responses, jeśli wolisz ten format.
Więcej przewodników
Pytania i odpowiedzi
Czy muszę wysyłać pełną historię w każdym zapytaniu?
Tak. API jest bezstanowe, więc wysyłasz wiadomość systemową i wcześniejsze tury za każdym razem.
Czy przeglądarka może wywołać API bezpośrednio?
Możliwe technicznie, ale wystawiłoby Twój klucz. Trzymaj klucz na serwerze i strumieniuj odpowiedź przez niego.
Jak uzyskać wyjście strumieniowe?
Ustaw stream na true. Odpowiedź przychodzi jako zdarzenia wysyłane przez serwer, z raportem użycia tokenów na końcu.
Co się stanie, gdy trafisz w limit zapytań?
Otrzymujesz HTTP 429 z kodem rate_limited lub concurrency. Poczekaj i spróbuj ponownie; jeśli nagłówek `Retry-After: 5` jest obecny, poczekaj tyle sekund.
Twój klucz jest o jeden formularz stąd
Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.