PL ▾
Pobierz klucz API

Niefiltrowany czat LLM: Zbuduj prostego klienta

Niefiltrowany czat LLM jest łatwy do zbudowania, gdy masz endpoint kompatybilny z OpenAI: pętlę, listę komunikatów i czytnik strumienia. Poniżej znajdziesz dwa minimalne klienty, jeden dla terminala i jeden dla przeglądarki, które możesz uruchomić w kilka minut.

Zaktualizowano

Bąbelki czatu nad terminalem z cząstkami strumieniowania przepływającymi między nimi, reprezentującymi klienta czatu strumieniowego
Izometryczna ilustracja lokalnej wieży GPU połączonej kablem z serwerem chmurowym, porównująca lokalne i hostowane LLM

Kluczowe punkty

  1. Klient czatu to lista komunikatów plus pętla strumieniowania; API jest bezstanowe, więc wysyłasz historię przy każdej turze.
  2. Wersja terminalowa to 25 linii Pythona z użyciem SDK OpenAI.
  3. Dla sieci przechowuj klucz API na małym serwerze i strumieniuj odpowiedź do przeglądarki.
  4. Odcinaj stare komunikaty przed osiągnięciem okna kontekstu 100 000 tokenów i obsługuj błąd 429 ponowną próbą.

Zacznij od kredytu próbnego

E-mail i hasło, klucz od razu na ekranie.

Pobierz klucz API

Co budujesz

Dwa małe programy. Pierwszy to czat terminalowy, który strumieniuje tokeny w miarę ich przybywania. Drugi to strona internetowa z małym serwerem Node przed nią. Oba łączą się z tym samym endpointem, https://api.uncensoredllmonline.com/v1, używając modelu uncensored.

To jest niefiltrowany czat LLM w sensie, że model jest dostrojony do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłych. To jeden model o otwartych wagach uruchamiany przez niezależnego dostawcę, a nie oficjalny produkt żadnego dużego dostawcy. Treści seksualne z udziałem nieletnich są niedozwolone i nigdy nie są odpowiadane. To tylko tekst.

Potrzebujesz klucza. Po zalogowaniu się odbierz darmowy kredyt próbny $0,50 na stronie klucz API; to wystarczy na wszystko w tym artykule. Jeśli wolisz gotową aplikację niż pisanie własnej, zobacz przewodnik po opcjach klienta API.

Jak działa stan czatu

API nie zapamiętuje rozmów. Każde zapytanie musi zawierać pełną historię jako listę komunikatów: najpierw komunikat systemowy, naprzemiennie komunikaty użytkownika i asystenta. Model widzi tylko to, co wyślesz. Twój klient jest właścicielem pamięci.

Ma to bezpośredni wpływ na koszt. Przy $0,15 za 1 mln tokenów wejściowych, czat, który urośnie do 8 000 tokenów historii, kosztuje $0,0012 wejścia przy kolejnej turze (8 000 x $0,15 / 1 mln). Odpowiedź o 300 tokenach dodaje $0,00015. Zatem tura kosztuje około $0,00135, a kredyt próbny nadal pokrywa kilkaset z nich. Wyjście jest rozliczane po $0,50 za 1 mln.

Okno kontekstu wynosi 100 000 tokenów, łącznie z promptem i uzupełnieniem. Normalny czat nigdy nie zbliży się do tego limitu, ale długa gra fabularna lub czat dokumentowy mogą, więc zaplanuj obcinanie (zobacz poniżej).

Klient terminalowy w Pythonie

Zainstaluj SDK za pomocą pip install openai, ustaw swój klucz i uruchom to:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Uwagi do kodu. stream=True zwraca chunki; każdy z nich zawiera mały fragment tekstu w delta.content. Sprawdzenie chunk.choices ma znaczenie, ponieważ końcowy chunk użycia może przyjść bez choices. Odpowiedź jest zbierana do jednego ciągu i dodawana do historii jako wiadomość asystenta, co sprawia, że kolejna tura pamięta poprzednią. Ctrl+C lub Ctrl+D kończy sesję w sposób czysty.

Klient sieciowy: klucz na serwerze, strumień do strony

Nigdy nie umieszczaj klucza API w JavaScript przeglądarki. Każdy może go odczytać i wydać Twój kredyt. Zamiast tego uruchom mały serwer, który dodaje klucz i przekazuje strumień. Ten wymaga Node 18 lub nowszego i nie wymaga pakietów:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

Uruchom go z API_KEY=your_key node server.mjs. W index.html wystarczy pole tekstowe i div. Najważniejsza część to odczyt zdarzeń wysyłanych przez serwer:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

Wywołaj send(history, text => out.textContent += text), a następnie dodaj ukończoną odpowiedź do swojej tablicy historii. Zdarzenia wysyłane przez serwer dzielą chunki na dowolnych pozycjach bajtowych, dlatego kod buforuje dane i parsuje tylko kompletne linie.

Utrzymywanie długich czatów w zdrowiu

Trzy rzeczy psują się w dłuższych sesjach i wszystkie mają proste rozwiązania.

Historia rośnie bez końca

Zachowaj wiadomość systemową i N najnowszych wiadomości lub podsumuj najstarszą część do jednej wiadomości. Zliczanie znaków podzielonych przez cztery to wystarczająco dobre przybliżenie dla tokenów. Staraj się trzymać daleko poniżej 100 000.

Błędy 429

Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę; klucz próbny pozwala na 2 i 60. Jeśli widzisz HTTP 429 z kodem rate_limited lub concurrency, poczekaj chwilę i spróbuj ponownie. Tymczasowe przeciążenie również zwraca 429 z Retry-After: 5. Żądanie strumieniowane zajmuje slot współbieżności do końca strumienia, więc użytkownik, który zamknie kartę, powinien mieć połączenie przerwane po stronie serwera.

Zmiana tonu

Komunikat systemowy określa zachowanie. Zachowaj go krótkim i konkretnym, obniż temperature dla spójności i podnieś go dla twórczego pisania. Parametry takie jak top_p, stop i seed są przekazywane dalej.

Od prototypu do czegoś, czym możesz się podzielić

Jeśli z Twoim czatem będą korzystać inni ludzie, dodaj limity zapytań na użytkownika na swoim serwerze, aby jedna osoba nie wyczerpała salda. Pokaż wyraźną wiadomość, gdy zapytanie się nie powiedzie, i pamiętaj, że nieudane lub odrzucone zapytania nie są rozliczane. Możesz odczytać pozostałe saldo z nagłówka odpowiedzi X-Balance-USD lub wywołać GET /v1/balance.

Gdy skończy się kredyt próbny, doładowaj dowolną kwotę całkowitą od $20 do $500. Większe doładowania dają bonus +5% od $50, +10% od $100 i +15% od $200, a kredyt nigdy nie wygasa. Możesz zapłacić kryptowalutami. Strona cennika zawiera szczegóły, a dokumentacja wymienia każdy endpoint, w tym /v1/responses, jeśli wolisz ten format.

Pytania i odpowiedzi

Czy muszę wysyłać pełną historię w każdym zapytaniu?

Tak. API jest bezstanowe, więc wysyłasz wiadomość systemową i wcześniejsze tury za każdym razem.

Czy przeglądarka może wywołać API bezpośrednio?

Możliwe technicznie, ale wystawiłoby Twój klucz. Trzymaj klucz na serwerze i strumieniuj odpowiedź przez niego.

Jak uzyskać wyjście strumieniowe?

Ustaw stream na true. Odpowiedź przychodzi jako zdarzenia wysyłane przez serwer, z raportem użycia tokenów na końcu.

Co się stanie, gdy trafisz w limit zapytań?

Otrzymujesz HTTP 429 z kodem rate_limited lub concurrency. Poczekaj i spróbuj ponownie; jeśli nagłówek `Retry-After: 5` jest obecny, poczekaj tyle sekund.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz APIPrzeczytaj dokumentację