NL ▾
API-sleutel aanvragen

Ongecensureerde LLM-chat: bouw een eenvoudige client

Een ongecensureerde llm-chat is eenvoudig te bouwen zodra je een OpenAI-compatible endpoint hebt: een lus, een berichtlijst en een streaming-lezer. Hieronder staan twee minimale clients, één voor de terminal en één voor de browser, die je in enkele minuten kunt uitvoeren.

Bijgewerkt

Glazen chatballonnen boven een terminal met streamingdeeltjes die ertussen stromen, die een streaming-chatclient voorstellen
Isometrische illustratie van een lokale GPU-tower verbonden met een cloudserver door een gloeiende kabel, ter vergelijking van lokale en gehoste LLM's

Belangrijkste punten

  1. Een chatclient bestaat uit een berichtlijst plus een lus voor streaming; de API is stateless, dus je stuurt de geschiedenis elke beurt opnieuw.
  2. De terminalversie is 25 regels Python met de OpenAI SDK.
  3. Voor het web houd je de API-sleutel op een kleine server en stream je de respons naar de browser.
  4. Knip oude berichten weg voordat je het 100.000-token contextvenster bereikt, en behandel 429 met een retry.

Begin met proeftegoed

E-mail en wachtwoord, de sleutel staat meteen op het scherm.

API-sleutel aanvragen

Wat je bouwt

Twee kleine programma's. De eerste is een terminalchat die tokens streamt zodra ze aankomen. De tweede is een webpagina met een kleine Node-server ervoor. Beide praten met hetzelfde endpoint, https://api.uncensoredllmonline.com/v1, met model uncensored.

Dit is een ongecensureerde llm-chat in de zin dat het model is afgestemd op antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Het is één open-weight model dat wordt beheerd door een onafhankelijke aanbieder, geen officieel product van een grote leverancier. Seksuele inhoud met minderjarigen is niet toegestaan en wordt nooit beantwoord. Het is alleen tekst.

Je hebt een sleutel nodig. Na het aanmelden claim je de $0,50 proeftegoed op de API-sleutel pagina; dat is ruim voldoende voor alles in dit artikel. Als je liever een kant-en-klare app gebruikt in plaats van er een te schrijven, bekijk dan de handleiding voor de API-clientopties.

Hoe chatstatus werkt

De API onthoudt gesprekken niet. Elk verzoek moet de volledige geschiedenis bevatten als een lijst met berichten: eerst een systeembericht, dan afwisselend gebruikers- en assistentberichten. Het model ziet alleen wat jij verstuurt. Jouw client is eigenaar van het geheugen.

Dat heeft directe invloed op de kosten. Bij $0,15 per 1M input tokens kost een chat die is gegroeid tot 8.000 tokens geschiedenis $0,0012 aan input bij de volgende beurt (8.000 x $0,15 / 1M). Een antwoord van 300 tokens voegt $0,00015 toe. Dus een beurt kost ongeveer $0,00135, en het proeftegoed dekt nog steeds honderden meer. Output wordt gefactureerd tegen $0,50 per 1M.

Het contextvenster is 100.000 tokens, prompt en completion samen. Een normaal gesprek komt dit nooit dichtbij, maar een lang rollenspel of documentgesprek kan dit wel bereiken, dus plan het bijsnijden (zie hieronder).

Terminalclient in Python

Installeer de SDK met pip install openai, stel je sleutel in en voer dit uit:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Opmerkingen bij de code. stream=True retourneert chunks; elk heeft een klein tekststuk in delta.content. De check voor chunk.choices is belangrijk omdat de laatste gebruikchunk zonder keuzes kan aankomen. Het antwoord wordt verzameld in één string en toegevoegd aan de geschiedenis als een assistentbericht, wat de volgende beurt bewust maakt van de vorige. Ctrl+C of Ctrl+D beëindigt de sessie netjes.

Webclient: sleutel op de server, stream naar de pagina

Plaats de API-sleutel nooit in browser-JavaScript. Iedereen kan deze lezen en je tegoed uitgeven. Voer in plaats daarvan een kleine server uit die de sleutel toevoegt en de stream doorstuurt. Deze heeft Node 18 of nieuwer nodig en geen pakketten:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

Start het met API_KEY=your_key node server.mjs. In index.html zijn een tekstvak en een div genoeg. Het onderdeel dat er toe doet is het lezen van de server-sent events:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

Roep send(history, text => out.textContent += text) aan, en push daarna het voltooide antwoord naar je geschiedenisarray. Server-sent events splitsen chunks op willekeurige byteposities, vandaar dat de code een buffer bijhoudt en alleen complete regels verwerkt.

Lange chats gezond houden

Drie dingen gaan mis in langere sessies, en allemaal hebben ze eenvoudige oplossingen.

Geschiedenis groeit zonder einde

Houd het systeembericht en de meest recente N berichten bij, of vat het oudste deel samen tot één bericht. Het tellen van karakters gedeeld door vier is een goed genoeg gok voor tokens. Streef ernaar ver onder de 100.000 te blijven.

429-fouten

Een volledige sleutel staat 8 gelijktijdige verzoeken en 300 per minuut toe; een proefsleutel staat 2 en 60 toe. Als je HTTP 429 ziet met code rate_limited of concurrency, wacht dan een moment en probeer opnieuw. Een tijdelijke overbelasting retourneert ook 429 met Retry-After: 5. Een gestreamd verzoek houdt zijn concurrency-slot vast tot de stream eindigt, dus een gebruiker die het tabblad sluit, zou de verbinding op de server moeten laten afbreken.

Toon wijkt af

Het systeembericht bepaalt het gedrag. Houd het kort en specifiek, verlaag temperature voor consistentie en verhoog het voor creatief schrijven. Parameters zoals top_p, stop en seed worden doorgegeven.

Van prototype naar iets dat je deelt

Als andere mensen je chat zullen gebruiken, voeg dan per-gebruiker rate limits toe op je server zodat één persoon het saldo niet kan leegdrinken. Toon een duidelijk bericht wanneer een verzoek mislukt, en onthoud dat mislukte of geweigerde verzoeken niet worden gefactureerd. Je kunt het resterende saldo lezen uit de X-Balance-USD responsheader, of GET /v1/balance aanroepen.

Als het proeftegoed op is, laad je een willekeurig geheel bedrag op van $20 tot $500. Grotere opwaarderingen hebben een bonus van +5% vanaf $50, +10% vanaf $100 en +15% vanaf $200, en tegoed vervalt nooit. Je kunt betalen met een kaart of met crypto. De prijzenpagina heeft de details, en de docs vermelden elk endpoint, inclusief /v1/responses als je die voorkeur hebt.

Vragen en antwoorden

Moet ik de volledige geschiedenis bij elk verzoek sturen?

Ja. De API is stateless, dus je client stuurt het systeembericht en eerdere beurten elke keer.

Kan de browser de API direct aanroepen?

Technisch mogelijk, maar dan wordt je sleutel blootgesteld. Houd de sleutel op een server en stream de respons erdoorheen.

Hoe krijg ik streaming output?

Stel stream in op true. De respons komt aan als server-sent events, met tokengebruik dat aan het einde wordt gerapporteerd.

Wat gebeurt er als ik een rate limit raak?

Je krijgt HTTP 429 met de code rate_limited of concurrency. Wacht en probeer opnieuw; als de header Retry-After: 5 aanwezig is, wacht dan zoveel seconden.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel ophalenDocumentatie lezen