IT ▾
Ottieni la chiave API

Chat LLM senza filtri: crea un client semplice

Una chat LLM senza filtri è facile da costruire una volta che hai un endpoint compatibile con OpenAI: un ciclo, una lista di messaggi e un lettore in streaming. Di seguito ci sono due client minimi, uno per il terminale e uno per il browser, che puoi eseguire in pochi minuti.

Aggiornato

Bolle di chat di vetro sopra un terminale con particelle di streaming che scorrono tra di esse, che rappresentano un client di chat in streaming
Illustrazione isometrica di una torre GPU locale collegata a un server cloud da un cavo luminoso, che confronta LLM locali e ospitati

Punti chiave

  1. Un client di chat è una lista di messaggi più un ciclo di streaming; l'API è stateless, quindi invii di nuovo la cronologia ad ogni turno.
  2. La versione per terminale è di 25 righe di Python con l'SDK OpenAI.
  3. Per il web, tieni la chiave API su un piccolo server e effettua lo streaming della risposta al browser.
  4. Riduci i messaggi vecchi prima di raggiungere la finestra da 100.000 token e gestisci il 429 con un nuovo tentativo.

Inizia con il credito di prova

E-mail e password, la chiave compare subito sullo schermo.

Ottieni la chiave API

Quello che stai costruendo

Due piccoli programmi. Il primo è una chat terminale che effettua lo streaming dei token al loro arrivo. Il secondo è una pagina web con un piccolo server Node davanti. Entrambi parlano allo stesso endpoint, https://api.uncensoredllmonline.com/v1, usando il modello uncensored.

Questa è una chat LLM senza filtri nel senso che il modello è ottimizzato per rispondere senza rifiuti di contenuto per un uso adulto lecito. È un modello a pesi aperti gestito da un provider indipendente, non un prodotto ufficiale di alcun grande vendor. I contenuti sessuali che coinvolgono minorenni non sono consentiti e non vengono mai restituiti. È solo testo.

Hai bisogno di una chiave. Dopo esserti registrato, reclama il credito di prova da $0,50 nella pagina della chiave API; è più che sufficiente per tutto in questo articolo. Se preferisci usare un'app già pronta invece di scriverne una, consulta la guida alle opzioni del client API.

Come funziona lo stato della chat

L'API non ricorda le conversazioni. Ogni richiesta deve contenere l'intera cronologia come lista di messaggi: un messaggio di sistema per primo, poi messaggi alternati di utente e assistente. Il modello vede solo ciò che invii. Il tuo client possiede la memoria.

Questo ha un effetto diretto sul costo. A $0,15 per 1M di token di input, una chat che è cresciuta fino ad avere 8.000 token di cronologia costa $0,0012 di input al turno successivo (8.000 x $0,15 / 1M). Una risposta di 300 token aggiunge $0,00015. Quindi un turno costa circa $0,00135 e il credito di prova copre ancora diverse centinaia di essi. L'output è fatturato a $0,50 per 1M.

La finestra di contesto è di 100.000 token, prompt e completamento combinati. Una chat normale non si avvicina mai a questo limite, ma una roleplay lunga o una chat di documenti sì, quindi pianifica il taglio (vedi sotto).

Client terminale in Python

Installa l'SDK con pip install openai, imposta la tua chiave e esegui questo:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Note sul codice. stream=True restituisce chunk; ognuno contiene un piccolo pezzo di testo in delta.content. Il controllo di chunk.choices è importante perché l'ultimo chunk di utilizzo può arrivare senza choices. La risposta viene raccolta in una stringa e aggiunta alla cronologia come messaggio dell'assistente, il che permette al turno successivo di essere consapevole dell'ultimo. Ctrl+C o Ctrl+D terminano la sessione in modo pulito.

Client web: chiave sul server, stream alla pagina

Non mettere mai la chiave API nel JavaScript del browser. Chiunque può leggerla e spendere il tuo credito. Invece, esegui un piccolo server che aggiunge la chiave e inoltra lo stream. Questo ha bisogno di Node 18 o superiore e nessun pacchetto:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

Avvialo con API_KEY=your_key node server.mjs. In index.html, una casella di testo e un div sono sufficienti. La parte importante è leggere gli eventi inviati dal server:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

Chiama send(history, text => out.textContent += text), quindi inserisci la risposta finita nel tuo array di cronologia. Gli eventi inviati dal server dividono i chunk in posizioni di byte arbitrarie, motivo per cui il codice mantiene un buffer e analizza solo le righe complete.

Mantenere sane le chat lunghe

Tre cose vanno storte nelle sessioni più lunghe e tutte hanno soluzioni semplici.

La cronologia cresce senza fine

Mantieni il messaggio di sistema e gli ultimi N messaggi, o riassumi la parte più vecchia in un messaggio. Contare i caratteri divisi per quattro è una stima sufficiente per i token. Cerca di restare ben al di sotto di 100.000.

Errori 429

Una chiave completa permette 8 richieste parallele e 300 al minuto; una chiave di prova ne permette 2 e 60. Se vedi HTTP 429 con codice rate_limited o concurrency, aspetta un attimo e riprova. Un sovraccarico temporaneo restituisce anche 429 con Retry-After: 5. Una richiesta in streaming occupa la sua slot di concorrenza fino alla fine dello streaming, quindi un utente che chiude la scheda dovrebbe interrompere la connessione sul server.

Deriva del tono

Il messaggio di sistema definisce il comportamento. Tienilo breve e specifico, abbassa temperature per la coerenza e aumentalo per la scrittura creativa. Parametri come top_p, stop e seed vengono passati direttamente.

Dal prototipo a qualcosa da condividere

Se altre persone useranno la tua chat, aggiungi limiti di richieste per utente sul tuo server in modo che una persona non possa svuotare il saldo. Mostra un messaggio chiaro quando una richiesta fallisce e ricorda che le richieste fallite o rifiutate non vengono addebitate. Puoi leggere il saldo residuo dall'intestazione di risposta X-Balance-USD, oppure chiamare GET /v1/balance.

Quando il credito di prova si esaurisce, ricarica un importo intero da $20 a $500. Ricariche più grandi comportano un bonus del +5% da $50, +10% da $100 e +15% da $200, e il credito non scade mai. Puoi pagare con cripto. La pagina dei prezzi ha i dettagli, e la documentazione elenca ogni endpoint, incluso /v1/responses se preferisci quel formato.

Domande e risposte

Devo inviare la cronologia completa ad ogni richiesta?

Sì. L'API è stateless, quindi il tuo client invia il messaggio di sistema e i turni precedenti ogni volta.

Il browser può chiamare l'API direttamente?

Tecnicamente possibile, ma esporrebbe la tua chiave. Tieni la chiave su un server e trasmetti la risposta attraverso di esso.

Come ottengo l'output in streaming?

Imposta stream a true. La risposta arriva come SSE, con l'utilizzo dei token riportato alla fine.

Cosa succede se supero il limite di richieste?

Ottieni HTTP 429 con il codice rate_limited o concurrency. Attendi e riprova; se è presente l'intestazione Retry-After: 5, attendi quel numero di secondi.

Per ottenere la chiave basta un modulo

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni chiave APILeggi la documentazione