PT ▾
Obter chave de API

Chat LLM sem filtro: crie um cliente simples

Um chat LLM sem filtro é fácil de criar assim que você tem um endpoint compatível com OpenAI: um loop, uma lista de mensagens e um leitor de streaming. Abaixo estão dois clientes mínimos, um para o terminal e outro para o navegador, que você pode executar em minutos.

Atualizado

Bolhas de chat de vidro acima de um terminal com partículas de streaming fluindo entre elas, representando um cliente de chat em streaming
Ilustração isométrica de uma torre de GPU local conectada a um servidor na nuvem por um cabo brilhante, comparando LLMs locais e hospedados

Pontos principais

  1. Um cliente de chat é uma lista de mensagens mais um loop de streaming; a API é stateless, então você reenvia o histórico a cada rodada.
  2. A versão para terminal tem 25 linhas de Python com o SDK da OpenAI.
  3. Para a web, mantenha a chave da API em um pequeno servidor e faça o streaming da resposta para o navegador.
  4. Remova mensagens antigas antes de atingir a janela de 100.000 tokens e trate o 429 com uma nova tentativa.

Comece com o crédito de teste

E-mail e senha; a chave aparece na hora na tela.

Obter chave de API

O que você está construindo

Dois pequenos programas. O primeiro é um chat de terminal que exibe os tokens conforme eles chegam. O segundo é uma página web com um pequeno servidor Node na frente. Ambos se comunicam com o mesmo endpoint, https://api.uncensoredllmonline.com/v1, usando o modelo uncensored.

Este é um chat LLM sem filtro no sentido de que o modelo é ajustado para responder sem recusar conteúdo para uso adulto legal. É um único modelo de pesos abertos operado por um provedor independente, não um produto oficial de nenhum grande fornecedor. Conteúdo sexual envolvendo menores de idade não é permitido e nunca é respondido. É apenas texto.

Você precisa de uma chave. Após entrar, solicite o crédito de teste de $0,50 na página chave de API; isso é suficiente para tudo neste artigo. Se preferir usar um aplicativo pronto em vez de escrever um, consulte o guia de opções de cliente de API.

Como funciona o estado do chat

A API não lembra as conversas. Cada requisição deve conter todo o histórico como uma lista de mensagens: uma mensagem do sistema primeiro, depois mensagens alternadas de usuário e assistente. O modelo vê apenas o que você envia. Seu cliente é dono da memória.

Isso afeta diretamente o custo. A $0,15 por 1M de tokens de entrada, um chat com 8.000 tokens de histórico custa $0,0012 de entrada na próxima interação (8.000 x $0,15 / 1M). Uma resposta de 300 tokens adiciona $0,00015. Portanto, uma interação custa cerca de $0,00135, e o crédito de teste ainda cobre várias delas. A saída é cobrada a $0,50 por 1M.

A janela de contexto é de 100.000 tokens, prompt e conclusão combinados. Um chat normal nunca chega perto disso, mas um roleplay longo ou um chat de documentos pode, então planeje o corte (veja abaixo).

Cliente de terminal em Python

Instale o SDK com pip install openai, defina sua chave e execute isto:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Notas sobre o código. stream=True retorna chunks; cada um tem um pequeno pedaço de texto em delta.content. A verificação de chunk.choices é importante porque o chunk final de uso pode chegar sem choices. A resposta é coletada em uma única string e adicionada ao histórico como uma mensagem de assistente, o que faz a próxima rodada estar ciente da última. Ctrl+C ou Ctrl+D encerra a sessão limpidamente.

Cliente web: chave no servidor, streaming para a página

Nunca coloque a chave da API no JavaScript do navegador. Qualquer pessoa pode lê-la e gastar seu crédito. Em vez disso, execute um pequeno servidor que adiciona a chave e encaminha o streaming. Este precisa do Node 18 ou mais recente e sem pacotes:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

Inicie-o com API_KEY=your_key node server.mjs. Em index.html, uma caixa de texto e um div são suficientes. A parte importante é ler os eventos enviados pelo servidor:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

Chame send(history, text => out.textContent += text), depois empurre a resposta concluída em seu array de histórico. Eventos enviados pelo servidor dividem chunks em posições de bytes arbitrários, é por isso que o código mantém um buffer e analisa apenas linhas completas.

Mantendo chats longos saudáveis

Três coisas dão errado em sessões mais longas, e todas têm soluções simples.

O histórico cresce sem fim

Mantenha a mensagem do sistema e as N mensagens mais recentes, ou resuma a parte mais antiga em uma única mensagem. Contar caracteres divididos por quatro é uma estimativa boa o suficiente para tokens. Procure ficar bem abaixo de 100.000.

Erros 429

Uma chave completa permite 8 requisições simultâneas e 300 por minuto; uma chave de teste permite 2 e 60. Se você vir HTTP 429 com código rate_limited ou concurrency, aguarde um momento e tente novamente. Uma sobrecarga temporária também retorna 429 com Retry-After: 5. Uma solicitação em streaming mantém seu slot de concorrência até o fim do streaming, então um usuário que fechar a aba deve ter a conexão encerrada no servidor.

Deriva do tom

A mensagem do sistema define o comportamento. Mantenha-a curta e específica, diminua temperature para consistência e aumente-a para escrita criativa. Parâmetros como top_p, stop e seed são passados diretamente.

De protótipo para algo compartilhável

Se outras pessoas vão usar seu chat, adicione limites de taxa por usuário no seu servidor para que uma pessoa não possa drenar o saldo. Mostre uma mensagem clara quando uma solicitação falhar, e lembre-se de que solicitações falhas ou recusadas não são cobradas. Você pode ler o saldo restante do cabeçalho de resposta X-Balance-USD, ou chamar GET /v1/balance.

Quando o crédito de teste acabar, recarregue qualquer valor inteiro de $20 a $500. Top-ups maiores têm um bônus de +5% a partir de $50, +10% a partir de $100 e +15% a partir de $200, e o crédito nunca expira. Você pode pagar com cripto. A página de preços tem os detalhes, e a documentação lista todos os endpoints, incluindo /v1/responses se você preferir esse formato.

Perguntas e respostas

Preciso enviar o histórico completo em cada solicitação?

Sim. A API é stateless, então seu cliente envia a mensagem do sistema e as rodadas anteriores a cada vez.

O navegador pode chamar a API diretamente?

Tecnicamente possível, mas isso exporia sua chave. Mantenha a chave em um servidor e faça o streaming da resposta por ele.

Como obter saída em streaming?

Defina stream como true. A resposta chega como eventos enviados pelo servidor, com o uso de tokens relatado no final.

O que acontece se eu atingir um limite de taxa?

Você recebe HTTP 429 com o código rate_limited ou concurrency. Aguarde e tente novamente; se o cabeçalho Retry-After: 5 estiver presente, aguarde esse número de segundos.

Sua chave está a um formulário de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de APILer a documentação