RU ▾
Получить API-ключ

LLM-чат без фильтров: создание простого клиента

Создать LLM-чат без фильтров несложно, если у вас есть эндпоинт, совместимый с OpenAI: цикл, список сообщений и потоковый ридер. Ниже представлены два минимальных клиента — один для терминала, другой для браузера, которые можно запустить за считанные минуты.

Обновлено

Стеклянные пузыри чата над терминалом с частицами потоковой передачи, движущимися между ними, представляющими клиента чата с потоковой передачей
Изометрическая иллюстрация локальной башни GPU, соединённой с облачным сервером светящимся кабелем, сравнивающая локальные и хостинговые LLM

Ключевые моменты

  1. Клиент чата — это список сообщений плюс цикл потоковой передачи; API не сохраняет состояние, поэтому вы отправляете историю каждый ход.
  2. Версия для терминала состоит из 25 строк кода на Python с использованием SDK OpenAI.
  3. Для веб-версии храните ключ API на небольшом сервере и передавайте ответ потоком в браузер.
  4. Обрезайте старые сообщения, прежде чем достигнете окна в 100 000 токенов, и обрабатывайте ошибку 429 с повторной попыткой.

Начните с пробного баланса

Электронная почта и пароль — ключ сразу на экране.

Получить API-ключ

Что вы создаёте

Две небольшие программы. Первая — терминальный чат, который передает токены потоком по мере их поступления. Вторая — веб-страница с небольшим сервером Node.js перед ней. Обе общаются с одним и тем же эндпоинтом, https://api.uncensoredllmonline.com/v1, используя модель uncensored.

Это LLM-чат без фильтров в том смысле, что модель настроена отвечать без отказов по контенту для законного использования взрослыми. Это одна модель с открытыми весами, запускаемая независимым провайдером, а не официальный продукт какого-либо крупного вендора. Сексуальный контент с участием несовершеннолетних не разрешен и никогда не генерируется. Это только текст.

Вам нужен ключ. После регистрации получите $0,50 пробного баланса на странице API-ключ; этого достаточно для всего, что описано в этой статье. Если вы предпочитаете использовать готовое приложение, а не писать свое, см. руководство по вариантам клиента API.

Как работает состояние чата

API не запоминает разговоры. Каждый запрос должен содержать всю историю в виде списка сообщений: сначала системное сообщение, затем чередующиеся сообщения пользователя и ассистента. Модель видит только то, что вы отправляете. Памятью управляет ваш клиент.

Это напрямую влияет на стоимость. При цене $0,15 за 1 млн входных токенов чат, история которого выросла до 8 000 токенов, обойдется в $0,0012 входных данных на следующий ход (8 000 x $0,15 / 1 млн). Ответ из 300 токенов добавит $0,00015. Таким образом, один ход стоит около $0,00135, и пробного кредита все еще хватит на несколько сотен таких ходов. Выходные токены тарифицируются по $0,50 за 1 млн токенов.

Контекстное окно составляет 100 000 токенов, включая промпт и завершение. Обычный чат редко достигает этого предела, но длинная ролевая игра или чат с документами могут, поэтому планируйте обрезку (см. ниже).

Клиент для терминала на Python

Установите SDK с помощью pip install openai, установите свой ключ и запустите это:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Заметки по коду. stream=True возвращает фрагменты; каждый содержит небольшой фрагмент текста в delta.content. Проверка chunk.choices важна, потому что финальный фрагмент с использованием может прийти без choices. Ответ собирается в одну строку и добавляется в историю как сообщение ассистента, что позволяет следующему ходу учитывать предыдущий. Ctrl+C или Ctrl+D завершает сессию корректно.

Веб-клиент: ключ на сервере, потоковая передача на страницу

Никогда не помещайте ключ API в JavaScript браузера. Любой может прочитать его и потратить ваш баланс. Вместо этого запустите небольшой сервер, который добавляет ключ и перенаправляет поток. Для этого нужен Node 18 или новее и никаких пакетов:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

Запустите его с API_KEY=your_key node server.mjs. В index.html достаточно текстового поля и div. Самая важная часть — чтение событий, отправленных сервером:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

Вызовите send(history, text => out.textContent += text), затем добавьте завершенный ответ в массив истории. События, отправленные сервером, разбивают фрагменты на произвольных позициях байтов, поэтому код поддерживает буфер и парсит только полные строки.

Поддержка стабильности длинных чатов

В более длительных сессиях возникают три проблемы, и у всех есть простые решения.

История растет без конца

Сохраняйте системное сообщение и последние N сообщений или суммируйте самую старую часть в одно сообщение. Подсчет символов, деленный на четыре, — это достаточно точная оценка для токенов. Старайтесь оставаться далеко ниже 100 000.

Ошибки 429

Полный ключ позволяет 8 параллельных запросов и 300 в минуту; пробный ключ позволяет 2 и 60. Если вы видите HTTP 429 с кодом rate_limited или concurrency, подождите немного и повторите запрос. Временная перегрузка также возвращает 429 с Retry-After: 5. Потоковый запрос удерживает слот параллельных запросов до конца потока, поэтому, если пользователь закрыл вкладку, соединение нужно прервать на сервере.

Смещение тона

Системное сообщение задает поведение. Делайте его коротким и конкретным, снижайте temperature для согласованности и повышайте для творческого письма. Параметры, такие как top_p, stop и seed, передаются как есть.

От прототипа к чему-то, чем можно поделиться

Если вашим чатом будут пользоваться другие люди, добавьте на сервере лимиты частоты запросов на пользователя, чтобы один человек не мог исчерпать баланс. Показывайте четкое сообщение при сбое запроса и помните, что неудачные или отклоненные запросы не тарифицируются. Вы можете прочитать оставшийся баланс из заголовка ответа X-Balance-USD или вызвать GET /v1/balance.

Когда пробный баланс исчерпан, пополните любую целую сумму от $20 до $500. Большие пополнения дают бонус +5% от $50, +10% от $100 и +15% от $200, и кредит не сгорает. Вы можете оплатить криптовалютой. На странице тарифов есть подробности, а в документации перечислены все эндпоинты, включая /v1/responses, если вы предпочитаете этот формат.

Вопросы и ответы

Нужно ли отправлять полную историю в каждом запросе?

Да. API не сохраняет состояние, поэтому ваш клиент должен отправлять системное сообщение и предыдущие реплики каждый раз.

Может ли браузер обращаться к API напрямую?

Технически возможно, но это раскроет ваш ключ. Храните ключ на сервере и потоково передавайте ответ через него.

Как получить потоковый вывод?

Установите stream в true. Ответ приходит в виде событий, отправленных сервером, с указанием использования токенов в конце.

Что произойдет, если я превышу лимит запросов?

Вы получите HTTP 429 с кодом rate_limited или concurrency. Подождите и повторите запрос; если заголовок Retry-After: 5 присутствует, подождите указанное количество секунд.

Ваш ключ — всего в одном шаге

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключЧитать документацию