TR ▾
API anahtarı al

Sansürsüz LLM Sohbeti: Basit Bir İstemci Oluşturun

Bir OpenAI uyumlu uç noktaya sahip olduğunuzda, bir döngü, bir mesaj listesi ve bir akış okuyucu ile basit bir sansürsüz LLM sohbeti oluşturmak kolaydır. Aşağıda, dakikalar içinde çalıştırabileceğiniz terminal ve tarayıcı için iki minimal istemci bulunmaktadır.

güncellendi

Akış istemcisi temsil eden, aralarında akış parçacıkları akan bir terminal üzerinde cam sohbet balonları
Yerel GPU kulesinin bir bulut sunucusuna parlayan bir kablo ile bağlandığı, yerel ve barındırılan LLM'leri karşılaştıran izometrik bir illüstrasyon

Temel noktalar

  1. Bir sohbet istemcisi, bir mesaj listesi ve bir akış döngüsünden oluşur; API durum bilgisi taşımaz, bu nedenle her adımda geçmişi yeniden gönderirsiniz.
  2. Terminal sürümü, OpenAI SDK ile 25 satır Python kodundan oluşur.
  3. Web için API anahtarını küçük bir sunucuda tutun ve yanıtı tarayıcıya akış olarak iletin.
  4. 100.000 token penceresine ulaşmadan önce eski mesajları kısaltın ve 429 hatalarını yeniden deneme mekanizmasıyla yönetin.

Deneme kredisiyle başlayın

E-posta ve parola, anahtar hemen ekranda.

API anahtarı al

Ne inşa ettiğinizi

İki küçük program. İlki, tokenlar geldikçe akış yapan bir terminal sohbetidir. İkincisi, önünde küçük bir Node sunucusu olan bir web sayfasıdır. İkisi de https://api.uncensoredllmonline.com/v1 uç noktasına uncensored modelini kullanarak bağlanır.

Bu, model yasal yetişkin kullanımı için içerik reddi olmadan yanıt verecek şekilde ayarlandığı için sansürsüz bir LLM sohbetidir. Bağımsız bir sağlayıcı tarafından işletilen bir açık ağırlıklı modeldir; büyük bir satıcının resmi ürünü değildir. Reşit olmayanların dahil olduğu cinsel içeriklere izin verilmez ve asla yanıt verilmez. Metin tabanlıdır.

Bir anahtara ihtiyacınız var. Kayıt olduktan sonra API anahtarı sayfasında 0,50 $ deneme kredisi talep edin; bu makaledeki her şey için yeterlidir. Hazır bir uygulama yazmak yerine kullanmak isterseniz, API istemci seçenekleri kılavuzuna bakın.

Sohbet durumu nasıl çalışır

API konuşmaları hatırlamaz. Her istek, bir sistem mesajı ve ardından sırayla kullanıcı ve asistan mesajlarından oluşan bir mesaj listesi olarak tam geçmişi içermelidir. Model yalnızca size gönderdiklerinizi görür. Bellek istemcinize aittir.

Bu durum maliyet üzerinde doğrudan etki yapar. 1M girdi token başına 0,15 $ ile, geçmişi 8.000 tokena ulaşmış bir sohbetin bir sonraki adımında girdi maliyeti 0,0012 $'dır (8.000 x 0,15 $ / 1M). 300 tokenlik bir yanıt 0,00015 $ ekler. Yani bir adım yaklaşık 0,00135 $ tutarındadır ve deneme kredisi hala yüzlerce adımı karşılayabilir. Çıktı 1M başına 0,50 $ ile faturalandırılır.

Bağlam penceresi 100.000 token olup, istem ve tamamlama birlikte ölçülür. Normal bir sohbet buna yaklaşmaz, ancak uzun bir rol yapma veya belge sohbeti yaklaşabilir, bu yüzden kısaltma planı yapın (aşağıya bakın).

Terminal istemcisi Python ile

SDK'yı pip install openai ile yükleyin, anahtarınızı ayarlayın ve bunu çalıştırın:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

Kod hakkında notlar. stream=True parçalar döndürür; her parçada delta.content içinde küçük bir metin parçası bulunur. chunk.choices kontrolü önemlidir çünkü son kullanım parçası choices olmadan gelebilir. Yanıt tek bir dize olarak toplanır ve asistan mesajı olarak geçmişe eklenir; bu da bir sonraki sıranın son sırayı fark etmesini sağlar. Ctrl+C veya Ctrl+D oturumu temiz bir şekilde sonlandırır.

Web istemcisi: Anahtar sunucuda, sayfaya akış

API anahtarını tarayıcı JavaScript'ine koymayın. Herkes okuyabilir ve kredinizi harcayabilir. Bunun yerine, anahtarı ekleyen ve akışı ileten küçük bir sunucu çalıştırın. Bu sunucu Node 18 veya üzeri gerektirir ve paket gerektirmez:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

API_KEY=your_key node server.mjs ile başlatın. index.html içinde bir metin kutusu ve bir div yeterlidir. Önemli kısım sunucu tarafından gönderilen olayları okumaktır:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

send(history, text => out.textContent += text) çağrısı yapın, ardından biten yanıtı geçmiş dizinize ekleyin. Sunucu tarafından gönderilen olaylar parçaları keyfi bayt konumlarında böler; bu nedenle kod bir arabellek tutar ve yalnızca tam satırları ayrıştırır.

Uzun sohbetleri sağlıklı tutma

Uzun oturumlarda üç şey bozulur ve hepsinin basit çözümleri vardır.

Geçmiş sonsuza dek büyür

Sistem mesajını ve en son N mesajı koruyun veya en eski kısmı tek bir mesajda özetleyin. Karakter sayısını dört bölerek token tahmini yapmak yeterince iyidir. 100.000'in çok altında kalmaya çalışın.

429 hataları

Tam anahtar 8 eşzamanlı istek ve dakikada 300 istek yapmanıza izin verir; deneme anahtarı ise 2 ve 60'a izin verir. rate_limited veya concurrency koduyla HTTP 429 hatası görürseniz bir süre bekleyip tekrar deneyin. Geçici bir aşırı yüklenme durumunda da Retry-After: 5 ile 429 hatası döndürülür. Akışlı bir istek, akış bitene kadar eşzamanlılık slotunu tutar; bu nedenle sekmeyi kapatan bir kullanıcının sunucuda bağlantısının kesilmesi gerekir.

Ton kayması

Sistem mesajı davranışı belirler. Kısa ve spesifik tutun; tutarlılık için temperature değerini düşürün ve yaratıcı metin yazımı için artırın. top_p, stop ve seed gibi parametreler doğrudan iletilir.

Prototipten paylaşılabilir hale getirme

Başkalarının sohbetinizi kullanması gerekiyorsa, bir kişinin bakiyeyi bitirememesi için sunucunuzda kullanıcı başına hız limitleri ekleyin. Bir istek başarısız olduğunda net bir mesaj gösterin ve başarısız veya reddedilen isteklerin faturalandırılmadığını unutmayın. Kalan bakiyeyi X-Balance-USD yanıt başlığından okuyabilir veya GET /v1/balance çağırabilirsiniz.

Deneme süresi bittiğinde, 20 $ ile 500 $ arasında tam bir miktar yükleyin. Daha büyük yüklemeler 50 $'dan itibaren +%5, 100 $'dan itibaren +%10 ve 200 $'dan itibaren +%15 bonus içerir ve kredi süresi dolmaz. Kripto ile ödeme yapabilirsiniz. Fiyatlandırma sayfası detayları içerir ve dokümantasyon /v1/responses dahil olmak üzere tüm uç noktaları listeler.

Sorular ve cevaplar

Her istekte tam geçmişi göndermem gerekiyor mu?

Evet. API durum bilgisi tutmadığından, istemciniz sistem mesajını ve önceki sıraları her istekte gönderir.

Tarayıcı API'ye doğrudan erişebilir mi?

Teknik olarak mümkündür, ancak anahtarınızı açığa çıkarır. Anahtarı bir sunucuda tutun ve yanıtı oradan akış olarak iletin.

Akış çıktısını nasıl alırım?

Akışı true olarak ayarlayın. Yanıt, sunucu tarafından gönderilen olaylar olarak gelir; token kullanımı sonunda bildirilir.

Hız limitine takılırsam ne olur?

rate_limited veya concurrency koduyla HTTP 429 alırsınız. Bekleyip yeniden deneyin; Retry-After: 5 başlığı varsa, belirtilen saniye kadar bekleyin.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı alDokümantasyonu oku