무검열 LLM 채팅: 간단한 클라이언트 만들기
OpenAI 호환 엔드포인트가 있다면 무검열 LLM 채팅을 쉽게 구축할 수 있습니다. 루프, 메시지 목록, 스트리밍 리더만 있으면 됩니다. 아래는 터미널과 브라우저를 위한 두 가지 최소 클라이언트입니다. 몇 분 안에 실행할 수 있습니다.


주요 포인트
- 채팅 클라이언트는 메시지 목록과 스트리밍 루프로 구성됩니다. API는 상태가 없으므로 매 턴마다 기록을 다시 전송합니다.
- 터미널 버전은 OpenAI SDK를 사용한 Python 25줄 코드입니다.
- 웹의 경우 API 키를 작은 서버에 보관하고 응답을 브라우저로 스트리밍하세요.
- 100,000토큰 창에 도달하기 전에 오래된 메시지를 잘라내고 429 오류를 처리하세요.
빌드할 것
두 개의 작은 프로그램입니다. 첫 번째는 토큰이 도착하는 대로 스트리밍하는 터미널 채팅입니다. 두 번째는 앞에 작은 Node 서버가 있는 웹 페이지입니다. 둘 다 같은 엔드포인트 https://api.uncensoredllmonline.com/v1를 사용하고 모델 uncensored로 통신합니다.
이것은 합법적인 성인 사용에 대해 콘텐츠 거부 없이 답변하도록 조정된 모델이라는 의미에서 무검열 LLM 채팅입니다. 독립적인 제공자가 운영하는 단일 오픈 웨이트 모델이며, 주요 벤더의 공식 제품이 아닙니다. 미성년자가 관련된 성 콘텐츠는 허용되지 않으며 절대 답변하지 않습니다. 텍스트 전용입니다.
키가 필요합니다. 가입 후 API 키 페이지에서 $0.50 체험액을 청구하세요. 이 금액으로 이 문서의 모든 예제를 실행하기에 충분합니다. 앱을 직접 작성하는 대신 미리 만들어진 앱을 사용하려면 API 클라이언트 옵션 가이드를 참조하세요.
채팅 상태 작동 방식
API는 대화를 기억하지 않습니다. 모든 요청에는 전체 기록이 메시지 목록으로 포함되어야 합니다. 시스템 메시지를 먼저, 그 다음 사용자 및 어시스턴트 메시지를 교대로 넣습니다. 모델은 당신이 보내는 것만 봅니다. 기록은 클라이언트가 관리합니다.
이것은 비용에 직접적인 영향을 미칩니다. 1M 입력 토큰당 $0.15로, 기록이 8,000토큰으로 늘어난 채팅의 다음 턴 입력 비용은 $0.0012(8,000 x $0.15 / 1M)입니다. 300토큰 응답은 $0.00015를 추가합니다. 따라서 한 턴은 약 $0.00135이며, 체험 크레딧으로 수백 번의 턴을 처리할 수 있습니다. 출력은 1M당 $0.50으로 청구됩니다.
컨텍스트 창은 100,000토큰이며 프롬프트와 completion을 합친 값입니다. 일반적인 채팅은 거의 도달하지 않지만, 긴 역할극이나 문서 채팅은 도달할 수 있으므로 잘라내기 계획을 세우세요(아래 참조).
터미널 클라이언트 (Python)
pip install openai로 SDK를 설치하고 키를 설정한 후 다음을 실행하세요:
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a direct, friendly assistant."}]
while True:
try:
user = input("\nyou> ").strip()
except (EOFError, KeyboardInterrupt):
break
if not user:
continue
history.append({"role": "user", "content": user})
reply = ""
stream = client.chat.completions.create(
model="uncensored", messages=history, stream=True
)
print("bot> ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
reply += piece
print(piece, end="", flush=True)
history.append({"role": "assistant", "content": reply})
코드 참고. stream=True는 청크를 반환합니다. 각 청크에는 delta.content에 작은 텍스트 조각이 있습니다. chunk.choices 확인은 마지막 사용량 청크가 choices 없이 도착할 수 있기 때문에 중요합니다. 응답은 하나의 문자열로 수집되어 어시스턴트 메시지로 기록에 추가되며, 이는 다음 턴이 마지막 턴을 인지하게 만듭니다. Ctrl+C 또는 Ctrl+D로 세션을 깔끔하게 종료합니다.
웹 클라이언트: 서버에 키 보관, 페이지로 스트리밍
API 키를 브라우저 JavaScript에 넣지 마세요. 누구나 읽을 수 있고 크레딧을 소모할 수 있습니다. 대신 키를 추가하고 스트리밍을 전달하는 작은 서버를 실행하세요. 이 서버는 Node 18 이상이 필요하며 패키지가 필요 없습니다:
import http from "node:http";
import { readFileSync } from "node:fs";
const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;
http.createServer(async (req, res) => {
if (req.method === "GET") {
res.setHeader("Content-Type", "text/html");
return res.end(readFileSync("index.html"));
}
if (req.method === "POST" && req.url === "/chat") {
let body = "";
for await (const c of req) body += c;
const { messages } = JSON.parse(body);
const up = await fetch(BASE + "/chat/completions", {
method: "POST",
headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
body: JSON.stringify({ model: "uncensored", messages, stream: true }),
});
res.writeHead(up.status, { "Content-Type": "text/event-stream" });
for await (const chunk of up.body) res.write(chunk);
return res.end();
}
res.statusCode = 404;
res.end();
}).listen(3000);
API_KEY=your_key node server.mjs로 시작하세요. index.html에서는 텍스트 상자와 div만 있으면 됩니다. 중요한 부분은 서버 전송 이벤트를 읽는 것입니다:
async function send(messages, onText) {
const r = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = r.body.getReader();
const dec = new TextDecoder();
let buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const lines = buf.split("\n");
buf = lines.pop();
for (const line of lines) {
if (line.startsWith("data: ") === false) continue;
const data = line.slice(6).trim();
if (data === "[DONE]") return;
const delta = JSON.parse(data).choices?.[0]?.delta?.content;
if (delta) onText(delta);
}
}
}send(history, text => out.textContent += text)를 호출한 후 완료된 응답을 기록 배열에 추가하세요. 서버 전송 이벤트는 임의의 바이트 위치에서 청크를 분할하므로 코드는 버퍼를 유지하고 완전한 라인만 구문 분석합니다.
긴 채팅 유지 관리
긴 세션에서는 세 가지 문제가 발생하며 모두 간단한 해결책이 있습니다.
기록이 무한히 증가
시스템 메시지와 최근 N개 메시지를 유지하거나 가장 오래된 부분을 하나의 메시지로 요약하세요. 문자 수를 4로 나눈 값은 토큰에 대한 좋은 추정치입니다. 100,000보다 훨씬 낮게 유지하세요.
429 오류
전체 키는 동시 요청 8개 및 분당 300개를 허용합니다. 체험 키는 2개 및 60개를 허용합니다. HTTP 429와 코드 rate_limited 또는 concurrency을 보면 잠시 기다렸다가 다시 시도하세요. 일시적 과부하도 Retry-After: 5와 함께 429를 반환합니다. 스트리밍 요청은 스트림이 끝날 때까지 동시성 제한 슬롯을 유지하므로 탭을 닫은 사용자의 경우 서버에서 연결을 중단해야 합니다.
어조 변화
시스템 메시지는 동작 방식을 설정합니다. 짧고 구체적으로 유지하고, 일관성을 위해 temperature을 낮추고 창의적인 작성을 위해 높이세요. top_p, stop, seed 같은 매개변수는 전달됩니다.
프로토타입에서 공유 가능한 제품으로
다른 사람들이 채팅을 사용하려면 서버에 사용자별 속도 제한을 추가하여 한 사람이 잔액을 고갈시키지 못하게 하세요. 요청이 실패할 때 명확한 메시지를 표시하고, 실패하거나 거부된 요청은 청구되지 않는다는 점을 기억하세요. X-Balance-USD 응답 헤더에서 잔액을 읽거나 GET /v1/balance를 호출할 수 있습니다.
체험이 끝나면 $20에서 $500까지 전체 금액으로 충전하세요. 큰 충전에는 $50부터 +5%, $100부터 +10%, $200부터 +15% 보너스가 적용되며 크레딧은 만료되지 않습니다. 암호화폐로 결제할 수 있습니다. 가격 책정 페이지에 세부 정보가 있으며 문서에는 /v1/responses를 포함한 모든 엔드포인트가 나열되어 있습니다.
더 많은 가이드
질문과 답변
모든 요청에 전체 대화 기록을 보내야 하나요?
네. API는 상태가 없으므로 클라이언트가 매번 시스템 메시지 및 이전 대화를 전송해야 합니다.
브라우저에서 API를 직접 호출할 수 있나요?
기술적으로는 가능하지만 키가 노출됩니다. 키를 서버에 보관하고 응답을 서버를 통해 스트리밍하세요.
스트리밍 출력을 어떻게 받나요?
stream을 true로 설정하세요. 응답은 서버 전송 이벤트로 도착하며, 토큰 사용량은 마지막에 보고됩니다.
속도 제한에 도달하면 어떻게 되나요?
rate_limited 또는 concurrency 오류 코드가 포함된 HTTP 429 응답을 받습니다. 기다렸다가 다시 시도하세요. Retry-After: 5 헤더가 있는 경우 해당 초수만큼 대기합니다.