बिना सेंसर LLM चैट: एक सरल क्लाइंट बनाएं
एक बिना सेंसर LLM चैट बनाना आसान है जब आपके पास एक OpenAI-कम्पेटिबल एंडपॉइंट हो: एक लूप, एक संदेश सूची और एक स्ट्रीमिंग रीडर। नीचे दो न्यूनतम क्लाइंट दिए गए हैं, एक टर्मिनल के लिए और एक ब्राउज़र के लिए, जिन्हें आप मिनटों में चला सकते हैं।


मुख्य बिंदु
- एक चैट क्लाइंट एक संदेश सूची और एक स्ट्रीमिंग लूप है; API स्टेटलेस है, इसलिए आप हर टर्न पर इतिहास फिर से भेजते हैं।
- टर्मिनल संस्करण OpenAI SDK के साथ Python की 25 लाइनों का है।
- वेब के लिए, API कुंजी को एक छोटे सर्वर पर रखें और प्रतिक्रिया को ब्राउज़र में स्ट्रीम करें।
- 100,000-टोकन कॉन्टेक्स्ट विंडो तक पहुंचने से पहले पुराने संदेशों को काटें, और 429 को पुनः प्रयास करके हैंडल करें।
आप क्या बना रहे हैं
दो छोटे प्रोग्राम। पहला एक टर्मिनल चैट है जो टोकन को स्ट्रीम करता है जैसे ही वे आते हैं। दूसरा एक वेब पेज है जिसके सामने एक छोटा Node सर्वर है। दोनों एक ही एंडपॉइंट से बात करते हैं, https://api.uncensoredllmonline.com/v1, मॉडल uncensored का उपयोग करके।
यह एक बिना सेंसर LLM चैट है इस अर्थ में कि मॉडल कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकार के उत्तर देने के लिए ट्यून्ड है। यह एक ओपन-वेट मॉडल है जिसे एक स्वतंत्र प्रदाता चलाता है, किसी बड़े विक्रेता का आधिकारिक उत्पाद नहीं है। नाबालिगों से संबंधित यौन सामग्री की अनुमति नहीं है और उसका उत्तर कभी नहीं दिया जाता है। यह केवल टेक्स्ट है।
आपको एक कुंजी की आवश्यकता है। साइन अप करने के बाद, API कुंजी पृष्ठ पर $0.50 ट्रायल क्रेडिट प्राप्त करें; यह इस लेख में कुछ भी करने के लिए पर्याप्त है। यदि आप एक ऐप लिखने के बजाय एक तैयार ऐप का उपयोग करना चाहते हैं, तो API क्लाइंट विकल्प के लिए गाइड देखें।
चैट स्टेट कैसे काम करता है
API बातचीत को याद नहीं रखता है। हर अनुरोध में पूरी इतिहास को संदेशों की एक सूची के रूप में ले जाना चाहिए: पहले एक सिस्टम संदेश, फिर बारी-बारी से उपयोगकर्ता और असिस्टेंट संदेश। मॉडल केवल वही देखता है जो आप भेजते हैं। आपका क्लाइंट मेमोरी का मालिक है।
इसका लागत पर सीधा प्रभाव पड़ता है। 1M इनपुट टोकन के लिए $0.15 पर, जिस चैट का इतिहास 8,000 टोकन तक बढ़ गया है, अगली बार में इनपुट के लिए $0.0012 की लागत आती है (8,000 x $0.15 / 1M)। एक 300-टोकन की रिप्लाई $0.00015 जोड़ती है। इसलिए एक टर्न लगभग $0.00135 का है, और ट्रायल क्रेडिट अभी भी सैकड़ों को कवर करता है। आउटपुट 1M के लिए $0.50 पर बिल किया जाता है।
कॉन्टेक्स्ट विंडो 100,000 टोकन की है, प्रॉम्प्ट और कंप्लीशन मिलाकर। एक सामान्य चैट कभी भी इसके करीब नहीं पहुंचती, लेकिन एक लंबी रोलप्ले या डॉक्यूमेंट चैट ऐसा कर सकती है, इसलिए ट्रिमिंग की योजना बनाएं (नीचे देखें)।
Python में टर्मिनल क्लाइंट
SDK को pip install openai के साथ इंस्टॉल करें, अपनी कुंजी सेट करें और यह चलाएं:
from openai import OpenAI
client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")
history = [{"role": "system", "content": "You are a direct, friendly assistant."}]
while True:
try:
user = input("\nyou> ").strip()
except (EOFError, KeyboardInterrupt):
break
if not user:
continue
history.append({"role": "user", "content": user})
reply = ""
stream = client.chat.completions.create(
model="uncensored", messages=history, stream=True
)
print("bot> ", end="", flush=True)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
piece = chunk.choices[0].delta.content
reply += piece
print(piece, end="", flush=True)
history.append({"role": "assistant", "content": reply})
कोड पर नोट्स। stream=True चंक्स लौटाता है; प्रत्येक में delta.content में टेक्स्ट का एक छोटा टुकड़ा होता है। chunk.choices के लिए जाँच महत्वपूर्ण है क्योंकि अंतिम उपयोग चंक बिना चॉइस के आ सकता है। जवाब को एक स्ट्रिंग में एकत्र किया जाता है और इतिहास में एक सहायक संदेश के रूप में जोड़ा जाता है, जो अगली बारी को पिछली बारी के बारे में जागरूक बनाता है। Ctrl+C या Ctrl+D सत्र को साफ़ तरीके से समाप्त करता है।
वेब क्लाइंट: सर्वर पर कुंजी, पेज पर स्ट्रीम
API कुंजी को ब्राउज़र JavaScript में कभी न डालें। कोई भी इसे पढ़ सकता है और आपका क्रेडिट खर्च कर सकता है। इसके बजाय, एक छोटा सर्वर चलाएं जो कुंजी जोड़ता है और स्ट्रीम को आगे बढ़ाता है। इसमें Node 18 या उससे नया और कोई पैकेज नहीं चाहिए:
import http from "node:http";
import { readFileSync } from "node:fs";
const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;
http.createServer(async (req, res) => {
if (req.method === "GET") {
res.setHeader("Content-Type", "text/html");
return res.end(readFileSync("index.html"));
}
if (req.method === "POST" && req.url === "/chat") {
let body = "";
for await (const c of req) body += c;
const { messages } = JSON.parse(body);
const up = await fetch(BASE + "/chat/completions", {
method: "POST",
headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
body: JSON.stringify({ model: "uncensored", messages, stream: true }),
});
res.writeHead(up.status, { "Content-Type": "text/event-stream" });
for await (const chunk of up.body) res.write(chunk);
return res.end();
}
res.statusCode = 404;
res.end();
}).listen(3000);
इसे API_KEY=your_key node server.mjs से शुरू करें। index.html में, एक टेक्स्ट बॉक्स और एक div पर्याप्त हैं। मायने रखने वाला हिस्सा सर्वर-सेंट इवेंट्स को पढ़ना है:
async function send(messages, onText) {
const r = await fetch("/chat", {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify({ messages }),
});
const reader = r.body.getReader();
const dec = new TextDecoder();
let buf = "";
while (true) {
const { done, value } = await reader.read();
if (done) break;
buf += dec.decode(value, { stream: true });
const lines = buf.split("\n");
buf = lines.pop();
for (const line of lines) {
if (line.startsWith("data: ") === false) continue;
const data = line.slice(6).trim();
if (data === "[DONE]") return;
const delta = JSON.parse(data).choices?.[0]?.delta?.content;
if (delta) onText(delta);
}
}
}send(history, text => out.textContent += text) कॉल करें, फिर पूरा जवाब अपने इतिहास सरणी में डालें। Server-sent events चंक्स को मनमाने बाइट स्थानों पर विभाजित करता है, इसलिए कोड एक बफर बनाए रखता है और केवल पूर्ण पंक्तियों को पार्स करता है।
लंबी चैट को स्वस्थ रखें
लंबे सत्रों में तीन चीजें गलत होती हैं, और सभी का सरल समाधान है।
इतिहास बिना अंत के बढ़ता है
सिस्टम संदेश और सबसे हालिया N संदेशों को रखें, या सबसे पुराने हिस्से को एक संदेश में सारांशित करें। चार से विभाजित अक्षरों की गिनती टोकन के लिए एक पर्याप्त अनुमान है। 100,000 से काफी नीचे रहने का प्रयास करें।
429 त्रुटियां
एक पूर्ण कुंजी 8 समानांतर अनुरोध और प्रति मिनट 300 की अनुमति देती है; एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। यदि आपको HTTP 429 कोड rate_limited या concurrency के साथ मिलता है, तो एक क्षण प्रतीक्षा करें और पुनः प्रयास करें। एक अस्थायी ओवरलोड भी Retry-After: 5 के साथ 429 लौटाता है। एक स्ट्रीम किए गए अनुरोध में कॉन्करेंसी स्लॉट स्ट्रीम समाप्त होने तक बना रहता है, इसलिए एक उपयोगकर्ता जो टैब बंद करता है, उसके लिए सर्वर पर कनेक्शन रद्द होना चाहिए।
टोन ड्रिफ्ट
सिस्टम संदेश व्यवहार सेट करता है। इसे छोटा और विशिष्ट रखें, स्थिरता के लिए temperature कम करें और रचनात्मक लेखन के लिए इसे बढ़ाएं। top_p, stop और seed जैसे पैरामीटर पास किए जाते हैं।
प्रोटोटाइप से कुछ साझा करने योग्य तक
यदि अन्य लोग आपकी चैट का उपयोग करेंगे, तो अपने सर्वर पर प्रति-उपयोगकर्ता रेट लिमिट जोड़ें ताकि एक व्यक्ति बैलेंस को खाली न कर सके। जब कोई अनुरोध विफल हो जाए तो एक स्पष्ट संदेश दिखाएं, और याद रखें कि विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता है। आप शेष बैलेंस X-Balance-USD रिस्पॉन्स हेडर से पढ़ सकते हैं, या GET /v1/balance कॉल कर सकते हैं।
जब ट्रायल समाप्त हो जाए, तो $20 से $500 तक किसी भी पूर्ण राशि का टॉप-अप करें। बड़े टॉप-अप पर $50 से +5%, $100 से +10% और $200 से +15% बोनस मिलता है, और क्रेडिट कभी समाप्त नहीं होता। आप क्रिप्टो से भुगतान कर सकते हैं। मूल्य निर्धारण पृष्ठ पर विवरण दिया गया है, और दस्तावेज़ में हर एंडपॉइंट की सूची है, जिसमें /v1/responses भी शामिल है यदि आप उस फॉर्मेट को प्राथमिकता देते हैं।
अधिक गाइड
प्रश्न और उत्तर
क्या मुझे हर अनुरोध पर पूरा इतिहास भेजने की आवश्यकता है?
हाँ। API स्टेटलेस है, इसलिए आपका क्लाइंट सिस्टम संदेश और पिछली बातचीत के टर्न्स हर बार भेजता है।
क्या ब्राउज़र सीधे API को कॉल कर सकता है?
तकनीकी रूप से संभव है, लेकिन इससे आपकी कुंजी खुल जाएगी। कुंजी को सर्वर पर रखें और रिस्पॉन्स को उसके माध्यम से स्ट्रीम करें।
मैं स्ट्रीमिंग आउटपुट कैसे प्राप्त करूं?
stream को true सेट करें। रिस्पॉन्स सर्वर-सेंट इवेंट्स के रूप में आता है, जिसमें टोकन उपयोग अंत में रिपोर्ट किया जाता है।
यदि मैं रेट लिमिट पर पहुँच जाता हूँ तो क्या होता है?
आपको HTTP 429 कोड rate_limited या concurrency के साथ मिलता है। प्रतीक्षा करें और पुनः प्रयास करें; यदि Retry-After: 5 हेडर मौजूद है, तो उतने ही सेकंड प्रतीक्षा करें।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।