AR ▾
احصل على مفتاح API

محادثة LLM غير خاضعة للرقابة: إنشاء عميل بسيط

بناء محادثة LLM غير خاضعة للرقابة أمر سهل بمجرد أن تحصل على نقطة نهاية متوافقة مع OpenAI: حلقة، قائمة رسائل وقارئ للبث المتدفق. فيما يلي عميلان بسيطان، أحدهما للسطر الأوامر والآخر للمتصفح، يمكنك تشغيلهما في دقائق.

تم التحديث

فقاعات محادثة زجاجية فوق سطر الأوامر مع جسيمات بث متدفق تتدفق بينها، تمثل عميل محادثة متدفق
رسم توضيحي ثلاثي الأبعاد لواجهة GPU محلية مربوطة بخادم سحابي بكابل متوهج، يقارن بين LLMات المحلية والمستضافة

نقاط رئيسية

  1. عميل المحادثة هو قائمة رسائل بالإضافة إلى حلقة بث؛ الـ API عديم الحالة، لذا تعيد إرسال السجل في كل دور.
  2. نسخة سطر الأوامر تتكون من 25 سطرًا من Python مع SDK الخاص بـ OpenAI.
  3. للويب، احتفظ بمفتاح الـ API على خادم صغير وبث الاستجابة إلى المتصفح.
  4. قم بتقليص الرسائل القديمة قبل الوصول إلى نافذة السياق التي تحتوي على 100,000 رمز، وتعامل مع 429 بإعادة المحاولة.

ابدأ برصيد تجريبي

البريد الإلكتروني وكلمة المرور، ويظهر المفتاح على الشاشة فورًا.

احصل على مفتاح API

ما تبنيه

برنامجان صغيران. الأول هو دردشة طرفية تبث الرموز (tokens) عند وصولها. والثاني صفحة ويب مع خادم Node صغير أمامها. كلاهما يتصلان بنقطة النهاية نفسها، https://api.uncensoredllmonline.com/v1، باستخدام النموذج uncensored.

هذه دردشة LLM غير خاضعة للرقابة بمعنى أن النموذج مُعد للإجابة دون رفض المحتوى للاستخدام القانوني للبالغين. إنه نموذج مفتوح الأوزان واحد يديره مزود مستقل، وليس منتجًا رسميًا لأي بائع كبير. المحتوى الجنسي الذي يتضمن القاصرين غير مسموح به ولا يتم الرد عليه أبدًا. النص فقط.

تحتاج إلى مفتاح. بعد إنشاء الحساب، احصل على رصيد التجربة بقيمة $0.50 من صفحة مفتاح API؛ وهو كافٍ لكل ما في هذا المقال. إذا كنت تفضل استخدام تطبيق جاهز بدلاً من كتابة واحد، انظر إلى دليل خيارات عميل API.

كيف تعمل حالة الدردشة

الـ API لا يتذكر المحادثات. يجب أن يحمل كل طلب السجل الكامل كقائمة من الرسائل: رسالة النظام أولاً، ثم رسائل المستخدم والمساعد بالتناوب. يرى النموذج فقط ما ترسله. العميل يملك الذاكرة.

هذا له تأثير مباشر على التكلفة. بسعر $0.15 لكل مليون رمز مدخل، فإن دردشة نمت لتحتوي على 8,000 رمز من السجل تكلف $0.0012 للإدخال في الدور التالي (8,000 × $0.15 / 1M). إضافة رد بـ 300 رمز يضيف $0.00015. لذا فإن الدور يكلف حوالي $0.00135، ولا يزال رصيد التجربة يغطي مئات منها. يتم فوترة المخرجات بسعر $0.50 لكل مليون.

نافذة السياق هي 100,000 رمز (token)، للموجه والإكمال معًا. الدردشة العادية لا تقترب منها أبدًا، لكن جلسة لعب أدوار طويلة أو دردشة المستندات يمكن أن تقترب، لذا خطط للحذف (انظر أدناه).

عميل الطرفية في Python

ثبّت الـ SDK باستخدام pip install openai، اضبط مفتاحك وشغّل هذا:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredllmonline.com/v1", api_key="YOUR_KEY")

history = [{"role": "system", "content": "You are a direct, friendly assistant."}]

while True:
    try:
        user = input("\nyou> ").strip()
    except (EOFError, KeyboardInterrupt):
        break
    if not user:
        continue
    history.append({"role": "user", "content": user})

    reply = ""
    stream = client.chat.completions.create(
        model="uncensored", messages=history, stream=True
    )
    print("bot> ", end="", flush=True)
    for chunk in stream:
        if chunk.choices and chunk.choices[0].delta.content:
            piece = chunk.choices[0].delta.content
            reply += piece
            print(piece, end="", flush=True)
    history.append({"role": "assistant", "content": reply})

ملاحظات حول الكود. يعيد stream=True أجزاء؛ يحتوي كل منها على قطعة صغيرة من النص في delta.content. فحص chunk.choices مهم لأن جزء الاستخدام النهائي قد يصل بدون خيارات. يتم تجميع الرد في سلسلة واحدة وإضافته إلى سجل المحادثة كرسالة مساعد، وهو ما يجعل الدور التالي مدركاً للدور السابق. يُنهي Ctrl+C أو Ctrl+D الجلسة بشكل سليم.

عميل الويب: المفتاح على الخادم، البث المتدفق إلى الصفحة

لا تضع مفتاح API في JavaScript للمتصفح. يمكن لأي شخص قراءته وإنفاق رصيدك. بدلاً من ذلك، شغل خادمًا صغيرًا يضيف المفتاح ويعيد توجيه البث المتدفق. هذا يحتاج Node 18 أو أحدث ولا يحتاج حزم:

import http from "node:http";
import { readFileSync } from "node:fs";

const BASE = "https://api.uncensoredllmonline.com/v1";
const KEY = process.env.API_KEY;

http.createServer(async (req, res) => {
  if (req.method === "GET") {
    res.setHeader("Content-Type", "text/html");
    return res.end(readFileSync("index.html"));
  }
  if (req.method === "POST" && req.url === "/chat") {
    let body = "";
    for await (const c of req) body += c;
    const { messages } = JSON.parse(body);
    const up = await fetch(BASE + "/chat/completions", {
      method: "POST",
      headers: { Authorization: "Bearer " + KEY, "Content-Type": "application/json" },
      body: JSON.stringify({ model: "uncensored", messages, stream: true }),
    });
    res.writeHead(up.status, { "Content-Type": "text/event-stream" });
    for await (const chunk of up.body) res.write(chunk);
    return res.end();
  }
  res.statusCode = 404;
  res.end();
}).listen(3000);

ابدأه بـ API_KEY=your_key node server.mjs. في index.html، مربع نص و div كافيان. الجزء المهم هو قراءة أحداث Server-Sent:

async function send(messages, onText) {
  const r = await fetch("/chat", {
    method: "POST",
    headers: { "Content-Type": "application/json" },
    body: JSON.stringify({ messages }),
  });
  const reader = r.body.getReader();
  const dec = new TextDecoder();
  let buf = "";
  while (true) {
    const { done, value } = await reader.read();
    if (done) break;
    buf += dec.decode(value, { stream: true });
    const lines = buf.split("\n");
    buf = lines.pop();
    for (const line of lines) {
      if (line.startsWith("data: ") === false) continue;
      const data = line.slice(6).trim();
      if (data === "[DONE]") return;
      const delta = JSON.parse(data).choices?.[0]?.delta?.content;
      if (delta) onText(delta);
    }
  }
}

استدعِ send(history, text => out.textContent += text)، ثم أضف الرد المكتمل إلى مصفوفة سجل المحادثة الخاصة بك. تقسم الأحداث المرسلة من الخادم الأجزاء في مواضع بايت عشوائية، ولهذا السبب يحتفظ الكود بمخزن مؤقت ويقوم بتحليل الأسطر الكاملة فقط.

الحفاظ على صحة المحادثات الطويلة

ثلاثة أشياء تفسد في الجلسات الأطول، وجميعها لها حلول بسيطة.

السجل ينمو بلا نهاية

احتفظ برسالة النظام وـ N رسالة الأحدث، أو لخص الجزء الأقدم في رسالة واحدة. يعد حساب الأحرف مقسومة على أربعة تخميناً جيداً للرموز. حاول أن تبقى بعيداً جداً عن 100,000.

أخطاء 429

المفتاح الكامل يسمح بـ 8 طلبات متزامنة و300 في الدقيقة؛ المفتاح التجريبي يسمح بـ 2 و60. إذا رأيت HTTP 429 مع رمز rate_limited أو concurrency، انتظر لحظة وأعد المحاولة. الحمل الزائد المؤقت يُعيد أيضًا 429 مع Retry-After: 5. الطلب المتدفق يحتفظ بمكان التزامن حتى ينتهي البث المتدفق، لذا يجب أن ينهي المستخدم الذي يغلق علامة التبويب الاتصال على الخادم.

انحراف النبرة

رسالة النظام تحدد السلوك. اجعلها قصيرة ومحددة، اخفض temperature للاتساق وارفعها للكتابة الإبداعية. يتم تمرير المعلمات مثل top_p، stop و seed.

من النموذج الأولي إلى ما تشاركه

إذا كان آخرون سيستخدمون دردشتك، أضف حدود معدل لكل مستخدم على خادمك حتى لا يتمكن شخص واحد من إفراغ الرصيد. اعرض رسالة واضحة عند فشل الطلب، وتذكر أن الطلبات الفاشلة أو المرفوضة لا تُفوتَر. يمكنك قراءة الرصيد المتبقي من رأس الاستجابة X-Balance-USD، أو استدعاء GET /v1/balance.

عند نفاد رصيد التجربة، قم بشحن أي مبلغ صحيح من $20 إلى $500. تحمل الشحنات الأكبر مكافأة +5% من $50، و+10% من $100، و+15% من $200، ولا ينتهي الرصيد. يمكنك الدفع بالعملات المشفرة. تحتوي صفحة الأسعار على التفاصيل، وتدرج المستندات كل نقطة نهاية، بما في ذلك /v1/responses إذا كنت تفضل ذلك التنسيق.

أسئلة وأجوبة

هل أحتاج إلى إرسال سجل المحادثة الكامل في كل طلب؟

نعم. الـ API عديم الحالة، لذا يرسل العميل رسالة النظام والمراحل السابقة في كل مرة.

هل يمكن للمتصفح استدعاء الـ API مباشرة؟

ممكن تقنيًا، لكنه سيكشف مفتاحك. احتفظ بالمفتاح على خادم وبث الاستجابة من خلاله.

كيف أحصل على إخراج البث المتدفق؟

عيّن stream إلى true. تصل الاستجابة كحدث يرسله الخادم (SSE)، مع الإبلاغ عن استخدام الرموز في النهاية.

ماذا يحدث إذا تجاوزت حدّ المعدل؟

تحصل على HTTP 429 مع الرمز rate_limited أو concurrency. انتظر وأعد المحاولة؛ إذا كان الرأس Retry-After: 5 موجودًا، انتظر ذلك العدد من الثواني.

مفتاحك على بُعد استمارة واحدة

أنشئ حساباً، وانسخ المفتاح، ثم غيّر عنوان URL الأساسي. هذا هو الإعداد الكامل.

احصل على مفتاح APIاقرأ التوثيق