TH ▾
รับคีย์ API

โมเดล LLM ไม่เซ็นเซอร์ที่ดีที่สุดสำหรับรันในเครื่องปี 2025 เทียบกับ API แบบโฮสต์

LLM uncensored ที่ดีที่สุดสำหรับรันในเครื่องปี 2025 คือโมเดลขนาดใหญ่ที่สุดที่หน่วยความจำของคุณสามารถรองรับได้ด้วยความเร็วที่เหมาะสม บทความนี้แสดงวิธีกำหนดขนาดการเลือกนี้ ลักษณะของเครื่องมือ และที่ที่ API แบบโฮสต์เป็นเส้นทางที่ง่ายกว่า

อัปเดต

ภาพประกอบไอโซเมตริกของตู้ GPU ในเครื่องที่เชื่อมต่อกับเซิร์ฟเวอร์คลาวด์ด้วยสายไฟส่องสว่าง เปรียบเทียบ LLM แบบในเครื่องและแบบโฮสต์

ประเด็นสำคัญ

  1. หน่วยความจำเป็นตัวกำหนดทุกอย่าง: โมเดล 4-bit ใช้พื้นที่ประมาณครึ่งกิกะไบต์ต่อพารามิเตอร์หนึ่งพันล้านตัว พร้อมพื้นที่สำหรับหน้าต่างบริบท
  2. Ollama, LM Studio และ llama.cpp ทั้งหมดรันโมเดลในเครื่องและส่วนใหญ่เปิดใช้งานเอนด์พอยต์สไตล์ OpenAI
  3. API แบบโฮสต์ให้คุณหน้าต่างบริบทขนาดใหญ่และไม่ต้องใช้ฮาร์ดแวร์ แต่มีเพียงหนึ่งโมเดลและไม่มี fine-tuning
  4. คุณสามารถเขียนไคลเอนต์เดียวที่สลับระหว่างแบบในเครื่องและแบบโฮสต์ได้โดยการเปลี่ยน base URL

เริ่มต้นด้วยเครดิตทดลองใช้

อีเมลและรหัสผ่าน คีย์แสดงบนหน้าจอทันที

รับคีย์ API

คำตอบสั้นๆ: กำหนดขนาดให้เหมาะกับหน่วยความจำของคุณ

หากคุณกำลังมองหา LLM แบบไม่เซ็นเซอร์ที่ดีที่สุดสำหรับรันในเครื่องสไตล์ปี 2025 จะไม่มีผู้ชนะเพียงรายเดียวที่จะระบุได้ และควรระวังรายการที่อ้างว่ามีเพียงรายเดียว โมเดลที่ผ่านการปรับแต่งใหม่ (fine-tunes) ปรากฏขึ้นทุกไม่กี่สัปดาห์ การจัดอันดับเปลี่ยนแปลงไป และโมเดลที่ยอดเยี่ยมสำหรับการเล่าเรื่องอาจทำได้ปานกลางในการเขียนโค้ด คำถามที่ดีกว่าคือโมเดลใดที่เหมาะกับเครื่องและงานของคุณ

ทำงานตามลำดับนี้ ขั้นแรก ให้ตรวจสอบปริมาณหน่วยความจำเร็วที่มีอยู่: VRAM บน GPU หรือหน่วยความจำรวมบน Apple Silicon Mac ขั้นที่สอง เลือกตระกูลโมเดลที่ใหญ่ที่สุดที่พอดีกับหน่วยความจำนั้นที่การควอนไทซ์ 4-bit พร้อมเหลือพื้นที่สำหรับหน้าต่างบริบท ขั้นที่สาม เลือกเวอร์ชัน uncensored ของตระกูลนั้น ซึ่งหมายถึงเวอร์ชันที่ปรับแต่งหรือแก้ไขที่ผ่านการฝึกฝนเพื่อไม่ปฏิเสธคำขอทั่วไปที่ถูกต้องตามกฎหมาย ขั้นที่สี่ ทดสอบกับพรอมต์ของคุณเองเป็นเวลาหนึ่งชั่วโมง การทดสอบนี้บอกคุณได้มากกว่าตารางเปรียบเทียบใดๆ

ความหมายของ "uncensored" สำหรับโมเดลแบบเปิดน้ำหนัก

โมเดลมักได้รับการฝึกในสองขั้นตอน โมเดลฐานเรียนรู้จากชุดข้อมูลข้อความขนาดใหญ่ และขั้นตอนที่สองของการปรับแต่งด้วยคำแนะนำสอนให้มันปฏิบัติตามคำขอและปฏิเสธคำขอบางรายการ แบบไม่เซ็นเซอร์เกิดจากการเปลี่ยนแปลงขั้นตอนที่สองนั้น: การปรับแต่งด้วยข้อมูลที่มีการปฏิเสธถูกลบออก หรือการแก้ไขน้ำหนักเพื่อให้โมเดลหยุดพฤติกรรมปฏิเสธ สมาชิกในชุมชนเผยแพร่แบบไม่เซ็นเซอร์หลายแบบของตระกูลแบบเปิดยอดนิยม

สองสิ่งที่เป็นไปตามนี้ uncensored ไม่ได้หมายถึงฉลาดกว่า การลบการปฏิเสธบางครั้งอาจทำให้คุณภาพลดลงเล็กน้อย และขนาดและการฝึกของโมเดลฐานสำคัญกว่าป้ายกำกับมาก และ uncensored ไม่ได้หมายถึงไร้กฎระเบียบ จุดประสงค์คือให้ผู้ใหญ่สามารถทำงานกับนิยาย บทบาทสมมติ หรือการวิจัยโดยไม่มีโมเดลสอนคุณ ไม่ใช่ว่าทุกอย่างได้รับอนุญาต เนื้อหาที่เกี่ยวข้องกับผู้เยาว์ในบริบททางเพศอยู่นอกเหนือขอบเขต และโฮสต์หรือเครื่องมือที่มีความรับผิดชอบจะระบุเช่นนั้น

กฎโดยประมาณเกี่ยวกับหน่วยความจำ

การควอนไทซ์จัดเก็บแต่ละน้ำหนักด้วยบิตน้อยลง ที่ 4 บิต โมเดลใช้พื้นที่ประมาณครึ่งกิกะไบต์ต่อพารามิเตอร์หนึ่งพันล้านตัว และนั่นเป็นจำนวนก่อนหน้าแคชบริบท ซึ่งจะเพิ่มขึ้นตามความยาวของการสนทนาของคุณ นี่คือตัวเลขการวางแผนโดยประมาณ ไม่ใช่การรับประกัน เนื่องจากรูปแบบการควอนไทซ์ที่แตกต่างกันมีความหลากหลาย

ขนาดโมเดลหน่วยความจำโดยประมาณที่ 4-bitฮาร์ดแวร์ทั่วไป
7 ถึง 8Bประมาณ 5 GBGPU 8 GB หรือแล็ปท็อปที่มี RAM 16 GB
13 ถึง 14Bประมาณ 9 GBGPU 12 GB
32 ถึง 34Bประมาณ 20 GBGPU 24 GB หรือ Mac ที่มีแรม 32 GB ขึ้นไป
70Bประมาณ 40 GBGPU ขนาดใหญ่สองตัว หรือ Mac ที่มีแรม 64 GB ขึ้นไป

บริบทคือต้นทุนที่ซ่อนอยู่ โมเดลที่รองรับการแชทขนาด 4,000 โทเคนอาจหมดแรมเมื่อคุณป้อนเรื่องราวขนาด 30,000 โทเคน การตั้งค่าแบบโลคอลมักจำกัดหน้าต่างบริบทไว้ต่ำกว่าที่โมเดลรองรับ และบริบทที่ยาวยังทำให้การสร้างข้อความช้าลง หากโปรเจกต์ของคุณต้องจดจำบทสนทนาที่ยาวหรือเอกสารขนาดใหญ่ โปรดคำนึงถึงข้อนี้เมื่อเปรียบเทียบกับการบริการแบบโฮสต์ที่มีหน้าต่างบริบท 100,000 โทเคน

เครื่องมือสำหรับรันโมเดลบนเครื่องของคุณเอง

คุณไม่ต้องคอมไพล์อะไรด้วยมือเพื่อเริ่มต้น นี่คือตัวเลือกที่พบได้ทั่วไป

  • Ollama. เครื่องมือแบบคีย์บอร์ดไลน์ที่ดาวน์โหลดและให้บริการโมเดล มันเปิดเอนด์พอยต์ที่เข้ากันได้กับ OpenAI บนเครื่องของคุณ ทำให้คุณสามารถชี้โค้ดที่มีอยู่ไปยังมันได้ง่าย
  • LM Studio. แอปพลิเคชันเดสก์ท็อปที่มีตัวเรียกดูโมเดล หน้าต่างแชท และโหมดเซิร์ฟเวอร์โลคอล เหมาะสำหรับผู้ที่ชอบอินเทอร์เฟซแบบกราฟิก
  • llama.cpp. เอ็นจิ้น C++ ที่อยู่เบื้องหลังเครื่องมือเหล่านี้จำนวนมาก มันให้คุณควบคุมการควอนไทซ์ การโอนโหลดเลเยอร์ระหว่าง CPU และ GPU และขนาดบริบทได้มากที่สุด ในราคาที่ต้องเรียนรู้แฟลกส์เพิ่มเติม
  • vLLM และเซิร์ฟเวอร์คล้ายกัน. ออกแบบมาสำหรับเซิร์ฟเวอร์ GPU ที่จัดการผู้ใช้หลายคนพร้อมกัน เกินความจำเป็นสำหรับเดสก์ท็อปเครื่องเดียว มีประโยชน์หากคุณรันการปรับใช้ขนาดเล็กของคุณเอง

เครื่องมือเหล่านี้ส่วนใหญ่สามารถโหลดไฟล์ GGUF ซึ่งเป็นรูปแบบทั่วไปสำหรับโมเดลที่ผ่านการควอนไทซ์ เลือกระดับการควอนไทซ์จากชื่อไฟล์: ตัวเลขที่ต่ำกว่าหมายถึงขนาดเล็กลงและเร็วขึ้นแต่ความแม่นยำลดลง และ 4-bit เป็นจุดเริ่มต้นทั่วไป

เมื่อ API แบบโฮสต์เข้าที่ และเมื่อไม่เข้าที่

API แบบโฮสต์เปลี่ยนฮาร์ดแวร์ของคุณเป็นของผู้อื่น บริการนี้เสนอโมเดลแบบเปิดน้ำหนักหนึ่งตัว ซึ่งให้บริการโดยผู้ให้บริการอิสระและปรับแต่งให้ตอบโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API ทางการของผู้ขายโมเดลใด ๆ และไม่ใช่เร้าเตอร์ที่ให้คุณเลือกโมเดลได้

เหตุผลที่เลือกแบบโฮสต์

  • ไม่ต้องซื้อ GPU ต้องทำให้เย็น หรือต้องอัปเดต คุณส่งคำขอและได้รับโทเคนกลับ
  • หน้าต่างบริบทขนาด 100,000 โทเคน รวมพรอมต์และคำตอบ โดยไม่ต้องคำนวณขนาดแรม
  • สตรีมมิง การเรียกใช้ฟังก์ชัน และโหมด JSON ผ่านอินเทอร์เฟซ OpenAI มาตรฐาน ทำให้ SDK และไคลเอนต์ที่มีอยู่ทำงานได้หลังจากเปลี่ยน Base URL และคีย์ API
  • ราคาแบบจ่ายตามการใช้งาน: $0.15 ต่อ 1M โทเคนอินพุต และ $0.50 ต่อ 1M โทเคนเอาต์พุต จากเครดิตแบบเติมเงินล่วงหน้าที่ไม่หมดอายุ
  • พรอมต์ไม่ถูกนำไปใช้ในการฝึกฝน

เหตุผลที่คงแบบโลคอล

  • คุณต้องการ weights บนดิสก์ API แบบโฮสต์จะไม่มีวันมอบสิ่งนั้นให้คุณ
  • คุณต้องทำงานแบบออฟไลน์ หรือข้อมูลของคุณไม่สามารถออกจากเครื่องได้ภายใต้เงื่อนไขใด ๆ
  • คุณต้องการเลือกจากโมเดลหลายตัว หรือรันการปรับแต่งของคุณเอง API นี้รองรับโมเดลเดียวเท่านั้น เป็นข้อความเท่านั้น และไม่รองรับการปรับแต่ง
  • คุณมีฮาร์ดแวร์ที่เหมาะสมอยู่แล้ว และปริมาณการใช้งานของคุณสูงพอที่ต้นทุนต่อโทเคนแบบโลคอลจะใกล้ศูนย์

ต้นทุน: ไฟฟ้าและฮาร์ดแวร์ เทียบกับโทเคน

แบบโลคอลไม่ได้ฟรีเมื่อคุณนับรวมเครื่องแล้ว วิธีเปรียบเทียบอย่างง่ายคือถามว่าต้องสร้างโทเคนกี่ตัวก่อนที่การเป็นเจ้าของ GPU จะคุ้มค่ากว่าการจ่ายต่อโทเคน

ในส่วนที่โฮสต์ การคำนวณนั้นง่าย: เซสชัน roleplay 50 รอบ ด้วย input tokens 2,000 และ output tokens 400 ต่อรอบ ใช้ input tokens ทั้งหมด 100,000 และ output tokens 20,000 ค่า input คือ 0.1 x $0.15 = $0.015 ค่า output คือ 0.02 x $0.50 = $0.01 เซสชันทั้งหมดมีค่าใช้จ่าย $0.025 หรือสองและครึ่งเซ็นต์

ด้วยอัตรานี้ เครดิต $20 จ่ายให้เซสชันลักษณะนี้ได้ 800 เซสชัน GPU ที่รันโมเดล 32B ได้มีราคาสูงกว่า $20 มาก จุดคุ้มทุนจึงขึ้นอยู่กับปริมาณการใช้งานของคุณเท่านั้น สำหรับผู้ใช้เป็นครั้งคราว การโฮสต์ไว้มักดีกว่า สำหรับคนที่สร้างข้อความทั้งวันทุกวัน ฮาร์ดแวร์ในเครื่องอาจคืนทุนได้ และสำหรับพวกเขา การใช้งานในเครื่องคือคำตอบที่ดีกว่า สำหรับส่วนค่าไฟฟ้า ให้คูณกำลังไฟของ GPU ด้วยชั่วโมงที่ใช้และอัตราค่าไฟของคุณ เราไม่ได้ระบุอัตราเฉพาะเพราะแตกต่างกันมาก

หน้าการกำหนดราคา แสดงยอดเงินเติมและโบนัสปัจจุบัน ซึ่งเริ่มจาก +5% ที่ $50 ถึง +15% ที่ $200

ไคลเอนต์เดียวสำหรับทั้งสองอย่าง: สลับด้วย base URL

คุณไม่จำเป็นต้องเลือกฝั่งถาวร เนื่องจาก Ollama และ API นี้ต่างใช้รูปแบบ chat ของ OpenAI สคริปต์เดียวจึงสามารถใช้ทั้งสองอย่างได้ เพียงตั้งค่าตัวแปรสิ่งแวดล้อมสามตัวและโค้ดของคุณก็ไม่จำเป็นต้องเปลี่ยนแปลง

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")

resp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)

เพื่อทดสอบกับรันเนอร์ในเครื่อง ตั้งค่า LLM_BASE_URL เป็นที่อยู่ที่รันเนอร์ของคุณแสดง (Ollama ใช้ http://localhost:11434/v1 โดยค่าเริ่มต้น) ตั้งค่า LLM_MODEL เป็นชื่อโมเดลที่คุณดึงมา และใช้ค่าใดก็ได้สำหรับคีย์ ยกเลิกการตั้งค่าเหล่านี้แล้วสคริปต์จะเชื่อมต่อกับ API ที่โฮสต์ด้วยโมเดล ID uncensored

รูปแบบนี้ช่วยให้คุณโปรโตไทป์กับโมเดล 8B ในเครื่องได้ฟรี จากนั้นเปรียบเทียบผลลัพธ์กับโมเดลที่โฮสต์ไว้ด้วยพรอมต์เดียวกัน quickstart มีรายการพารามิเตอร์ที่รองรับทั้งหมด และบัญชีใหม่สามารถรับเครดิตทดลองใช้ $0.50 จาก API key เพื่อรันการเปรียบเทียบนี้ได้โดยไม่ต้องจ่าย

ถาม-ตอบ

LLM uncensored ที่ดีที่สุดสำหรับ VRAM 8 GB คืออะไร?

โมเดล fine-tune uncensored ของตระกูล 7 ถึง 8 พันล้านพารามิเตอร์ที่ quantization แบบ 4-bit คือตัวเลือกที่เหมาะสมที่สุด ลองใช้ตัวแปรสองหรือสามตัวกับพรอมต์ของคุณเอง เนื่องจากคุณภาพแตกต่างกันระหว่างโมเดล fine-tune มากกว่าที่ป้ายขนาดจะบ่งชี้

โมเดล uncensored ในเครื่องเป็นแบบส่วนตัวหรือไม่?

พรอมต์จะอยู่บนเครื่องของคุณขณะรันในเครื่อง ตราบใดที่เครื่องมือที่คุณใช้ไม่ได้ส่ง telemetry ตรวจสอบการตั้งค่าของ runner เฉพาะที่คุณติดตั้ง

ฉันสามารถรันโมเดลที่อยู่เบื้องหลัง API นี้ในเครื่องได้หรือไม่?

ไม่ได้ API นี้ให้บริการโมเดลหนึ่งตัวผ่าน endpoint ที่โฮสต์ไว้และไม่กระจาย weights หากคุณต้องการไฟล์บนดิสก์ ให้ใช้โมเดลแบบเปิดน้ำหนักจาก repository สาธารณะ

โมเดลที่โฮสต์ไว้ต้องการ context cache ใหญ่เหมือนโมเดลในเครื่องหรือไม่?

นั่นจัดการโดยผู้ให้บริการ คุณได้รับหน้าต่างบริบท 100,000 token ที่ครอบคลุมทั้งพรอมต์และ completion และคุณจ่ายเฉพาะสำหรับโทเคนที่คุณส่งและรับ

uncensored หมายถึงผิดกฎหมายหรือไม่?

ไม่ มันอธิบายโมเดลที่ปรับแต่งมาเพื่อไม่ให้ปฏิเสธคำขอผู้ใหญ่ที่ถูกต้องตามกฎหมาย เนื้อหาที่เกี่ยวข้องกับผู้เยาว์ไม่ได้รับอนุญาตเลยบนบริการนี้

คีย์ของคุณอยู่ห่างแค่แบบฟอร์มเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ APIอ่านเอกสาร