2025 में स्थानीय रूप से चलाने के लिए सर्वश्रेष्ठ बिना सेंसर LLM बनाम होस्टेड API
2025 में स्थानीय रूप से चलाने के लिए सर्वोत्तम बिना सेंसर LLM वह सबसे बड़ा मॉडल है जिसे आपकी मेमोरी उचित गति पर धारण कर सकती है। यह लेख दिखाता है कि उस चयन को कैसे आकार दें, टूलिंग कैसी दिखती है, और होस्टेड API कहाँ आसान विकल्प है।

मुख्य बिंदु
- मेमोरी सब कुछ तय करती है: एक 4-बिट मॉडल को प्रति अरब पैरामीटर लगभग आधा गीगाबाइट की आवश्यकता होती है, साथ ही कॉन्टेक्स्ट के लिए जगह।
- Ollama, LM Studio और llama.cpp सभी स्थानीय मॉडल चलाते हैं और अधिकांश एक OpenAI-शैली एंडपॉइंट प्रदान करते हैं।
- एक होस्टेड API आपको बड़ा कॉन्टेक्स्ट विंडो और कोई हार्डवेयर नहीं देता, लेकिन केवल एक मॉडल और कोई फाइन-ट्यूनिंग नहीं।
- आप बेस URL बदलकर स्थानीय और होस्टेड के बीच स्विच करने वाला एक क्लाइंट लिख सकते हैं।
संक्षिप्त उत्तर: इसे अपनी मेमोरी के अनुसार सेट करें
यदि आप स्थानीय रूप से चलाने के लिए सबसे अच्छे बिना सेंसर LLM को 2025 की शैली में ढूंढ रहे हैं, तो नामित करने के लिए कोई एक विजेता नहीं है, और उन सूचियों से सावधान रहें जो एक विजेता का दावा करती हैं। हर कुछ सप्ताह में नए फ़ाइन-ट्यून आते हैं, रैंकिंग बदलती है, और एक मॉडल जो कहानियां कहने के लिए उत्कृष्ट हो सकता है, कोड में मध्यम हो सकता है। एक बेहतर प्रश्न यह है कि कौन सा मॉडल आपकी मशीन और आपके कार्य के लिए फिट बैठता है।
इस क्रम में काम करें। पहले, पाएं कि आपके पास कितनी तेज़ मेमोरी है: GPU पर VRAM, या Apple Silicon Mac पर यूनिफ़ाइड मेमोरी। दूसरा, उस मेमोरी में फिट बैठने वाले सबसे बड़े मॉडल परिवार का चयन करें जिसमें 4-बिट क्वांटाइज़ेशन के साथ कॉन्टेक्स्ट के लिए जगह बची हो। तीसरा, उस परिवार का एक बिना सेंसर विकल्प चुनें, जिसका अर्थ है एक फ़ाइन-ट्यून या संशोधित संस्करण जिसे सामान्य कानूनी अनुरोधों को अस्वीकार करना बंद करने के लिए प्रशिक्षित किया गया है। चौथा, अपने प्रॉम्प्ट्स पर इसे एक घंटे के लिए आज़माएं। वह परीक्षण किसी भी लीडरबोर्ड से ज़्यादा बताता है।
"बिना सेंसर" का अर्थ ओपन-वेट मॉडल के लिए
मॉडल आमतौर पर दो चरणों में प्रशिक्षित किए जाते हैं। एक बेस मॉडल एक विशाल टेक्स्ट कॉर्पस से सीखता है, और निर्देश ट्यूनिंग का दूसरा चरण उसे अनुरोधों का पालन करने और उनमें से कुछ को अस्वीकार करना सिखाता है। एक बिना सेंसर संस्करण उस दूसरे चरण को बदलकर तैयार किया जाता है: डेटा पर फाइन-ट्यूनिंग जिसमें अस्वीकृतियाँ हटा दी गई हैं, या वजन को संपादित करना ताकि मॉडल अस्वीकृति व्यवहार उत्पन्न करना बंद कर दे। समुदाय के सदस्य लोकप्रिय ओपन परिवारों के कई ऐसे संस्करण प्रकाशित करते हैं।
इससे दो बातें स्पष्ट होती हैं। बिना सेंसर का मतलब होशियार होना नहीं है। रिफ्यूज़ल हटाने से कभी-कभी गुणवत्ता थोड़ी कम होती है, और बेस मॉडल का आकार और प्रशिक्षण लेबल से कहीं अधिक मायने रखते हैं। और बिना सेंसर का मतलब बेकाबू होना नहीं है। मकसद यह है कि एक वयस्क फिक्शन, रोलप्ले या शोध पर काम कर सके बिना किसी मॉडल द्वारा उसे लेक्चर दिए जाने के, न कि यह कि कुछ भी चल सकता है। नाबालिगों के साथ यौन सामग्री से जुड़ा हर काम बाहर है, और एक जिम्मेदार होस्ट या टूल ऐसा कह सकता है।
मेमोरी के लिए सामान्य नियम
क्वांटीज़ेशन प्रत्येक वजन को कम बिट्स में स्टोर करता है। 4 बिट्स पर, एक मॉडल प्रति अरब पैरामीटर लगभग आधा गीगाबाइट लेता है, और यह संदर्भ कैश से पहले है, जो आपकी बातचीत की लंबाई के साथ बढ़ता है। ये अनुमानित योजना संख्याएँ हैं, गारंटी नहीं, क्योंकि अलग-अलग क्वांटीज़ेशन फॉर्मेट अलग-अलग होते हैं।
| मॉडल साइज़ | 4-बिट पर अनुमानित मेमोरी | सामान्य हार्डवेयर |
|---|---|---|
| 7 से 8B | लगभग 5 GB | 8 GB GPU, या 16 GB RAM वाली लैपटॉप |
| 13 से 14B | लगभग 9 GB | 12 GB GPU |
| 32 से 34B | लगभग 20 GB | 24 GB GPU, या 32 GB या अधिक वाली Mac |
| 70B | लगभग 40 GB | दो बड़ी GPU, या 64 GB या उससे अधिक मेमोरी वाला Mac |
कॉन्टेक्स्ट छिपा हुआ खर्च है। एक मॉडल जो 4,000-टोकन की चैट में फिट बैठता है, वह 30,000-टोकन की कहानी देने पर मेमोरी खत्म कर सकता है। लोकल सेटअप अक्सर कॉन्टेक्स्ट को मॉडल की समर्थित सीमा से काफ़ी कम तक सीमित कर देते हैं, और लंबे कॉन्टेक्स्ट जनरेशन को भी धीमा करते हैं। यदि आपका प्रोजेक्ट लंबी बातचीत या बड़े दस्तावेज़ को याद रखने पर निर्भर है, तो 100,000-टोकन विंडो वाले होस्टेड विकल्प की तुलना करते समय इसे ध्यान में रखें।
अपनी मशीन पर मॉडल चलाने के लिए टूल्स
शुरुआत करने के लिए आपको खुद कुछ भी कंपाइल करने की आवश्यकता नहीं है। ये सामान्य विकल्प हैं।
- Ollama. एक कमांड-लाइन टूल जो मॉडल डाउनलोड और सर्व करता है। यह आपकी मशीन पर एक OpenAI-कम्पैटिबल एंडपॉइंट एक्सपोज़ करता है, जिससे मौजूदा कोड को उसकी ओर पॉइंट करना आसान हो जाता है।
- LM Studio. एक डेस्कटॉप ऐप जिसमें मॉडल ब्राउज़र, चैट विंडो और लोकल सर्वर मोड होता है। यदि आप ग्राफिकल इंटरफ़ेस को प्राथमिकता देते हैं, तो यह अच्छा है।
- llama.cpp. इनमें से कई टूल्स के पीछे C++ इंजन। यह आपको क्वांटीज़ेशन, CPU और GPU के बीच लेयर्स ऑफलोडिंग, और कॉन्टेक्स्ट साइज़ पर सबसे अधिक कंट्रोल देता है, जिसकी कीमत है सीखने के लिए अधिक फ्लैग्स।
- vLLM और समान सर्वर। एक साथ कई यूज़र्स हैंडल करने वाले GPU सर्वर्स के लिए। एक सिंगल डेस्कटॉप के लिए ओवरकिल, लेकिन यदि आप अपना छोटा डिप्लॉयमेंट चलाते हैं तो उपयोगी।
इनमें से अधिकांश GGUF फ़ाइलें लोड कर सकते हैं, जो क्वांटाइज़्ड मॉडल के लिए एक सामान्य फॉर्मेट है। फ़ाइल नाम से एक क्वांटीज़ेशन लेवल चुनें: कम नंबर छोटे और तेज़ होते हैं लेकिन कम सटीक, और 4-बिट आमतौर पर शुरुआती बिंदु है।
एक होस्टेड API कहाँ फिट बैठता है, और कहाँ नहीं
एक होस्टेड API आपकी हार्डवेयर को किसी और की हार्डवेयर से बदल देता है। यह सेवा एक ओपन-वेट मॉडल प्रदान करती है, जो एक स्वतंत्र प्रदाता द्वारा चलाया जाता है और कानूनी वयस्क उपयोग के लिए बिना सामग्री रिफ्यूज़ल के उत्तर देने के लिए अनुकूलित किया गया है। यह किसी भी मॉडल विक्रेता की आधिकारिक API नहीं है, और न ही यह एक रूटर है जो आपको मॉडल के बीच चयन करने देता है।
होस्टेड चुनने के कारण
- खरीदने, ठंडा करने या अपडेट रखने के लिए GPU की आवश्यकता नहीं। आप एक अनुरोध भेजते हैं और टोकन वापस पाते हैं।
- 100,000-टोकन की कॉन्टेक्स्ट विंडो, प्रॉम्प्ट और कंप्लीशन को मिलाकर, बिना इसके लिए मेमोरी साइज़ किए।
- स्टैंडर्ड OpenAI इंटरफ़ेस के माध्यम से स्ट्रीमिंग, टूल कॉलिंग और JSON मोड, ताकि मौजूदा SDK और क्लाइंट्स बेस URL और कुंजी बदलने के बाद काम करें।
- भुगतान-जितना-उपयोग मूल्य निर्धारण: 1M इनपुट टोकन के लिए $0.15 और 1M आउटपुट टोकन के लिए $0.50, प्रीपेड क्रेडिट से जो कभी समाप्त नहीं होता।
- प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता है।
लोकल रहने के कारण
- आप डिस्क पर वेट्स चाहते हैं। एक होस्टेड API आपको वह कभी नहीं देगा।
- आपको ऑफ़लाइन काम करना है, या आपका डेटा किसी भी शर्त के तहत मशीन से बाहर नहीं जा सकता।
- आप कई मॉडल के बीच चयन करना चाहते हैं, या अपना स्वयं का फ़ाइन-ट्यून चलाना चाहते हैं। यह API एक मॉडल प्रदान करता है, केवल टेक्स्ट, और कोई फ़ाइन-ट्यून नहीं देता है।
- आपके पास पहले से उपयुक्त हार्डवेयर है और आपका वॉल्यूम इतना अधिक है कि एक लोकल टोकन का मार्जिनल कॉस्ट शून्य के करीब है।
लागत: बिजली और हार्डवेयर बनाम टोकन
मशीन को गिनने के बाद लोकल मुफ़्त नहीं है। तुलना करने का एक सरल तरीका यह पूछना है कि आपको कितने टोकन जनरेट करने होंगे ताकि GPU खरीदना टोकन के लिए भुगतान करने से बेहतर हो।
होस्टेड पक्ष पर गणना आसान है। 50 टर्न्स वाले एक रोलप्ले सत्र में, जिसमें प्रति टर्न 2,000 इनपुट टोकन और 400 आउटपुट टोकन होते हैं, 100,000 इनपुट और 20,000 आउटपुट टोकन का उपयोग होता है। इनपुट लागत 0.1 x $0.15 = $0.015 है। आउटपुट लागत 0.02 x $0.50 = $0.01 है। पूरा सत्र $0.025, दो और आधा सेंट का खर्च करता है।
उस दर पर, $20 का क्रेडिट 800 ऐसे सत्रों के लिए भुगतान करता है। एक GPU जो 32B मॉडल को चलाने में सक्षम है, उसकी लागत $20 से कहीं अधिक है, इसलिए ब्रेक-ईवन बिंदु पूरी तरह से इस बात पर निर्भर करता है कि आप इसे कितना उपयोग करते हैं। एक कभी-कभी उपयोग करने वाले के लिए, होस्टेड आमतौर पर बेहतर होता है। किसी ऐसे व्यक्ति के लिए जो दिन भर, हर दिन टेक्स्ट जनरेट करता है, स्थानीय हार्डवेयर अपनी लागत वापस कर सकता है, और उनके लिए स्थानीय बेहतर उत्तर है। बिजली के हिस्से के लिए, अपनी GPU की पावर ड्रॉ को उपयोग किए गए घंटों और अपनी स्थानीय दर से गुणा करें; हम यहाँ एक को उद्धृत नहीं करते क्योंकि यह व्यापक रूप से भिन्न होता है।
मूल्य निर्धारण पेज पर वर्तमान टॉप-अप राशियाँ और बोनस सूचीबद्ध हैं, जो $50 पर +5% से लेकर $200 पर +15% तक होते हैं।
दोनों के लिए एक ही क्लाइंट: बेस URL के साथ स्विच करें
आपको पक्ष स्थायी रूप से चुनने की आवश्यकता नहीं है। क्योंकि Ollama और यह API दोनों OpenAI चैट फॉर्मेट बोलते हैं, एक ही स्क्रिप्ट किसी एक का उपयोग कर सकती है। तीन एन्वायरनमेंट वेरिएबल सेट करें और आपका कोड नहीं बदलेगा।
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)
एक लोकल रनर के साथ परीक्षण करने के लिए, LLM_BASE_URL को उस पते पर सेट करें जो आपका रनर प्रिंट करता है (Ollama डिफ़ॉल्ट रूप से http://localhost:11434/v1 का उपयोग करता है), LLM_MODEL को उस मॉडल नाम पर सेट करें जिसे आपने खींचा है, और कुंजी के लिए कोई भी प्लेसहोल्डर उपयोग करें। उन्हें अनसेट करें और स्क्रिप्ट uncensored मॉडल ID के साथ होस्टेड API से बात करेगी।
यह पैटर्न आपको स्थानीय 8B मॉडल के खिलाफ मुफ़्त में प्रोटोटाइप करने की अनुमति देता है, फिर समान प्रॉम्प्ट पर होस्टेड मॉडल के आउटपुट की तुलना करने की। क्विकस्टार्ट में समर्थित पैरामीटर की पूर्ण सूची है, और एक नया खाता API कुंजी पृष्ठ से $0.50 का ट्रायल क्रेडिट दावा कर सकता है ताकि वह तुलना बिना भुगतान किए चला सके।
अधिक गाइड
प्रश्न और उत्तर
8 GB के VRAM के लिए सर्वोत्तम बिना सेंसर LLM कौन सा है?
4-बिट क्वांटाइजेशन पर 7 से 8 अरब पैरामीटर वाले परिवार का एक बिना सेंसर फाइन-ट्यून आमतौर पर उपयुक्त होता है। अपने प्रॉम्प्ट्स पर दो या तीन वेरिएंट आज़माएं, क्योंकि फाइन-ट्यून के बीच गुणवत्ता में अंतर, साइज़ लेबल से अधिक होता है।
क्या एक लोकल बिना सेंसर मॉडल निजी होता है?
जब आप इसे लोकल रूप से चलाते हैं, तो प्रॉम्प्ट आपकी मशीन पर ही रहता है, बशर्ते कि आप जिस टूल का उपयोग करते हैं वह टेलीमेट्री न भेजता हो। जिस रनर को आप इंस्टॉल करते हैं, उसकी सेटिंग्स जांचें।
क्या मैं इस API के पीछे मॉडल को लोकल रूप से चला सकता हूँ?
नहीं। API एक मॉडल को होस्टेड एंडपॉइंट के माध्यम से सर्व करता है और वेट्स वितरित नहीं करता है। यदि आपको डिस्क पर फ़ाइलों की आवश्यकता है, तो एक सार्वजनिक रिपॉजिटरी से एक ओपन-वेट मॉडल का उपयोग करें।
क्या एक होस्टेड मॉडल को एक लोकल की तरह बड़े कॉन्टेक्स्ट कैश की आवश्यकता होती है?
यह प्रोवाइडर की ओर से संभाला जाता है। आपको प्रॉम्प्ट और कंप्लीशन को मिलाकर 100,000-टोकन विंडो मिलती है, और आप केवल उन टोकन के लिए भुगतान करते हैं जिन्हें आप भेजते और प्राप्त करते हैं।
क्या बिना सेंसर का मतलब अवैध होना है?
नहीं। यह एक ऐसे मॉडल का वर्णन करता है जिसे कानूनी वयस्क अनुरोधों को अस्वीकार नहीं करने के लिए ट्यून किया गया है। नाबालिगों से संबंधित सामग्री इस सेवा पर कभी भी अनुमत नहीं है।
आपकी कुंजी बस एक फ़ॉर्म दूर है
एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।