En İyi Sansürsüz LLM'yi 2025'te Yerel Olarak Çalıştırma vs Barındırılan API
2025'te yerel olarak çalıştırılacak en iyi sansürsüz LLM, makul bir hızda belleğinizin alabileceği en büyük olandır. Bu makale, bu seçimi nasıl boyutlandıracağınızı, araçların nasıl göründüğünü ve barındırılan API'nin daha kolay bir yol olduğu noktaları gösterir.

Temel noktalar
- Bellek her şeyi belirler: 4-bit bir model, milyar parametre başına yaklaşık yarım gigabyte gerektirir, ayrıca bağlam için yer gerekir.
- Ollama, LM Studio ve llama.cpp yerel modelleri çalıştırır ve çoğu OpenAI tarzı bir uç nokta sunar.
- Barındırılan bir API size büyük bir bağlam penceresi ve kendi donanımınıza gerek kalmaması avantajı sunar, ancak yalnızca bir model ve ince ayar imkânı vermez.
- Base URL'i değiştirerek yerel ve barındırılan arasında geçiş yapan tek bir istemci yazabilirsiniz.
Kısa cevap: Belleğinize göre boyutlandırın
Yerel olarak çalıştırmak için en iyi sansürsüz LLM'yi 2025 tarzında arıyorsanız, tek bir kazanan yoktur ve birini iddia eden listelere karşı dikkatli olun. Her birkaç haftada yeni ince ayarlar ortaya çıkar, sıralamalar değişir ve hikaye anlatımı için mükemmel olan bir model kodda ortalama olabilir. Daha iyi bir soru, hangi modelin makinenize ve görevinize uygun olduğudur.
Bu sırayla çalışın. İlk olarak, hızlı belleğinizin miktarını bulun: GPU'da VRAM veya Apple Silicon Mac'te birleşik bellek. İkinci olarak, bağlam için yer bırakarak 4-bit niceleme ile bu belleğe sığan en büyük model ailesini seçin. Üçüncü olarak, bu ailenin sansürsüz bir varyantını seçin, yani sıradan yasal istekleri reddetmeyi bırakmak için eğitilmiş bir ince ayar veya değiştirilmiş sürüm. Dördüncü olarak, kendi istemlerinizde bir saat boyunca test edin. Bu test, herhangi bir liderlik tablosundan daha fazla şey söyler.
Açık ağırlıklı bir model için "sansürsüz" ne anlama gelir
Modeller genellikle iki aşamada eğitilir. Bir temel model büyük bir metin korpusundan öğrenir ve ikinci aşama, istekleri takip etmeyi ve bazılarını reddetmeyi öğretir. Sansürsüz bir varyant, bu ikinci aşama değiştirilerek üretilir: reddetmelerin kaldırıldığı verilerde ince ayar yapmak veya modelleri reddetme davranışı üretmeyecek şekilde ağırlıkları düzenlemek. Topluluk üyeleri popüler açık ailelerin birçok böyle varyantını yayınlar.
Bundan iki sonuç çıkar. Sansürsüz olmak daha akıllı olduğu anlamına gelmez. Reddetmelerin kaldırılması bazen biraz kalite kaybına neden olur ve temel modelin boyutu ve eğitimi etiketten çok daha önemlidir. Ve sansürsüz olmak kuralsız olduğu anlamına gelmez. Nokta, bir yetişkinin bir model tarafından ders verilmeksizin kurgu, rol yapma veya araştırma üzerinde çalışabilmesidir, her şeyin serbest olduğu değil. Reşit olmayanlarla cinsel içerikli her şey masadan kalkar ve sorumlu bir sağlayıcı veya araç bunu söyleyecektir.
Bellek kuralı
Quantization, her ağırlığı daha az bit ile kaydeder. 4 bit'te bir model, milyar parametre başına yaklaşık yarım gigabyte yer kaplar ve bu, konuşmanızın uzunluğuyla artan bağlam önbelleğinden önce gelir. Bunlar garanti değil, farklı quantization formatları farklılık gösterdiği için kabaca planlama sayılarıdır.
| Model boyutu | 4-bit'te Yaklaşık bellek | Tipik donanım |
|---|---|---|
| 7 ila 8B | yaklaşık 5 GB | 8 GB GPU veya 16 GB RAM'li bir dizüstü bilgisayar |
| 13 ila 14B | yaklaşık 9 GB | 12 GB GPU |
| 32 ila 34B | yaklaşık 20 GB | 24 GB GPU veya 32 GB veya daha fazla belleğe sahip bir Mac |
| 70B | yaklaşık 40 GB | iki büyük GPU veya 64 GB veya daha fazla belleğe sahip bir Mac |
Bağlam gizli maliyettir. 4.000 tokenlik bir sohbetle sığan bir model, ona 30.000 tokenlik bir hikaye verdiğinizde bellek yetersizliği yaşayabilir. Yerel kurulumlar genellikle bağlamı modelin desteklediğinden çok daha düşük bir seviyede sınırlar ve uzun bağlamlar ayrıca üretimi yavaşlatır. Projeniz uzun bir konuşmayı veya büyük bir belgeyi hatırlamaya bağlıysa, 100.000 tokenlik bir pencereye sahip barındırılan bir seçeneğe karşılaştırırken bunu göz önünde bulundurun.
Modelleri kendi makinenizde çalıştırmak için araçlar
Başlamak için elle hiçbir şey derlemenize gerek yok. Bunlar yaygın seçeneklerdir.
- Ollama. Modelleri indirip sunan bir komut satırı aracı. Makinenizde OpenAI uyumlu bir uç nokta sunar, bu da mevcut kodu buna yönlendirmeyi kolaylaştırır.
- LM Studio. Bir model tarayıcısı, bir sohbet penceresi ve yerel sunucu modu olan bir masaüstü uygulaması. Grafiksel bir arayüz tercih ediyorsanız iyidir.
- llama.cpp. Bu araçların çoğunun arkasındaki C++ motoru. Quantization, katmanları CPU ve GPU arasında yükleme ve bağlam boyutu üzerinde en fazla kontrolü sağlar, ancak öğrenilecek daha fazla bayrağa mal olur.
- vLLM ve benzeri sunucular. Aynı anda birkaç kullanıcıyı işleyen GPU sunucuları için tasarlanmıştır. Tek bir masaüstü için abartılı olabilir; kendi küçük dağıtımınızı çalıştırıyorsanız kullanışlıdır.
Bu modellerin çoğu, nicetlenmiş modeller için yaygın bir format olan GGUF dosyalarını yükleyebilir. Dosya adından bir nicemeleme seviyesi seçin: daha düşük sayılar daha küçük ve hızlı ama daha az doğru modeller anlamına gelir ve 4-bit genellikle başlangıç noktasıdır.
Barındırılan API'nin nereye uyduğu ve nereye uymadığı
Barındırılan bir API, donanımınızı başkasınınkisiyle değiştirir. Bu hizmet, bağımsız bir sağlayıcı tarafından çalıştırılan ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmış tek bir açık ağırlıklı model sunar. Herhangi bir model satıcısının resmi API'si değildir ve modeller arasında seçim yapmanıza izin veren bir yönlendirici değildir.
Barındırılanı seçme nedenleri
- Satın alacak, soğutacak veya güncel tutacak GPU yok. Bir istek gönderirsiniz ve tokenlar alırsınız.
- 100.000 tokenlik bir bağlam penceresi (istem ve tamamlama birlikte), bellek buna göre boyutlandırılmadan.
- Standart OpenAI arayüzü üzerinden akış, araç çağırma ve JSON modu, böylece mevcut SDK'lar ve istemciler base URL ve anahtarı değiştirdikten sonra çalışır.
- Ön ödemeli kredi'den asla sona ermeyen, 1M girdi token başına $0,15 ve 1M çıktı token başına $0,50 kullanım başına ödeme fiyatlandırması.
- İstemler eğitim için kullanılmaz.
Yerel kalmak için nedenler
- Diskte ağırlıklar istiyorsunuz. Barındırılan bir API bunu size asla vermeyecektir.
- Çevrim dışı çalışmanız gerekir veya verileriniz hiçbir koşul altında makineden çıkamaz.
- Birden fazla model arasından seçim yapmak veya kendi ince ayarınızı çalıştırmak istiyorsunuz. Bu API tek bir modeli, yalnızca metin olarak sunar ve ince ayar seçeneği sunmaz.
- Zaten uygun donanımınıza sahipsiniz ve hacminiz, yerel bir token için marjinal maliyeti sıfıra yakın olacak kadar yüksek.
Maliyet: elektrik ve donanım ile token'lar arasındaki karşılaştırma
Makine maliyetlerini de eklediğinizde yerel çözüm ücretsiz değildir. Karşılaştırmanın basit bir yolu, bir GPU satın almanın token başına ödemekten daha avantajlı olması için kaç token üretmeniz gerektiğini sormaktır.
Barındırılan tarafta aritmetik basittir. 50 adım süren bir rol yapma oturumu, adım başına 2.000 girdi token'ı ve 400 çıktı token'ı kullanır. Bu, 100.000 girdi ve 20.000 çıktı token'ı kullanır. Girdi maliyeti 0,1 x 0,15 $ = 0,015 $. Çıktı maliyeti 0,02 x 0,50 $ = 0,01 $ olur. Tüm oturum 0,025 $ maliyetinde olur, yani iki buçuk sent.
Bu oranda, $20 kredi, 800 böyle oturum için ödeme yapar. 32B modeli çalıştırabilecek bir GPU'nun maliyeti $20'den çok daha yüksektir; bu nedenle kârlılık noktası tamamen kullanım miktarınıza bağlıdır. Ara sıra kullananlar için barındırılan hizmet genellikle kazanır. Tüm gün, her gün metin üreten biri için yerel donanım kendini amorti edebilir ve onlar için yerel çözüm daha iyi bir yanıttır. Elektrik kısmı için, GPU'nuzun güç tüketimini kullanılan saatlerle ve yerel oranınızla çarpın; geniş değişim gösterdiği için burada bir oran vermiyoruz.
fiyatlandırma sayfası güncel bakiye yükleme miktarlarını ve bonusları listeler; bonuslar $50'de +%5'ten $200'de +%15'e kadar değişir.
Her iki hizmet için tek bir istemci: Base URL ile geçiş yapın
Bir tarafı kalıcı olarak seçmek zorunda değilsiniz. Ollama ve bu API her ikisi de OpenAI sohbet formatını desteklediğinden, tek bir betik her ikisini de kullanabilir. Üç ortam değişkenini ayarlayın ve kodunuz değişmez.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)
Yerel bir çalıştırıcıya karşı test etmek için LLM_BASE_URL değerini çalıştırıcınızın yazdığı adrese (Ollama varsayılan olarak http://localhost:11434/v1 kullanır), LLM_MODEL değerini çektiğiniz model adına ayarlayın ve anahtar için herhangi bir yer tutucu kullanın. Bu değişkenleri temizlerseniz betik, uncensored model kimliği ile barındırılan API'ye bağlanır.
Bu desen, ücretsiz olarak yerel bir 8B model üzerinde prototip geliştirmenizi ve ardından aynı istemler üzerinde barındırılan modelle karşılaştırmalı çıktı almanızı sağlar. hızlı başlangıç rehberi desteklenen tüm parametrelerin tam listesini içerir ve yeni bir hesap, bu karşılaştırmayı ücret ödemeden gerçekleştirmek için API anahtarı sayfası üzerinden $0,50 deneme kredisi talep edebilir.
Daha fazla kılavuz
Sorular ve cevaplar
8 GB VRAM için en iyi sansürsüz LLM hangisi?
4-bit nicemleme ile 7 ila 8 milyar parametrelik bir aile için sansürsüz bir ince ayar genellikle uygundur. Kalitenin ince ayarlar arasında, model boyutu etiketinin öngördüğünden daha fazla farklılık gösterdiğinden, kendi istemlerinizde iki veya üç varyasyon deneyin.
Yerel bir sansürsüz model gizli midir?
Kullandığınız aracın telemetri göndermediği sürece, yerel olarak çalıştırırken istem makinenizde kalır. Yüklediğiniz spesifik çalıştırıcının ayarlarını kontrol edin.
Bu API'nin arkasındaki modeli yerel olarak çalıştırabilir miyim?
Hayır. API, tek bir modeli barındırılan bir uç nokta üzerinden sunar ve ağırlıkları dağıtmaz. Diskte dosyalara ihtiyacınız varsa, genel bir havuzdan açık ağırlıklı bir model kullanın.
Barındırılan bir model, yerel bir model gibi büyük bir bağlam önbelleğine mi ihtiyaç duyar?
Bu işlem sağlayıcı tarafında halledilir. İstem ve tamamlama birlikte kapsayan 100.000 token'lık bir pencere elde edersiniz ve yalnızca gönderdiğiniz ve aldığınız token'lar için ödeme yaparsınız.
Sansürsüz olmak yasa dışı olmakla aynı şey midir?
Hayır. Bu, yasal yetişkin isteklerini reddetmeyecek şekilde ayarlanmış bir modeli tanımlar. Reşit olmayanlar içeren içerikler bu hizmette hiçbir zaman izin verilmez.
Anahtarınız tek bir formun uzağında
Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.