TR ▾
API anahtarı al

Ücretsiz LLM Var mı? Ücretsiz Seçenekler ve Ücretli API

Ücretsiz dil modelleri mevcuttur ancak ücretsiz olmak genellikle ücretsiz olduğu anlamına gelmez: donanım, kurulum süresi, hız limitleri veya bunların her ikisi için ödeme yaparsınız. Seçenekler nasıl karşılaştırılır ve ücretli bir API'nin istek başına gerçek maliyeti nedir.

güncellendi

Bir terminalin yanında izometrik kumbara ve paralar, ücretsiz ile ücretli LLM erişiminin maliyetini gösterir

Temel noktalar

  1. Açık ağırlıklı modeller ücretsiz indirilebilir ancak bunları çalıştırmak için GPU veya sabır gerekir.
  2. Ücretsiz barındırılan katmanlar genellikle sıkı hız limitleri ve içerik filtreleri ile gelir, bu nedenle mevcut hizmet şartlarını kontrol edin.
  3. Bu API'nin ücretsiz bir katmanı yoktur ancak yeni kullanıcılar kart bilgisi girmeden $0,50 deneme kredisi alabilir.
  4. 1M token başına $0.15 ve $0.50 fiyatla, tipik bir sohbet yanıtı bir santanın çok küçük bir kısmına mal olur.

Deneme kredisiyle başlayın

E-posta ve parola, anahtar hemen ekranda.

API anahtarı al

Kısa cevap

Ücretsiz bir LLM var mı? Evet. Açık ağırlıklı modelleri indirebilir ve kendi makinenizde çalıştırabilirsiniz; bazı barındırılan hizmetler sınırlı kullanım imkanı sunar. Her açıdan ücretsiz olan büyük dil modeli yoktur. GPU'lar için biri öder; eğer bu nakit değilse, bu donanım, bekleme süresi veya kısıtlamalarla ödenir.

Bu site metin üretimini API üzerinden sattığı için konuyla ilgileniyoruz ve net konuşuyoruz: ücretsiz bir katmanımız yok. Sunduğumuz şey, kayıt sonrası tek tıkla ve kart gerekmeden yeni kullanıcılar için $0,50'lik bir denemedir. Bundan sonra ön ödemeli kredi ile token başı ödeme yaparsınız. Bu makalenin geri kalanı, ücretsiz seçeneklerin projeniz için yeterli olup olmadığını veya kullandıkça ödemeli modelin mantıklı olup olmadığını karar vermenize yardımcı olur.

Üç tür ücretsiz

İnsanlar ücretsiz bir LLM olup olmadığını sorduğunda genellikle üç farklı şeyden birini kastederler. Üzerinde bir şeyler geliştirmeye çalıştığınızda çok farklı davranırlar.

1. Kendi kendinize çalıştıracağınız açık ağırlıklı modeller

Birçok model indirilebilir dosyalar olarak yayınlanır. Ollama, LM Studio veya llama.cpp gibi bir çalıştırıcı kurarsınız, bir model çeker ve çevrim dışı olarak sohbet edersiniz. Yazılım ücretsizdir ve hiçbir şey makinenizden dışarı çıkmaz. İşin püf noktası bellektir. Yaklaşık 7 ila 8 milyar parametreye sahip ve 4 bite nicellenmiş küçük bir model, yaklaşık 5 GB VRAM veya RAM'e sığar. Daha büyük modeller çok daha fazla bellek gerektirir ve büyük barındırılan sistemlere yakın hissettirenler ciddi bir GPU veya birden fazla GPU gerektirir.

2. Barındırılan hizmetlerin ücretsiz katmanları

Bazı sağlayıcılar ödeme yapmadan günde veya ayda sınırlı sayıda istek göndermenize izin verir. Bu katmanlar bir prototip veya hafta sonu betiği için faydalıdır. Genellikle düşük hız limitleri, daha küçük bağlam pencereleri ve sağlayıcının kendi içerik kurallarını getirirler. Şartlar sık sık değişir, bu nedenle planlama yapmadan önce her sağlayıcının mevcut fiyatlandırmasını ve limitlerini kontrol edin.

3. Ücretsiz denemeler

Deneme kredisi, gerçek ürünü test etmenizi sağlayacak küçük bir bakiye miktarıdır. Üretim trafiğini çalıştırmak için bir yol değildir. Bizimkisi $0.50'dir, 7 gün geçerlidir ve kişi başına bir tanedir. Küçük görünür, ancak bir sonraki bölüm bunun neden beklentilerinizden daha ileri gidebileceğini gösterir.

Ücretsiz olmanın size diğer yollarla maliyeti

Ücretsiz modellerin işletilmesi ücretsiz değildir. Taahhüt vermeden önce, dolar dışındaki her para biriminde aslında ödeyeceğiniz fiyatı yazın.

  • Donanım. Dahili GPU'suz bir dizüstü bilgisayar küçük modelleri yavaşça çalıştırabilir. Saniyede birkaç token hızında yanıtlar, deneyler için uygundur ancak etkileşimli işler için yorucudur. Daha büyük bir model istiyorsanız, GPU satın almak veya kiralamak gerçek para anlamına gelir.
  • Kurulum ve bakım. Bir nicelleme seçmek, bir sohbet şablonunu eşlemek, bağlam uzunluğunu ayarlamak ve çalıştırıcıyı güncel tutmak saatler sürer. Bu, hoşunuza gidiyorsa sorun değildir ancak yalnızca bir uç noktadan metin almak istiyorsanız kötü bir takastır.
  • Hız limitleri. Ücretsiz barındırılan katmanlar dakikada veya günde istek sayısını sınırlar. Bin belgeyi işleyen bir döngü, sınıra erken ulaşır.
  • Reddiyeler. Çoğu ana akım barındırılan model, sıradan kurgu ve rol yapma dahil olmak üzere geniş bir istek yelpazesini reddeder. Böyle bir sağlayıcıdan ücretsiz bir katman bunu değiştirmez. İçerik reddi olmadan yasal yetişkin kullanım için yanıt vermesi için ayarlanmış bir modele ihtiyacınız varsa, kendi kendinize çalıştıracağınız yerel sansürsüz modellerinizle ücretsiz seçenekleriniz daralır.
  • Veri. Yerel bir modelle istemleriniz bilgisayarınızda kalır. Ücretsiz bir barındırılan katmanla, şartları okuyun: bazı sağlayıcılar istemleri ürünlerini iyileştirmek için kullanır. API'mize gönderilen istemler eğitim için kullanılmaz.

$0,50'lik deneme neyi karşılar

API, 1M girdi token'ı başına $0,15 ve 1M çıktı token'ı başına $0,50 ücretlendirir. Bunu hayal edilebilir bir şeye dönüştürmek için küçük bir istek alın: 1.000 token girdi ve 500 token çıktı. Girdi maliyeti 1.000 / 1.000.000 x $0,15 = $0,00015. Çıktı maliyeti 500 / 1.000.000 x $0,50 = $0,00025. İstek toplamda $0,0004 tutarındadır.

0,50 $ deneme kredisi 0,0004 $'a bölündüğünde 1.250 istek elde edilir. Bu, bir istemciyi yapılandırmak, promptlarınızı test etmek, akış ve fonksiyon çağırma işlemlerini kontrol etmek ve model çıktısının kullanımınıza uygun olup olmadığını belirlemek için yeterlidir. Deneme anahtarının tam anahtardan daha düşük limitleri vardır (eşzamanlı 2 istek ve dakika başına 60 istek), bu da manuel testler için fazlasıyla yeterlidir.

Krediyi Google veya e-posta ve şifre ile kayıt olduktan sonra API anahtarı sayfasından talep edersiniz. 7 gün geçerlidir ve kişi başı bir deneme vardır. Bir istek başarısız olursa veya reddedilirse, ücretlendirilmez.

Gerçek iş yüklerinin ücretli planda maliyeti

Deneme süresinden sonra $20 ile $500 arasında herhangi bir tam miktarla bakiye yükleyebilirsiniz. Kredi asla sona ermez ve abonelik yoktur, bu nedenle sessiz bir ayın maliyeti yoktur. Aşağıdaki fiyatlandırmadan hesaplanan dört iş yükü için $20'nin neler karşıladığı.

İş yüküGirdi / Çıktı tokenlarıİstek başına maliyet$20 başına istek sayısı
Kısa sohbet yanıtı1,000 / 500$0.000450,000
Uzun geçmişli sohbet3,000 / 700$0.000825,000
Bir makaleyi özetle8,000 / 400$0.0014yaklaşık 14.285
100.000 token'lık pencerenin tamamını doldur100,000 / 1,000$0.0155yaklaşık 1.290

Bir satırı elle kontrol edin. Makale özeti için: 8,000 girdi token'ı $0,0012 ve 400 çıktı token'ı $0,0002 tutarındadır, yani $0,0014. $20'yi $0,0014'e bölmek yaklaşık 14.285 istek verir.

Çıktı tokenları, girdi tokenlarından üç kattan fazla maliyet yaratır, bu nedenle faturanızı en ucuz şekilde düşürmenin yolu daha kısa yanıtlar istemek veya max_tokens ayarlamaktır. Uzun istemler nispeten ucuzdur. Bir milyon girdi tokenının işlenmesi $0,15 tutarında maliyet yaratır ve her iki yönde de bir milyon token $0,65 tutarındadır.

Daha büyük bakiye yüklemeleri bir bonus içerir: $50'den +%5, $100'den +%10 ve $200'den +%15. Örneğin $100'lük bir yükleme $110 kredi verir. Fiyatlandırma sayfası detayları listeler.

Ne zaman ücretsiz daha iyi bir seçimdir

Ücretli bir API her zaman doğru tercih değildir. Aşağıdaki durumlarda ücretsiz bir seçenek seçin:

  • Zaten bir GPU'ya sahipseniz ve iş yükünüz küçük, özel veya zorunluluk nedeniyle çevrim dışıysa.
  • Modellerin nasıl çalıştığını öğreniyorsanız ve quantization, istemler ve örnekleme ile herhangi bir faturalandırma döngüsü olmadan deney yapmak istiyorsanız.
  • Hacminiz haftada birkaç istekse ve bir sağlayıcının ücretsiz katmanı bunu karşılıyorsa.

Ücretli bir API'yi şu durumlarda seçin:

  • Donanım sahibi olmadan konuşma hızında yanıtlar istiyorsanız.
  • Bellek satın almadan 100.000 token'lık bir bağlam penceresi istiyorsunuz.
  • Uygulamanız başkalarına hizmet veriyorsa, öngörülebilir limitlere ihtiyacınız vardır: tam anahtar eşzamanlı 8 istek ve dakikada 300 istek sağlar.
  • Yasal yetişkin kullanımı için içerik reddi olmadan yanıt veren bir modele ihtiyacınız vardır ve birini barındırmak istemiyorsunuz. Kısıtlamasız LLM erişimi sayfası, bu hizmetin bunu nasıl ele aldığını açıklar.

Bizim tarafımızda geçerli olan tek bir sıkı kural vardır: reşit olmayanlarla ilgili cinsel içerik asla izin verilmez. Bu sınır fiyat katmanına göre değişmez.

Birkaç satırda deneyin

API, OpenAI ile uyumludur, bu nedenle temel URL'yi ve anahtarı değiştirdikten sonra herhangi bir OpenAI SDK'sı çalışır. Bu Python örneği bir istek gönderir ve yukarıdaki hesaplamaları kendi sayılarınızla karşılaştırabilmeniz için cevabı ve token kullanımını yazdırır.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmonline.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three plot hooks for a heist story."}],
    max_tokens=300,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

curl ile aynı çağrı:

curl https://api.uncensoredllmonline.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Her yanıt, kalan krediyi gerçek terimlerde izleyebilmeniz için bir X-Balance-USD başlığı taşır. hızlı başlangıç akış, fonksiyon çağırma ve JSON modunu kapsar.

Sorular ve cevaplar

Sınır olmayan tamamen ücretsiz bir LLM var mı?

Yalnızca kendi donanımınızda açık ağırlıklı bir model çalıştırırsanız, ardından elektrik, GPU belleği ve kurulum süresi için ödeme yaparsınız. Barındırılan ücretsiz katmanlar her zaman hız, bağlam penceresi veya kullanım konusunda sınırlamalara sahiptir.

Bu API'nin ücretsiz bir katmanı var mı?

Hayır. Yeni kullanıcılar API anahtarı sayfasında tek bir tıklama ile tek seferlik $0,50 deneme kredisi talep edebilir. Kredi için kart gerekmez, 7 gün geçerlidir ve kişi başı bir kezle sınırlıdır.

$0.50 deneme kredisi ne kadarlık işlem yapmanızı sağlar?

1.000 girdi ve 500 çıktı token'ı içeren istekler için yaklaşık 1.250 isteği karşılar. Daha büyük istemler krediyi daha hızlı tüketir; örneğin 8.000 token girdi ve 400 çıktı içeren bir istek $0,0014 tutarındadır ve yaklaşık 357 istek sağlar.

Deneme süresinden sonra harcayabileceğim minimum tutar nedir?

Bakiye yükleme minimum $20 ile başlar, $500'a kadar herhangi bir tam tutarla yapılabilir. Kredi süresi dolmaz ve abonelik yoktur.

Başarısız istekler için ücretlendirilir miyim?

Hayır. Başarısız veya reddedilen istekler bakiyenizden düşülmez.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın, base URL'yi değiştirin. Kurulum bu kadar.

API anahtarı alDokümantasyonu oku