LLM Tanpa Sensor Terbaik untuk Dijalankan Secara Lokal 2025 vs API Ter-host
LLM tanpa sensor terbaik untuk dijalankan secara lokal pada 2025 adalah yang terbesar yang dapat ditampung memori Anda dengan kecepatan yang layak. Artikel ini menunjukkan cara menentukan ukuran pilihan tersebut, seperti apa alatnya, dan di mana API ter-host adalah jalur yang lebih mudah.

Poin utama
- Memori menentukan segalanya: model 4-bit membutuhkan sekitar setengah gigabyte per miliar parameter, ditambah ruang untuk konteks.
- Ollama, LM Studio, dan llama.cpp semuanya menjalankan model lokal dan sebagian besar mengekspos endpoint bergaya OpenAI.
- API ter-host memberi Anda jendela konteks yang besar dan tidak memerlukan perangkat keras, tetapi hanya satu model dan tanpa penyetelan halus.
- Anda dapat menulis satu klien yang beralih antara lokal dan ter-host dengan mengubah URL dasar.
Jawaban singkat: sesuaikan dengan memori Anda
Jika Anda mencari LLM tanpa sensor terbaik untuk dijalankan secara lokal gaya 2025, tidak ada pemenang tunggal yang dapat disebutkan, dan waspadalah terhadap daftar yang mengklaim satu. Fine-tune baru muncul setiap beberapa minggu, peringkat berubah, dan model yang sangat baik untuk cerita bisa jadi biasa saja untuk kode. Pertanyaan yang lebih baik adalah model mana yang cocok untuk mesin dan tugas Anda.
Bekerja dalam urutan ini. Pertama, temukan berapa banyak memori cepat yang Anda miliki: VRAM pada GPU, atau memori terpadu pada Mac Apple Silicon. Kedua, pilih keluarga model terbesar yang muat dalam memori tersebut pada kuantisasi 4-bit dengan sisa ruang untuk konteks. Ketiga, pilih varian tanpa sensor dari keluarga tersebut, artinya fine-tune atau versi modifikasi yang telah dilatih untuk berhenti menolak permintaan sah biasa. Keempat, ujilah pada prompt Anda sendiri selama satu jam. Tes itu memberi tahu Anda lebih banyak daripada papan peringkat mana pun.
Apa arti "tanpa sensor" untuk model bobot terbuka
Model biasanya dilatih dalam dua tahap. Model dasar belajar dari korpus teks yang sangat besar, dan tahap kedua penyesuaian instruksi mengajarkannya untuk mengikuti permintaan dan menolak beberapa di antaranya. Varian tanpa sensor dihasilkan dengan mengubah tahap kedua itu: fine-tuning pada data yang penolakan dihapus, atau mengedit bobot sehingga model berhenti menghasilkan perilaku penolakan. Anggota komunitas menerbitkan banyak varian seperti itu dari keluarga terbuka populer.
Dua hal mengikuti dari ini. Tanpa sensor tidak berarti lebih pintar. Menghapus penolakan terkadang mengurangi sedikit kualitas, dan ukuran serta pelatihan model dasar jauh lebih penting daripada labelnya. Dan tanpa sensor tidak berarti tanpa hukum. Tujuannya adalah agar orang dewasa dapat bekerja pada fiksi, roleplay atau penelitian tanpa model memberi ceramah kepada mereka, bukan bahwa segala sesuatu diperbolehkan. Segala sesuatu yang melibatkan konten seksual dengan anak di bawah umur di luar batas, dan penyedia atau alat yang bertanggung jawab akan mengatakan itu.
Aturan memori sederhana
Kuantisasi menyimpan setiap bobot dalam bit yang lebih sedikit. Pada 4 bit, model membutuhkan sekitar setengah gigabyte per miliar parameter, dan itu sebelum cache konteks, yang tumbuh seiring panjang percakapan Anda. Ini adalah angka perencanaan kasar, bukan jaminan, karena format kuantisasi yang berbeda bervariasi.
| Ukuran model | Memori kira-kira pada 4-bit | Perangkat keras tipikal |
|---|---|---|
| 7 hingga 8B | sekitar 5 GB | GPU 8 GB, atau laptop dengan RAM 16 GB |
| 13 hingga 14B | sekitar 9 GB | GPU 12 GB |
| 32 hingga 34B | sekitar 20 GB | GPU 24 GB, atau Mac dengan 32 GB atau lebih |
| 70B | sekitar 40 GB | dua GPU besar, atau Mac dengan 64 GB atau lebih |
Konteks adalah biaya tersembunyi. Model yang muat pada obrolan 4.000 token mungkin kehabisan memori saat Anda memberikannya cerita 30.000 token. Penyiapan lokal sering membatasi konteks jauh di bawah apa yang didukung model, dan konteks yang panjang juga memperlambat generasi. Jika proyek Anda bergantung pada mengingat percakapan panjang atau dokumen besar, pertimbangkan hal itu saat membandingkannya dengan opsi ter-host dengan jendela 100.000 token.
Alat untuk menjalankan model di mesin Anda sendiri
Anda tidak perlu mengompilasi apa pun secara manual untuk memulai. Ini adalah pilihan umum.
- Ollama. Alat baris perintah yang mengunduh dan melayani model. Ini mengekspos endpoint yang kompatibel dengan OpenAI di mesin Anda, yang membuatnya mudah untuk mengarahkan kode yang ada ke sana.
- LM Studio. Aplikasi desktop dengan browser model, jendela obrolan, dan mode server lokal. Bagus jika Anda lebih memilih antarmuka grafis.
- llama.cpp. Mesin C++ di balik banyak alat ini. Ini memberi Anda kendali paling besar atas kuantisasi, memindahkan lapisan antara CPU dan GPU, dan ukuran konteks, dengan harga lebih banyak flag yang harus dipelajari.
- vLLM dan server serupa. Ditujukan untuk server GPU yang menangani beberapa pengguna sekaligus. Berlebih untuk desktop tunggal, berguna jika Anda menjalankan deployment kecil Anda sendiri.
Sebagian besar dapat memuat file GGUF, format umum untuk model yang dikuantisasi. Pilih tingkat kuantisasi dari nama file: angka yang lebih kecil lebih kecil dan lebih cepat tetapi kurang akurat, dan 4-bit adalah titik awal yang umum.
Di mana API terhosting cocok, dan di mana tidak
API terhosting menukar perangkat keras Anda dengan milik orang lain. Layanan ini menawarkan satu model bobot terbuka, dijalankan oleh penyedia independen dan disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun, dan ini bukan router yang memungkinkan Anda memilih di antara model.
Alasan untuk memilih terhosting
- Tidak perlu membeli GPU, mendinginkan, atau memperbarui. Anda mengirim permintaan dan mendapatkan token kembali.
- Jendela konteks 100.000 token, gabungan prompt dan output, tanpa perlu mengalokasikan memori untuknya.
- Streaming, pemanggilan alat, dan mode JSON melalui antarmuka OpenAI standar, sehingga SDK dan klien yang ada berfungsi setelah Anda mengubah base URL dan kunci.
- Harga bayar-per-penggunaan: $0,15 per 1M token input dan $0,50 per 1M token output, dari saldo prabayar yang tidak pernah habis.
- Prompt tidak digunakan untuk pelatihan.
Alasan untuk tetap lokal
- Anda menginginkan bobot di disk. API terhosting tidak akan pernah memberikannya kepada Anda.
- Anda perlu bekerja secara offline, atau data Anda tidak boleh meninggalkan mesin di bawah ketentuan apa pun.
- Anda ingin memilih dari banyak model, atau menjalankan fine-tune sendiri. API ini melayani satu model, teks saja, dan tidak menawarkan fine-tuning.
- Anda sudah memiliki perangkat keras yang sesuai dan volume Anda cukup tinggi sehingga biaya marginal per token lokal mendekati nol.
Biaya: listrik dan perangkat keras versus token
Lokal tidak gratis jika Anda menghitung mesinnya. Cara sederhana untuk membandingkan adalah dengan menanyakan berapa banyak token yang harus Anda hasilkan sebelum memiliki GPU lebih menguntungkan daripada membayar per token.
Di sisi yang di-host, perhitungannya mudah. Sesi roleplay 50 giliran dengan 2.000 token input dan 400 token output per giliran menggunakan 100.000 token input dan 20.000 token output. Biaya input adalah 0,1 x $0,15 = $0,015. Biaya output adalah 0,02 x $0,50 = $0,01. Seluruh sesi berharga $0,025, atau dua setengah sen.
Dengan tarif tersebut, kredit senilai $20 membayar untuk 800 sesi seperti itu. GPU yang mampu menjalankan model 32B harganya jauh lebih mahal dari $20, sehingga titik impas sepenuhnya bergantung pada seberapa sering Anda menggunakannya. Bagi pengguna sesekali, layanan yang di-host biasanya lebih unggul. Bagi seseorang yang menghasilkan teks sepanjang hari setiap hari, perangkat keras lokal dapat menutupi biayanya sendiri, dan bagi mereka, solusi lokal adalah jawaban yang lebih baik. Untuk bagian listrik, kalikan konsumsi daya GPU Anda dengan jam penggunaan dan tarif lokal Anda; kami tidak memberikan kutipan di sini karena nilainya sangat bervariasi.
Halaman harga mencantumkan jumlah isi saldo dan bonus saat ini, yang berkisar dari +5% pada $50 hingga +15% pada $200.
Satu klien untuk keduanya: beralih dengan URL dasar
Anda tidak harus memilih sisi secara permanen. Karena Ollama dan API ini sama-sama menggunakan format chat OpenAI, satu skrip dapat menggunakan salah satu dari keduanya. Atur tiga variabel lingkungan dan kode Anda tidak berubah.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)
Untuk menguji terhadap runner lokal, atur LLM_BASE_URL ke alamat yang ditampilkan runner Anda (Ollama menggunakan http://localhost:11434/v1 secara default), atur LLM_MODEL ke nama model yang Anda unduh, dan gunakan placeholder untuk kuncinya. Jika tidak disetel, skrip akan terhubung ke API yang di-host dengan ID model uncensored.
Pola ini memungkinkan Anda membuat prototipe terhadap model lokal 8B secara gratis, lalu membandingkan output dengan model ter-host pada prompt yang sama. panduan memulai memiliki daftar lengkap parameter yang didukung, dan akun baru dapat mengklaim $0,50 uji coba gratis dari halaman kunci API untuk menjalankan perbandingan tersebut tanpa membayar.
Panduan lainnya
Tanya jawab
Apa LLM tanpa sensor terbaik untuk VRAM 8 GB?
Fine-tune tanpa sensor dari keluarga 7 hingga 8 miliar parameter pada kuantisasi 4-bit adalah pilihan yang umum. Coba dua atau tiga varian pada prompt Anda sendiri, karena kualitas berbeda antar fine-tune lebih dari yang ditunjukkan label ukuran.
Apakah model lokal tanpa sensor bersifat privat?
Prompt tetap berada di mesin Anda saat Anda menjalankannya secara lokal, selama alat yang Anda gunakan tidak mengirim telemetri. Periksa pengaturan runner spesifik yang Anda instal.
Dapatkah saya menjalankan model di balik API ini secara lokal?
Tidak. API melayani satu model melalui endpoint yang di-hosting dan tidak mendistribusikan bobot. Jika Anda memerlukan file di disk, gunakan model bobot terbuka dari repositori publik.
Apakah model ter-host memerlukan cache konteks besar seperti model lokal?
Hal itu ditangani di sisi penyedia. Anda mendapatkan jendela 100.000 token yang mencakup prompt dan penyelesaian bersama-sama, dan Anda hanya membayar untuk token yang Anda kirim dan terima.
Apakah tanpa sensor sama dengan ilegal?
Tidak. Ini menggambarkan model yang disesuaikan agar tidak menolak permintaan dewasa yang sah. Konten yang melibatkan anak di bawah umur tidak pernah diizinkan di layanan ini.
Kunci Anda hanya selangkah lagi dari satu formulir
Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.