PL ▾
Pobierz klucz API

Najlepszy model LLM bez cenzury do uruchomienia lokalnie w 2025 r. vs API

Najlepszym modelem LLM bez cenzury do uruchomienia lokalnie w 2025 r. jest ten największy, który Twoja pamięć utrzyma przy przyzwoitej prędkości. Ten artykuł pokazuje, jak dobrać ten wybór, jakie są narzędzia i gdzie API hostowane jest łatwiejszą ścieżką.

Zaktualizowano

Izometryczna ilustracja lokalnej wieży GPU połączonej kablem z serwerem chmurowym, porównująca lokalne i hostowane LLM

Kluczowe punkty

  1. Pamięć decyduje o wszystkim: model 4-bit potrzebuje około pół gigabajta na miliard parametrów, plus miejsce na kontekst.
  2. Ollama, LM Studio i llama.cpp uruchamiają lokalne modele, a większość udostępnia endpoint w stylu OpenAI.
  3. Hostowane API daje Ci duże okno kontekstu i nie wymaga sprzętu, ale oferuje tylko jeden model i brak możliwości dostrajania.
  4. Możesz napisać jednego klienta, który przełącza się między lokalnym a hostowanym, zmieniając bazowy URL.

Zacznij od kredytu próbnego

E-mail i hasło, klucz od razu na ekranie.

Pobierz klucz API

Krótka odpowiedź: dobierz do swojej pamięci

Jeśli szukasz najlepszego uncensored LLM do uruchomienia lokalnie w stylu 2025 roku, nie ma jednego najlepszego modelu do wskazania, a warto zachować ostrożność wobec list, które go wskazują. Nowe dostrajania pojawiają się co kilka tygodni, rankingi się zmieniają, a model doskonały do opowiadania historii może być przeciętny w kodzie. Lepiej zapytać, który model pasuje do Twojego sprzętu i zadania.

Pracuj w tej kolejności. Najpierw sprawdź, ile masz szybkiej pamięci: VRAM w GPU lub pamięć ujednoliconą w Macu Apple Silicon. Po drugie, wybierz największą rodzinę modeli, która zmieści się w tej pamięci przy kwantyzacji 4-bitowej z miejscem na kontekst. Po trzecie, wybierz wariant bez cenzury tej rodziny, czyli dostrajanie lub wersję zmodyfikowaną, która została wytrenowana tak, by przestała odrzucać zwykłe legalne żądania. Po czwarte, przetestuj go na własnych promptach przez godzinę. Ten test powie Ci więcej niż dowolna lista rankingowa.

Co oznacza „bez cenzury” dla modelu o otwartych wagach

Modele są zwykle trenowane w dwóch etapach. Model bazowy uczy się z ogromnego korpusu tekstowego, a drugi etap promptowania instrukcyjnego uczy go, jak odpowiadać na żądania i jak niektóre z nich odrzucać. Wariant bez cenzury powstaje przez zmianę tego drugiego etapu: dostrajanie na danych, z których usunięto odrzucenia, lub edycję wag, tak by model przestał generować zachowania odrzucające. Społeczność publikuje wiele takich wariantów popularnych rodzin open-source.

Z tego wynikają dwie rzeczy. Oznaczenie „bez cenzury” nie oznacza bycia sprytniejszym. Usunięcie odmów czasami kosztuje nieco jakości, a wielkość i trening modelu bazowego mają znacznie większe znaczenie niż etykieta. I „bez cenzury” nie oznacza anarchii. Chodzi o to, że dorosły może pracować nad fikcją, odgrywaniem ról lub badaniami bez tego, by model go pouczał, a nie o to, że wszystko jest dozwolone. Wszystko, co dotyczy treści seksualnych z udziałem nieletnich, jest wykluczone, a odpowiedzialny host lub narzędzie o tym poinformuje.

Zasada pamięci

Kwantyzacja przechowuje każdą wagę w mniejszej liczbie bitów. Przy 4 bitach model zajmuje około pół gigabajta na miliard parametrów, a to przed buforem kontekstu, który rośnie wraz z długością rozmowy. To przybliżone liczby planistyczne, nie gwarancje, ponieważ różne formaty kwantyzacji się różnią.

Rozmiar modeluOczekiwana pamięć przy 4-bitTypowy sprzęt
7 do 8Bokoło 5 GBGPU 8 GB lub laptop z 16 GB RAM
13 do 14Bokoło 9 GBGPU 12 GB
32 do 34Bokoło 20 GBGPU 24 GB lub Mac z 32 GB lub więcej
70Bokoło 40 GBdwa duże GPU, lub Mac z 64 GB lub więcej

Kontekst to ukryty koszt. Model, który mieści się w czacie 4000-tokenowym, może skończyć pamięć, gdy dasz mu historię 30 000 tokenów. Lokalne konfiguracje często ograniczają kontekst znacznie poniżej tego, co model obsługuje, a długie konteksty spowalniają też generowanie. Jeśli Twój projekt zależy od zapamiętania długiej rozmowy lub dużego dokumentu, pamiętaj o tym przy porównywaniu z opcją hostowaną z oknem 100 000 tokenów.

Narzędzia do uruchamiania modeli na Twojej maszynie

Nie musisz nic ręcznie kompilować, by zacząć. Oto powszechne wybory.

  • Ollama. Narzędzie wiersza poleceń, które pobiera i serwuje modele. Udostępnia endpoint kompatybilny z OpenAI na Twojej maszynie, co ułatwia wskazanie istniejącego kodu.
  • LM Studio. Aplikacja desktopowa z przeglądarką modeli, oknem czatu i trybem serwera lokalnego. Dobra opcja, jeśli wolisz interfejs graficzny.
  • llama.cpp. Silnik C++ stojący za wieloma z tych narzędzi. Daje Ci największą kontrolę nad kwantyzacją, przenoszeniem warstw między CPU a GPU i rozmiarem kontekstu, kosztem większej liczby flag do nauki.
  • vLLM i podobne serwery. Przeznaczone dla serwerów GPU obsługujących kilku użytkowników jednocześnie. Nadmiarowość dla jednego komputera stacjonarnego, przydatne, jeśli uruchamiasz własną małą wdrożenie.

Większość z nich może ładować pliki GGUF, powszechny format modeli skwantyzowanych. Wybierz poziom kwantyzacji z nazwy pliku: niższe liczby oznaczają mniejszy i szybszy, ale mniej dokładny model, a 4-bit to zwykle punkt startowy.

Gdzie pasuje API hostowane, a gdzie nie

Hostowane API zamienia Twój sprzęt na sprzęt kogoś innego. Ta usługa oferuje jeden model o otwartych wagach, uruchamiany przez niezależnego dostawcę i dostrajany tak, by odpowiadać bez odmów treści dla prawnego użytku przez osoby dorosłe. Nie jest to oficjalne API żadnego dostawcy modeli i nie jest to router, który pozwala wybrać spośród modeli.

Powody, by wybrać hostowane

  • Nie musisz kupować GPU, chłodzić go ani aktualizować. Wysyłasz zapytanie i otrzymujesz tokeny.
  • Okno kontekstu 100 000 tokenów, prompt i uzupełnienie łącznie, bez dobierania pamięci.
  • Strumieniowanie, wywoływanie funkcji i tryb JSON przez standardowy interfejs OpenAI, więc istniejące SDK i klienci działają po zmianie base URL i klucza.
  • Cennik pay-as-you-go: $0,15 za 1M tokenów wejściowych i $0,50 za 1M tokenów wyjściowych, z przedpłaconego kredytu, który nie wygasa.
  • Prompty nie są używane do trenowania.

Powody, by zostać lokalnie

  • Chcesz mieć wagi na dysku. API hostowane nigdy Ci tego nie da.
  • Musisz pracować offline, albo Twoje dane nie mogą opuścić maszyny na żadnych warunkach.
  • Chcesz wybierać spośród wielu modeli lub uruchomić własne dostrajanie. To API obsługuje jeden model, tylko tekst, i nie oferuje dostrajania.
  • Posiadasz już odpowiedni sprzęt, a Twój wolumen jest wystarczająco duży, aby koszt marginalny jednego tokena w lokalnym środowisku był bliski zeru.

Koszt: prąd i sprzęt versus tokeny

Lokalne rozwiązanie nie jest darmowe, gdy doliczysz koszt maszyny. Prostym sposobem na porównanie jest pytanie, ile tokenów musiałbyś wygenerować, zanim posiadanie GPU opłaci się bardziej niż płacenie za token.

Po stronie hostowanej arytmetyka jest prosta. Sesja odgrywania ról z 50 turami, z 2000 tokenami wejściowymi i 400 tokenami wyjściowymi na turę, zużywa 100 000 tokenów wejściowych i 20 000 tokenów wyjściowych. Koszt wejścia to 0,1 x $0,15 = $0,015. Koszt wyjścia to 0,02 x $0,50 = $0,01. Cała sesja kosztuje $0,025, czyli dwa i pół centa.

Przy tej stawce $20 kredytu wystarczą na 800 takich sesji. GPU zdolne do uruchomienia modelu 32B kosztują znacznie więcej niż $20, więc punkt bez strat zależy całkowicie od tego, jak bardzo go używasz. Dla okazjonalnego użytkownika hostowane zwykle wygrywa. Dla kogoś generującego tekst cały dzień, każdego dnia, sprzęt lokalny może się zwrócić, i dla nich lokalny jest lepszą odpowiedzią. W przypadku części elektrycznej pomnóż pobór mocy twojego GPU przez użyte godziny i twoją stawkę lokalną; nie cytujemy jednej tutaj, ponieważ znacznie się różni.

Na stronie z cenami znajdziesz aktualne kwoty doładowań i bonusy, które wynoszą od +5% przy $50 do +15% przy $200.

Jeden klient dla obu: zmiana poprzez bazowy URL

Nie musisz opowiadać się na stałe po którejś ze stron. Ponieważ Ollama i to API obsługują format czatu OpenAI, jeden skrypt może korzystać z jednego lub drugiego. Ustaw trzy zmienne środowiskowe, a Twój kod nie ulegnie zmianie.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")

resp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)

Aby przetestować działanie z lokalnym runnerem, ustaw LLM_BASE_URL na adres, który wyświetla Twój runner (Ollama używa http://localhost:11434/v1 domyślnie), ustaw LLM_MODEL na nazwę pobranego modelu i użyj dowolnego placeholdera dla klucza. Jeśli je usuniesz, skrypt połąży się z API hostowanym z identyfikatorem modelu uncensored.

Ten wzorzec pozwala Ci prototypować lokalnie z darmowym modelem 8B, a następnie porównać wyniki z modelem hostowanym na tych samych promptach. Szybki start zawiera pełną listę obsługiwanych parametrów, a nowe konto może wykorzystać $0,50 kredytu próbnego ze strony klucza API, aby uruchomić to porównanie bez opłat.

Pytania i odpowiedzi

Jaki jest najlepszy uncensored LLM dla 8 GB VRAM?

Dopasowaniem jest zwykle dostrajanie bez cenzury rodziny modeli o 7–8 miliardach parametrów w kwantyzacji 4-bit. Wypróbuj dwa lub trzy warianty na własnych promptach, bo jakość różni się między dostrajaniami bardziej niż sugeruje to etykieta wielkości.

Czy lokalny model bez cenzury jest prywatny?

Prompt pozostaje na Twojej maszynie, gdy uruchamiasz go lokalnie, o ile narzędzie, którego używasz, nie wysyła telemetrii. Sprawdź ustawienia konkretnego runnera, który instalujesz.

Czy mogę uruchomić model za tym API lokalnie?

Nie. API obsługuje jeden model przez endpoint hostowany i nie dystrybuuje wag. Jeśli potrzebujesz plików na dysku, użyj modelu o otwartych wagach z publicznego repozytorium.

Czy model hostowany potrzebuje dużej pamięci podręcznej kontekstu jak lokalny?

To jest obsługiwane po stronie dostawcy. Otrzymujesz okno 100 000 tokenów obejmujące razem prompt i uzupełnienie, i płacisz tylko za tokeny, które wysyłasz i odbierasz.

Czy uncensored to to samo co nielegalne?

Nie. Opisuje to model dostrajany tak, aby nie odrzucał legalnych żądań dorosłych. Treści dotyczące nieletnich są zawsze niedozwolone na tej usłudze.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz APIPrzeczytaj dokumentację