Лучшая Uncensored LLM для локального запуска в 2025 против размещённого API
Лучшая uncensored LLM для локального запуска в 2025 году — самая большая, которая помещается в вашу память и работает с приличной скоростью. В этой статье показано, как оценить этот выбор, какие инструменты доступны и где хостинговый API — более простой путь.

Ключевые моменты
- Память решает всё: 4-битной модели требуется примерно полгигабайта на миллиард параметров плюс место для контекста.
- Ollama, LM Studio и llama.cpp запускают локальные модели, и большинство из них предоставляет эндпоинт в стиле OpenAI.
- Хостинговый API даёт вам большое контекстное окно и не требует оборудования, но предлагает только одну модель и не позволяет проводить дообучение.
- Вы можете написать один клиент, который переключается между локальным и размещённым, изменив базовый URL.
Краткий ответ: ориентируйтесь на вашу память
Если вы ищете лучшую uncensored LLM для локального запуска в 2025 году, нет одного явного лидера, и стоит остерегаться списков, которые его называют. Новые дообучения появляются каждые несколько недель, рейтинги меняются, и модель, которая отлично подходит для рассказов, может быть посредственной для кода. Более правильный вопрос — какая модель подходит для вашего компьютера и вашей задачи.
Работайте в таком порядке. Во-первых, найдите, сколько быстрой памяти у вас есть: VRAM на GPU или унифицированную память на Mac с Apple Silicon. Во-вторых, выберите самое большое семейство моделей, которое помещается в эту память при 4-битном квантовании с оставшимся местом для контекста. В-третьих, выберите uncensored вариант этого семейства, то есть дообучение или изменённую версию, которая обучена перестать отказывать в обычных законных запросах. В-четвёртых, протестируйте её на своих промптах в течение часа. Этот тест расскажет вам больше, чем любой рейтинг.
Что означает «uncensored» для модели с открытыми весами
Модели обычно обучаются в два этапа. Базовая модель обучается на огромном текстовом корпусе, а второй этап инструктивного обучения учит её следовать запросам и отказывать в некоторых из них. Вариант без цензуры получается изменением этого второго этапа: дообучением на данных, из которых удалены отказы, или редактированием весов, чтобы модель перестала выдавать поведение отказа. Участники сообщества публикуют множество таких вариантов популярных открытых семейств.
Из этого следуют две вещи. Uncensored не означает умнее. Удаление отказов иногда стоит немного качества, и размер и обучение базовой модели имеют гораздо большее значение, чем метка. И uncensored не означает беззаконие. Суть в том, что взрослый может работать над фантастикой, ролевой игрой или исследованиями без того, чтобы модель читала им лекции, а не в том, что всё разрешено. Всё, что связано с сексуальным контентом с участием несовершеннолетних, строго запрещено, и ответственный хост или инструмент скажет об этом.
Эмпирическое правило для памяти
Квантование хранит каждый вес в меньшем количестве бит. При 4 битах модель занимает примерно полгигабайта на миллиард параметров, и это без учёта кэша контекста, который растёт с длиной вашего разговора. Это приблизительные числа для планирования, а не гарантии, поскольку разные форматы квантования различаются.
| Размер модели | Прибл. память при 4-битном формате | Типичное оборудование |
|---|---|---|
| 7–8B | около 5 ГБ | GPU 8 ГБ или ноутбук с 16 ГБ ОЗУ |
| 13–14B | около 9 ГБ | GPU 12 ГБ |
| 32–34B | около 20 ГБ | GPU 24 ГБ или Mac с 32 ГБ или больше |
| 70B | около 40 ГБ | два больших GPU или Mac с 64 ГБ или больше |
Контекст — скрытая стоимость. Модель, которая помещается при чате на 4 000 токенов, может не поместиться в память, когда вы даёте ей историю на 30 000 токенов. Локальные настройки часто ограничивают контекст значительно ниже, чем поддерживает модель, а длинные контексты также замедляют генерацию. Если ваш проект зависит от запоминания длинного разговора или большого документа, учитывайте это при сравнении с хостинговым вариантом с контекстным окном на 100 000 токенов.
Инструменты для запуска моделей на вашей машине
Вам не нужно ничего компилировать вручную, чтобы начать. Вот общие варианты.
- Ollama. Инструмент командной строки, который загружает и обслуживает модели. Он предоставляет эндпоинт, совместимый с OpenAI, на вашем компьютере, что упрощает подключение существующего кода.
- LM Studio. Настольное приложение с браузером моделей, окном чата и локальным режимом сервера. Хорошо, если вы предпочитаете графический интерфейс.
- llama.cpp. Движок на C++, лежащий в основе многих из этих инструментов. Он даёт вам максимальный контроль над квантованием, переносом слоёв между CPU и GPU и размером контекста ценой необходимости изучить больше флагов.
- vLLM и аналогичные серверы. Нацелены на серверы GPU, обрабатывающие несколько пользователей одновременно. Избыточно для одного рабочего стола, полезно, если вы запускаете своё небольшое развёртывание.
Большинство из них может загружать файлы GGUF, общий формат для квантованных моделей. Выберите уровень квантования из имени файла: меньшие числа означают меньший размер и более высокую скорость, но меньшую точность, а 4-бит — это обычная начальная точка.
Где подходит хостинговое API, а где нет
Хостинговый API заменяет ваше оборудование чужим. Этот сервис предлагает одну модель с открытыми весами, запускаемую независимым провайдером и настроенную на ответы без отказов в контенте для законного использования совершеннолетними. Это не официальный API какого-либо вендора моделей и не роутер, позволяющий выбирать между моделями.
Причины выбрать хостинг
- Нет GPU для покупки, охлаждения или обновления. Вы отправляете запрос и получаете токены обратно.
- Контекстное окно на 100 000 токенов, промпт и генерация вместе, без подбора размера памяти для него.
- Потоковая передача, вызов функций и JSON-режим через стандартный интерфейс OpenAI, поэтому существующие SDK и клиенты работают после изменения base URL и ключа.
- Оплата по факту: $0,15 за 1M входных токенов и $0,50 за 1M выходных токенов, из предоплаченного баланса, который не сгорает.
- Промпты не используются для обучения.
Причины остаться локально
- Вы хотите веса на диске. Хостинговое API никогда не даст вам этого.
- Вам нужно работать автономно, или ваши данные не могут покинуть машину ни при каких условиях.
- Вам нужно выбрать из множества моделей или запустить собственную дообученную модель. Этот API обслуживает одну модель, только текст, и не предлагает дообучения.
- У вас уже есть подходящее оборудование, а объём использования достаточно велик, чтобы предельная стоимость одного локального токена была близка к нулю.
Стоимость: электричество и оборудование против токенов
Локальное решение не является бесплатным, если учитывать стоимость машины. Простой способ сравнения — посчитать, сколько токенов нужно сгенерировать, чтобы владение GPU стало выгоднее, чем оплата за токен.
Расчёты для хостинга просты. Ролевая сессия из 50 ходов с 2 000 входными токенами и 400 выходными токенами на ход использует 100 000 входных и 20 000 выходных токенов. Входные токены стоят 0,1 × $0,15 = $0,015. Выходные токены стоят 0,02 × $0,50 = $0,01. Вся сессия стоит $0,025, то есть две с половиной цента.
По такой цене $20 кредита оплачивают 800 таких сессий. GPU, способный запустить модель 32B, стоит гораздо дороже $20, поэтому точка безубыточности полностью зависит от того, как часто вы им пользуетесь. Для эпизодического пользователя хостинг обычно выигрывает. Для того, кто генерирует текст весь день каждый день, локальное оборудование может окупить себя, и для них локальный вариант — лучший ответ. Для части затрат на электричество умножьте потребление GPU в ваттах на часы использования и ваш локальный тариф; мы не приводим его здесь, так как он сильно варьируется.
На странице цен указаны текущие суммы пополнения и бонусы, которые составляют от +5% при $50 до +15% при $200.
Один клиент для обоих: переключение через базовый URL
Вам не нужно навсегда выбрать один из вариантов. Поскольку Ollama и этот API оба используют формат чата OpenAI, один скрипт может использовать любой из них. Установите три переменные окружения, и ваш код не изменится.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)
Чтобы протестировать локальный runner, установите LLM_BASE_URL в адрес, который выводит ваш runner (Ollama по умолчанию использует http://localhost:11434/v1), установите LLM_MODEL в имя модели, которую вы скачали, и используйте любую заглушку вместо ключа. Уберите их, и скрипт будет обращаться к хостинговому API с идентификатором модели uncensored.
Этот подход позволяет бесплатно протестировать локальную модель на 8B, а затем сравнить результаты с хостинговой моделью на тех же промптах. В быстром старте приведён полный список поддерживаемых параметров, а новый аккаунт может получить пробный баланс $0,50 на странице API-ключей, чтобы провести сравнение без оплаты.
Дополнительные руководства
Вопросы и ответы
Какая лучшая uncensored LLM для 8 ГБ VRAM?
Обычно подходит uncensored дообученная модель семейства на 7–8 млрд параметров при 4-битном квантовании. Попробуйте два-три варианта на своих промптах, потому что качество различается между дообучениями сильнее, чем указывает метка размера.
Является ли локальная uncensored модель приватной?
Промпт остаётся на вашем компьютере, пока вы запускаете его локально, при условии, что используемый вами инструмент не отправляет телеметрию. Проверьте настройки конкретного раннера, который вы установите.
Могу ли я запустить модель за этим API локально?
Нет. API обслуживает одну модель через хостинговый эндпоинт и не распространяет веса. Если вам нужны файлы на диске, используйте модель с открытыми весами из публичного репозитория.
Нужна ли хостинговой модели большой контекст, как локальной?
Это обрабатывается на стороне провайдера. Вы получаете окно на 100 000 токенов, охватывающее промпт и завершение вместе, и платите только за токены, которые вы отправляете и получаете.
Является ли uncensored тем же самым, что и незаконный?
Нет. Это описывает модель, настроенную не отказывать в законных запросах от совершеннолетних. Контент с участием несовершеннолетних на этом сервисе никогда не разрешён.
Ключ — в одном шаге от вас
Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.