中文 ▾
获取 API 密钥

2025 最佳本地运行无审查 LLM 与托管 API 对比

2025 年最佳的本地运行无审查 LLM 是能在合理速度下被你的内存容纳的最大模型。本文展示了如何评估该选择、工具链的形态,以及托管 API 在哪些情况下 是更简便的路径。

更新于

本地 GPU 塔通过发光电缆连接到云服务器的等距插图,对比本地和托管 LLM

要点

  1. 内存决定一切:一个 4-bit 模型每十亿参数大约需要 0.5 GB 内存,此外还需要上下文窗口空间。
  2. Ollama、LM Studio 和 llama.cpp 都运行本地模型,并且大多数暴露 OpenAI 风格的接口。
  3. 托管 API 提供大的上下文窗口且无需硬件,但只有一个模型且无法微调。
  4. 你可以编写一个客户端,通过更改基础 URL 在本地和托管之间切换。

从试用额度开始

邮箱和密码,密钥立即显示在屏幕上。

获取 API 密钥

简短回答:根据内存大小选择

如果你正在寻找适合本地运行的最佳无审查 LLM(2025 年风格),没有单一的最佳选择,要警惕那些声称有唯一胜者的列表。新的微调版本每隔几周就会出现,排名也会变化,一个在故事讲述方面表现出色的模型在代码方面可能表现平庸。更好的问题是哪个模型适合你的机器和你的任务。

请按以下步骤操作。首先,找出你有多少快速内存:GPU 上的 VRAM,或者 Apple Silicon Mac 上的统一内存。其次,选择在该内存中以 4-bit 量化运行且留有上下文空间的最大模型家族。第三,选择该家族的无审查变体,意味着经过微调或修改的版本,旨在停止拒绝普通的合法请求。第四,用你自己的提示词测试它一小时。该测试比任何排行榜都能告诉你更多。

“无审查”对开放权重模型的含义

模型通常在两个阶段进行训练。基础模型从巨大的文本语料库中学习,第二阶段的教学指令训练它遵循请求并拒绝其中一些请求。无审查变体是通过改变第二阶段产生的:在去除拒绝的数据上进行微调,或者编辑权重使模型停止产生拒绝行为。社区成员发布了许多流行开放家族的此类变体。

由此得出两点。无审查并不意味着更聪明。去除拒绝有时会损失一点质量,并且基础模型的大小和训练比标签重要得多。无审查也不意味着无法无天。重点是一个成年人可以在小说、角色扮演或研究方面工作,而模型不会对他们说教,而不是什么都行。任何涉及未成年人色情内容的都被严格禁止,负责任的主机或工具会这么说。

内存经验法则

量化将每个权重存储在更少的位中。在 4 位时,模型每个十亿参数大约占用半 GB,这尚未包含上下文缓存,上下文缓存随着对话长度而增长。这些是粗略的规划数字,不是保证,因为不同的量化格式各不相同。

模型大小4-bit 时的近似内存典型硬件
70 亿至 80 亿约 5 GB8 GB GPU,或 16 GB RAM 的笔记本电脑
130 亿至 140 亿约 9 GB12 GB GPU
320 亿至 340 亿约 20 GB24 GB GPU,或 32 GB 或更多内存的 Mac
70B约 40 GB两块大型 GPU,或 64 GB 或更高配置的 Mac

上下文是隐藏的成本。能放入 4,000-token 聊天的模型,在接收 30,000-token 的故事时可能会耗尽内存。本地部署通常将上下文限制远低于模型支持的能力,且长上下文还会降低生成速度。如果你的项目依赖于记住长对话或大文档,在与提供 100,000-token 窗口的托管方案进行比较时,请考虑到这一点。

在你自己的机器上运行模型的工具

你不需要手动编译任何东西即可开始。这些是常见的选择。

  • Ollama 一个用于下载和提供模型服务的命令行工具。它在你的机器上暴露一个 OpenAI 兼容的端点,这使得将现有代码指向它变得容易。
  • LM Studio 一款带有模型浏览器、聊天窗口和本地服务器模式的桌面应用。如果你更喜欢图形界面,这是一个不错的选择。
  • llama.cpp. 许多这些工具背后的 C++ 引擎。它让你对量化、在 CPU 和 GPU 之间卸载层以及上下文大小拥有最多的控制,代价是更多的标志需要学习。
  • vLLM 和类似的服务器。 旨在处理同时几个用户的 GPU 服务器。对于单个桌面来说是杀鸡用牛刀,如果你运行自己的小型部署则很有用。

大多数这些可以加载 GGUF 文件,这是一种常见的量化模型格式。从文件名中选择量化级别:较低的数字更小、更快但准确性较低,4-bit 是通常的起点。

托管 API 的适用场景及不适用场景

托管 API 用别人的硬件替换你的硬件。该服务提供一个开放权重模型,由独立提供商运行,并针对合法成人用途进行优化,不拒绝内容。它不是任何模型供应商的官方 API,也不是让你在其中选择模型的网关。

选择托管的理由

  • 无需购买、冷却或更新 GPU。你发送请求并获取返回的 token。
  • 100,000-token 上下文窗口,提示词和补全组合,无需为此调整内存大小。
  • 通过标准 OpenAI 接口提供流式输出、函数调用和 JSON 模式,因此更改基础 URL 和密钥后,现有的 SDK 和客户端即可工作。
  • 按量付费:每 100 万输入 token $0.15,每 100 万输出 token $0.50,从永不过期的预付额度中扣除。
  • 提示词不用于训练。

保持本地的理由

  • 你想要磁盘上的权重。托管 API 永远不会给你这个。
  • 你需要离线工作,或者在任何条款下你的数据都不能离开机器。
  • 你想在多个模型中选择,或运行自己的微调模型。此 API 仅提供一个模型,仅支持文本,不提供微调功能。
  • 你已经拥有合适的硬件,且你的使用量足够大,使得本地 token 的边际成本接近零。

成本:电力和硬件与 token 的对比

一旦把机器成本算进去,本地部署并非免费。一种简单的比较方式是:你需要生成多少 token,才能使拥有 GPU 的成本低于按 token 付费。

在托管端,计算很简单。一场 50 轮的角色扮演会话,每轮 2,000 个输入 token 和 400 个输出 token,将使用 100,000 个输入 token 和 20,000 个输出 token。输入成本为 0.1 x $0.15 = $0.015。输出成本为 0.02 x $0.50 = $0.01。整个会话成本为 $0.025,即 2.5 美分。

按该费率,$20 的额度可以支付 800 次此类会话。能够运行 32B 模型的 GPU 成本远高于 $20,因此盈亏平衡点完全取决于你的使用频率。对于偶尔使用的用户,托管通常更胜一筹。对于整天每天生成文本的用户,本地硬件可以收回成本,对他们来说本地是更好的选择。对于电费部分,将 GPU 的功耗乘以使用小时数再乘以你的本地费率;我们在此不提供具体数值,因为差异很大。

定价页面列出了当前的充值金额和奖励,奖励幅度从 $50 时的 +5% 到 $200 时的 +15% 不等。

一个客户端兼顾两者:通过基础 URL 切换

你不必永久选择一方。由于 Ollama 和此 API 都支持 OpenAI 聊天格式,单个脚本即可使用其中任意一个。设置三个环境变量,你的代码无需更改。

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")

resp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)

要针对本地运行器进行测试,请将 LLM_BASE_URL 设置为运行器输出的地址(Ollama 默认使用 http://localhost:11434/v1),将 LLM_MODEL 设置为你拉取的模型名称,并为密钥使用任意占位符。取消设置这些变量后,脚本将连接到托管 API,并使用模型 ID uncensored。

此模式允许你免费针对本地 8B 模型进行原型开发,然后在相同的提示词下将输出与托管模型进行对比。快速入门 列出了所有支持的参数,新账户可从 API 密钥页面 领取 $0.50 的免费试用额度,以便在不付费的情况下运行该对比测试。

问答

8 GB 显存下最好的无审查 LLM 是什么?

通常适合的是对 7 到 8B 参数家族模型进行 4-bit 量化的无审查微调版本。在你的提示词上尝试两三个变体,因为不同微调版本之间的质量差异比模型大小标签所暗示的更大。

本地无审查模型是私有的吗?

只要你所使用的工具不发送遥测数据,提示词在本地运行时将保留在你的机器上。请检查你安装的具体运行器的设置。

我可以在本地运行此 API 背后的模型吗?

不可以。该 API 通过托管接口提供服务,不分发权重。如果你需要磁盘上的文件,请从公共存储库使用开放权重模型。

托管模型需要像本地模型那样大的上下文缓存吗?

这由提供商端处理。你获得一个覆盖提示词和生成文本的 100,000-token 窗口,并且只为发送和接收的 token 付费。

无审查是否意味着非法?

不是。它描述的是一个针对不拒绝合法成人请求进行微调的模型。涉及未成年人的内容在此服务中不被允许。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥阅读文档