So sánh LLM không kiểm duyệt tốt nhất chạy cục bộ 2025 với API lưu trữ
LLM không kiểm duyệt tốt nhất để chạy cục bộ trong năm 2025 là mô hình lớn nhất mà bộ nhớ của bạn có thể chứa ở tốc độ chấp nhận được. Bài viết này hướng dẫn cách xác định lựa chọn đó, giao diện công cụ trông như thế nào và khi nào API được lưu trữ là con đường dễ dàng hơn.

Điểm chính
- Bộ nhớ quyết định mọi thứ: một mô hình 4-bit cần khoảng nửa gigabyte cho mỗi tỷ tham số, cộng thêm dung lượng cho ngữ cảnh.
- Ollama, LM Studio và llama.cpp đều hỗ trợ chạy mô hình cục bộ và hầu hết đều cung cấp một endpoint kiểu OpenAI.
- API lưu trữ cung cấp cho bạn cửa sổ ngữ cảnh lớn và không cần phần cứng, nhưng chỉ một mô hình và không thể tinh chỉnh.
- Bạn có thể viết một client chuyển đổi giữa cục bộ và lưu trữ bằng cách thay đổi base URL.
Câu trả lời ngắn gọn: điều chỉnh kích thước theo bộ nhớ của bạn
Nếu bạn đang tìm kiếm mô hình LLM không kiểm duyệt tốt nhất để chạy cục bộ theo phong cách 2025, sẽ không có một người chiến thắng duy nhất để nêu tên, và hãy thận trọng với các danh sách tuyên bố điều đó. Các bản tinh chỉnh mới xuất hiện mỗi vài tuần, bảng xếp hạng thay đổi, và một mô hình xuất sắc trong kể chuyện có thể chỉ ở mức trung bình trong lập trình. Một câu hỏi tốt hơn là mô hình nào phù hợp với máy của bạn và nhiệm vụ của bạn.
Hãy làm việc theo thứ tự này. Đầu tiên, hãy tìm hiểu lượng bộ nhớ nhanh bạn có: VRAM trên GPU hoặc bộ nhớ thống nhất trên Mac Apple Silicon. Thứ hai, chọn họ mô hình lớn nhất phù hợp với bộ nhớ đó ở lượng tử hóa 4-bit còn dư chỗ cho cửa sổ ngữ cảnh. Thứ ba, chọn một biến thể không kiểm duyệt của họ đó, nghĩa là một bản tinh chỉnh hoặc phiên bản đã sửa đổi và được huấn luyện để ngừng từ chối các yêu cầu hợp pháp thông thường. Thứ tư, kiểm tra nó trên các prompt của riêng bạn trong một giờ. Bài kiểm tra đó cho bạn biết nhiều hơn bất kỳ bảng xếp hạng nào.
Ý nghĩa của "không kiểm duyệt" đối với mô hình trọng số mở
Các mô hình thường được huấn luyện theo hai giai đoạn. Một mô hình cơ sở học từ một kho văn bản khổng lồ và một giai đoạn thứ hai của tinh chỉnh hướng dẫn dạy nó tuân theo các yêu cầu và từ chối một số yêu cầu. Một biến thể không kiểm duyệt được tạo ra bằng cách thay đổi giai đoạn thứ hai này: tinh chỉnh trên dữ liệu đã loại bỏ các lời từ chối hoặc chỉnh sửa các trọng số để mô hình ngừng tạo hành vi từ chối. Các thành viên cộng đồng xuất bản nhiều biến thể như vậy của các họ mở phổ biến.
Hai điều suy ra từ điều này. Không kiểm duyệt không có nghĩa là thông minh hơn. Việc loại bỏ các lời từ chối đôi khi làm giảm chất lượng một chút và kích thước cùng quá trình huấn luyện của mô hình cơ sở quan trọng hơn nhiều so với nhãn. Và không kiểm duyệt không có nghĩa là vô luật pháp. Điểm mấu chốt là một người trưởng thành có thể làm việc về tiểu thuyết, nhập vai hoặc nghiên cứu mà không cần mô hình giảng dạy họ, không phải là mọi thứ đều được phép. Mọi thứ liên quan đến nội dung tình dục với người chưa thành niên đều nằm ngoài phạm vi và một nhà cung cấp hoặc công cụ có trách nhiệm sẽ nói điều đó.
Quy tắc ngón tay cái về bộ nhớ
Lượng tử hóa lưu trữ mỗi trọng số bằng ít bit hơn. Ở mức 4 bit, một mô hình chiếm khoảng nửa gigabyte cho mỗi tỷ tham số, và điều đó chưa bao gồm bộ nhớ đệm ngữ cảnh, vốn tăng theo độ dài cuộc trò chuyện của bạn. Đây là các con số lập kế hoạch sơ bộ, không phải bảo đảm, vì các định dạng lượng tử hóa khác nhau có thể khác nhau.
| Kích thước mô hình | Bộ nhớ xấp xỉ ở 4-bit | Phần cứng điển hình |
|---|---|---|
| 7 đến 8B | khoảng 5 GB | GPU 8 GB, hoặc laptop với 16 GB RAM |
| 13 đến 14B | khoảng 9 GB | GPU 12 GB |
| 32 đến 34B | khoảng 20 GB | GPU 24 GB, hoặc Mac với 32 GB trở lên |
| 70B | khoảng 40 GB | hai GPU lớn, hoặc Mac với 64 GB trở lên |
Ngữ cảnh là chi phí ẩn. Một mô hình phù hợp với một cuộc trò chuyện 4.000 token có thể hết bộ nhớ khi bạn cung cấp cho nó một câu chuyện 30.000 token. Các thiết lập cục bộ thường giới hạn ngữ cảnh thấp hơn nhiều so với những gì mô hình hỗ trợ, và ngữ cảnh dài cũng làm chậm quá trình tạo. Nếu dự án của bạn phụ thuộc vào việc nhớ một cuộc hội thoại dài hoặc một tài liệu lớn, hãy nhớ điều đó khi bạn so sánh với tùy chọn được lưu trữ có cửa sổ ngữ cảnh 100.000 token.
Công cụ để chạy mô hình trên máy của bạn
Bạn không cần phải biên dịch bất cứ thứ gì bằng tay để bắt đầu. Đây là những lựa chọn phổ biến.
- Ollama. Một công cụ dòng lệnh tải xuống và phục vụ các mô hình. Nó cung cấp một endpoint tương thích OpenAI trên máy của bạn, giúp dễ dàng trỏ mã hiện có vào nó.
- LM Studio. Một ứng dụng máy tính để bàn với trình duyệt mô hình, cửa sổ trò chuyện và chế độ máy chủ cục bộ. Tốt nếu bạn thích giao diện đồ họa.
- llama.cpp. Công cụ C++ phía sau nhiều công cụ trong số này. Nó cho bạn nhiều quyền kiểm soát nhất đối với lượng tử hóa, tải các lớp giữa CPU và GPU, và kích thước ngữ cảnh, với giá là nhiều cờ hơn để học.
- vLLM và các máy chủ tương tự. Hướng tới các máy chủ GPU xử lý nhiều người dùng cùng một lúc. Quá mức cần thiết cho một máy tính để bàn đơn lẻ, hữu ích nếu bạn chạy triển khai nhỏ của riêng mình.
Hầu hết những công cụ này có thể tải các tệp GGUF, một định dạng phổ biến cho các mô hình đã lượng tử hóa. Chọn mức lượng tử hóa từ tên tệp: các số thấp hơn nhỏ hơn và nhanh hơn nhưng ít chính xác hơn và 4-bit là điểm bắt đầu thông thường.
Nơi API lưu trữ phù hợp và nơi không phù hợp
Một API được lưu trữ thay thế phần cứng của bạn bằng phần cứng của người khác. Dịch vụ này cung cấp một mô hình trọng số mở duy nhất, do một nhà cung cấp độc lập chạy và được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng hợp pháp của người trưởng thành. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào, và nó không phải là một router cho phép bạn chọn giữa các mô hình.
Lý do để chọn lưu trữ
- Không cần mua GPU, làm mát hoặc cập nhật. Bạn gửi một yêu cầu và nhận lại token.
- Cửa sổ ngữ cảnh 100.000 token, kết hợp prompt và completion, mà không cần điều chỉnh bộ nhớ cho nó.
- Truyền phát, gọi hàm và chế độ JSON thông qua giao diện OpenAI tiêu chuẩn, để các SDK và ứng dụng khách hiện có hoạt động sau khi bạn thay đổi URL cơ sở và khóa.
- Giá theo mức sử dụng: $0,15 cho mỗi 1 triệu token đầu vào và $0,50 cho mỗi 1 triệu token đầu ra, từ tín dụng trả trước không bao giờ hết hạn.
- Các prompt không được sử dụng để huấn luyện.
Lý do để ở lại cục bộ
- Bạn muốn có trọng số trên đĩa. API lưu trữ sẽ không bao giờ cung cấp cho bạn điều đó.
- Bạn cần làm việc ngoại tuyến hoặc dữ liệu của bạn không thể rời khỏi máy dưới bất kỳ điều khoản nào.
- Bạn muốn chọn trong số nhiều mô hình hoặc chạy mô hình tinh chỉnh của riêng mình. API này chỉ phục vụ một mô hình, chỉ văn bản và không cung cấp tinh chỉnh.
- Bạn đã sở hữu phần cứng phù hợp và khối lượng công việc của bạn đủ lớn để chi phí biên cho mỗi token cục bộ gần như bằng không.
Chi phí: điện và phần cứng so với token
Chạy cục bộ không miễn phí khi bạn tính đến chi phí máy móc. Một cách đơn giản để so sánh là hỏi xem bạn phải tạo ra bao nhiêu token thì việc sở hữu GPU mới hiệu quả hơn so với việc trả phí theo token.
Ở phía được lưu trữ, phép tính rất dễ dàng. Một phiên nhập vai 50 lượt với 2.000 token đầu vào và 400 token đầu ra mỗi lượt sử dụng 100.000 token đầu vào và 20.000 token đầu ra. Chi phí đầu vào là 0,1 x $0,15 = $0,015. Chi phí đầu ra là 0,02 x $0,50 = $0,01. Toàn bộ phiên tốn $0,025, hai rưỡi cent.
Với tốc độ đó, $20 tín dụng trả cho 800 phiên như vậy. Một GPU có khả năng chạy mô hình 32B có giá cao hơn nhiều so với $20, vì vậy điểm hòa vốn phụ thuộc hoàn toàn vào mức độ sử dụng của bạn. Đối với người dùng thỉnh thoảng, dịch vụ lưu trữ thường là lựa chọn tốt hơn. Đối với người tạo văn bản cả ngày, mỗi ngày, phần cứng cục bộ có thể tự trang trải chi phí, và đối với họ, giải pháp cục bộ là tốt hơn. Đối với phần điện, hãy nhân mức tiêu thụ điện của GPU với số giờ sử dụng và giá điện tại địa phương của bạn; chúng tôi không đưa ra một mức giá cụ thể ở đây vì nó thay đổi rất nhiều.
trang giá cả liệt kê các số tiền nạp tiền và khoản thưởng hiện tại, từ +5% ở mức $50 đến +15% ở mức $200.
Một client cho cả hai: chuyển đổi bằng cách thay đổi base URL
Bạn không phải chọn một bên vĩnh viễn. Vì Ollama và API này đều sử dụng định dạng chat OpenAI, một tập lệnh duy nhất có thể sử dụng cả hai. Hãy đặt ba biến môi trường và mã của bạn sẽ không thay đổi.
import os
from openai import OpenAI
client = OpenAI(
base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")
resp = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)
Để kiểm tra với một trình chạy cục bộ, hãy đặt LLM_BASE_URL thành địa chỉ mà trình chạy của bạn hiển thị (Ollama sử dụng http://localhost:11434/v1 theo mặc định), đặt LLM_MODEL thành tên mô hình bạn đã kéo, và sử dụng bất kỳ chỗ giữ chỗ nào cho khóa. Hủy đặt chúng và tập lệnh sẽ giao tiếp với API được lưu trữ với ID mô hình uncensored.
Mẫu này cho phép bạn thử nghiệm với một mô hình cục bộ 8B miễn phí, sau đó so sánh đầu ra với mô hình được lưu trữ trên cùng các prompt. Hướng dẫn bắt đầu có danh sách đầy đủ các tham số được hỗ trợ, và một tài khoản mới có thể nhận $0,50 tín dụng dùng thử từ trang khóa API để chạy so sánh đó mà không phải trả tiền.
Hướng dẫn khác
Hỏi đáp
LLM không kiểm duyệt tốt nhất cho 8 GB VRAM là gì?
Một bản tinh chỉnh không kiểm duyệt của nhóm mô hình 7 đến 8 tỷ tham số ở lượng tử hóa 4-bit là lựa chọn phù hợp thông thường. Hãy thử hai hoặc ba biến thể trên các prompt của riêng bạn, vì chất lượng khác biệt giữa các bản tinh chỉnh nhiều hơn nhãn kích thước gợi ý.
Một mô hình cục bộ không kiểm duyệt có riêng tư không?
Prompt sẽ vẫn ở trên máy của bạn khi bạn chạy cục bộ, miễn là công cụ bạn sử dụng không gửi dữ liệu telemetry. Hãy kiểm tra cài đặt của trình chạy cụ thể mà bạn cài đặt.
Tôi có thể chạy mô hình phía sau API này cục bộ không?
Không. API phục vụ một mô hình thông qua một endpoint lưu trữ và không phân phối trọng số. Nếu bạn cần các tệp trên đĩa, hãy sử dụng mô hình trọng số mở từ kho lưu trữ công khai.
Mô hình lưu trữ có cần bộ nhớ đệm ngữ cảnh lớn như mô hình cục bộ không?
Việc đó được xử lý ở phía nhà cung cấp. Bạn nhận được cửa sổ ngữ cảnh 100.000 token bao gồm prompt và completion cùng lúc, và bạn chỉ trả tiền cho các token bạn gửi và nhận.
Không kiểm duyệt có nghĩa là bất hợp pháp không?
Không. Nó mô tả một mô hình được tinh chỉnh để không từ chối các yêu cầu hợp pháp của người trưởng thành. Nội dung liên quan đến người chưa thành niên không bao giờ được phép trên dịch vụ này.
Khóa của bạn chỉ cách một bước nữa
Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.