VI ▾
Lấy khóa API

Có LLM miễn phí không? Tùy chọn miễn phí so với API trả phí

Các mô hình ngôn ngữ miễn phí có sẵn, nhưng miễn phí hiếm khi có nghĩa là không tốn kém: bạn trả bằng phần cứng, thời gian thiết lập, giới hạn tốc độ hoặc cả hai. Dưới đây là cách so sánh các tùy chọn và chi phí thực tế của API trả phí cho mỗi yêu cầu.

Cập nhật

Hũ tiết kiệm hình lợn và tiền xu bên cạnh terminal, minh họa chi phí truy cập LLM miễn phí so với trả phí

Điểm chính

  1. Các mô hình trọng số mở miễn phí để tải xuống, nhưng chạy chúng cần GPU hoặc rất nhiều kiên nhẫn.
  2. Các gói lưu trữ miễn phí thường đi kèm với giới hạn tốc độ chặt chẽ và bộ lọc nội dung, vì vậy hãy kiểm tra các điều khoản hiện tại của chúng.
  3. API này không có gói miễn phí, nhưng người dùng mới có thể nhận $0.50 tín dụng dùng thử mà không cần thẻ.
  4. Ở mức $0.15 và $0.50 cho 1 triệu token, một câu trả lời trò chuyện điển hình tốn một phần nhỏ của một cent.

Bắt đầu với tín dụng dùng thử

Email và mật khẩu, khóa hiện ngay trên màn hình.

Lấy khóa API

Câu trả lời ngắn gọn

Có LLM miễn phí không? Có. Bạn có thể tải xuống các mô hình trọng số mở và chạy chúng trên máy của riêng mình, và một số dịch vụ lưu trữ cung cấp một lượng sử dụng hạn chế miễn phí. Điều không tồn tại là một mô hình ngôn ngữ lớn không tốn bất kỳ chi phí nào về mọi mặt. Ai đó phải trả tiền cho GPU, và nếu không phải bạn trả bằng tiền mặt, thì đó là bạn trả bằng phần cứng, thời gian chờ đợi hoặc các hạn chế.

Trang web này bán dịch vụ tạo văn bản thông qua API, nên chúng tôi có lợi ích liên quan đến câu trả lời, và chúng tôi sẽ nói rõ: chúng tôi không có gói miễn phí. Những gì chúng tôi cung cấp là một lần dùng thử $0.50 cho người dùng mới, nhận được bằng một cú nhấp chuột sau khi đăng ký, không cần thẻ. Sau đó, bạn trả tiền theo token từ tín dụng trả trước. Phần còn lại của bài viết này giúp bạn quyết định liệu các tùy chọn miễn phí có đủ cho dự án của bạn hay một vài cent theo mức sử dụng thực tế hợp lý hơn.

Ba loại miễn phí

Khi mọi người hỏi liệu có LLM miễn phí không, họ thường muốn nói đến một trong ba điều khác nhau. Chúng hoạt động rất khác nhau khi bạn cố gắng xây dựng thứ gì đó dựa trên chúng.

1. Trọng số mở bạn tự chạy

Nhiều mô hình được công bố dưới dạng tệp có thể tải xuống. Bạn cài đặt trình chạy như Ollama, LM Studio hoặc llama.cpp, kéo một mô hình và trò chuyện với nó ngoại tuyến. Phần mềm miễn phí và mọi thứ đều ở lại máy của bạn. Điểm hạn chế là bộ nhớ. Một mô hình nhỏ khoảng 7 đến 8 tỷ tham số, được lượng tử hóa 4 bit, vừa với khoảng 5 GB VRAM hoặc RAM. Các mô hình lớn hơn cần nhiều hơn nhiều, và những mô hình gần với các hệ thống lưu trữ lớn cần một GPU mạnh hoặc nhiều hơn.

2. Gói miễn phí của các dịch vụ lưu trữ

Một số nhà cung cấp cho phép bạn gửi một số lượng yêu cầu hạn chế mỗi ngày hoặc tháng mà không phải trả tiền. Các gói này hữu ích cho nguyên mẫu hoặc kịch bản cuối tuần. Chúng thường đi kèm với giới hạn tốc độ thấp, cửa sổ ngữ cảnh nhỏ hơn và các quy tắc nội dung của nhà cung cấp. Điều khoản thay đổi thường xuyên, vì vậy hãy kiểm tra giá và giới hạn hiện tại của từng nhà cung cấp trước khi bạn lập kế hoạch dựa trên chúng.

3. Dùng thử miễn phí

Dùng thử là một lượng tín dụng nhỏ cho phép bạn kiểm tra sản phẩm thực sự. Nó không phải là cách để chạy lưu lượng sản xuất. Của chúng tôi là $0.50, có hiệu lực trong 7 ngày, một lần mỗi người. Nghe có vẻ nhỏ, và phần tiếp theo sẽ cho thấy tại sao nó vẫn đi xa hơn bạn mong đợi.

Miễn phí tốn của bạn những gì theo cách khác

Các mô hình miễn phí không miễn phí khi vận hành. Trước khi cam kết, hãy ghi lại giá bạn thực sự trả bằng mỗi loại tiền tệ không phải đô la.

  • Phần cứng. Máy tính xách tay không có GPU chuyên dụng có thể chạy các mô hình nhỏ, nhưng chậm. Câu trả lời ở tốc độ vài token mỗi giây là ổn cho các thử nghiệm và gây mệt mỏi cho bất kỳ tương tác nào. Nếu bạn muốn một mô hình lớn hơn, bạn đang nhìn vào việc mua hoặc thuê GPU, đó là chi phí thực.
  • Thiết lập và bảo trì. Chọn lượng tử hóa, khớp mẫu trò chuyện, điều chỉnh độ dài ngữ cảnh và giữ cho trình chạy được cập nhật đều tốn hàng giờ. Điều đó ổn nếu bạn thích nó và là một sự đánh đổi kém nếu bạn chỉ cần văn bản từ một endpoint.
  • Giới hạn tốc độ. Các gói lưu trữ miễn phí giới hạn số yêu cầu mỗi phút hoặc mỗi ngày. Một vòng lặp xử lý một nghìn tài liệu sẽ chạm giới hạn sớm.
  • Từ chối. Hầu hết các mô hình lưu trữ chính thống từ chối một loạt các yêu cầu, bao gồm nhiều tiểu thuyết thông thường và nhập vai. Gói miễn phí từ nhà cung cấp như vậy không thay đổi điều đó. Nếu bạn cần một mô hình được tinh chỉnh để trả lời mà không có từ chối nội dung cho việc sử dụng người lớn hợp pháp, các tùy chọn miễn phí của bạn thu hẹp lại các mô hình không kiểm duyệt cục bộ bạn tự chạy.
  • Dữ liệu. Với một mô hình cục bộ, các prompt của bạn vẫn ở trên máy tính của bạn. Với một gói lưu trữ miễn phí, hãy đọc các điều khoản: một số nhà cung cấp sử dụng prompt để cải thiện sản phẩm của họ. Các prompt gửi đến API của chúng tôi không được sử dụng để huấn luyện.

Những gì $0,50 dùng thử mua được

API tính $0.15 cho mỗi 1 triệu token đầu vào và $0.50 cho mỗi 1 triệu token đầu ra. Để biến điều đó thành thứ gì đó bạn có thể hình dung, hãy lấy một yêu cầu nhỏ: 1.000 token đầu vào và 500 token đầu ra. Chi phí đầu vào là 1.000 / 1.000.000 x $0.15 = $0.00015. Chi phí đầu ra là 500 / 1.000.000 x $0.50 = $0.00025. Yêu cầu tốn tổng cộng $0.0004.

Tín dụng dùng thử $0.50 chia cho $0.0004 là 1.250 yêu cầu có kích thước đó. Điều đó đủ để kết nối một ứng dụng khách, kiểm tra các prompt của bạn, kiểm tra truyền phát và gọi hàm, và quyết định xem đầu ra của mô hình có phù hợp với trường hợp sử dụng của bạn hay không. Khóa dùng thử có giới hạn thấp hơn khóa đầy đủ (2 yêu cầu đồng thời và 60 yêu cầu mỗi phút), điều đó đủ cho việc kiểm tra bằng tay.

Bạn nhận tín dụng từ trang khóa API sau khi đăng nhập bằng Google hoặc bằng email và mật khẩu. Thời hạn là 7 ngày và mỗi người chỉ được một lần dùng thử. Nếu một yêu cầu thất bại hoặc bị từ chối, nó sẽ không bị tính phí.

Chi phí thực tế cho các tác vụ trên gói trả phí

Sau khi dùng thử, bạn nạp tiền bất kỳ số nguyên nào từ $20 đến $500. Tín dụng không bao giờ hết hạn và không có gói đăng ký, vì vậy một tháng ít hoạt động không tốn gì. Dưới đây là những gì $20 bao gồm cho bốn tác vụ, được tính từ các giá ở trên.

Khối công việcToken vào / raChi phí mỗi yêu cầuYêu cầu cho mỗi $20
Phản hồi chat ngắn1,000 / 500$0.000450,000
Trò chuyện với lịch sử dài3,000 / 700$0.000825,000
Tóm tắt một bài báo8,000 / 400$0.0014khoảng 14,285
Điền đầy đủ cửa sổ 100,000 token100,000 / 1,000$0.0155khoảng 1,290

Kiểm tra một hàng bằng tay. Đối với tóm tắt bài báo: 8.000 token đầu vào tốn $0.0012 và 400 token đầu ra tốn $0.0002, vậy $0.0014. Chia $20 cho $0.0014 cho ra khoảng 14,285 yêu cầu.

Token đầu ra đắt hơn ba lần so với token đầu vào, nên cách rẻ nhất để giảm hóa đơn là yêu cầu câu trả lời ngắn hơn hoặc đặt max_tokens. Prompt dài tương đối rẻ. Xử lý một triệu token đầu vào tốn $0.15, và một triệu token mỗi chiều tốn $0.65.

Các khoản nạp tiền lớn hơn bao gồm một khoản bonus: +5% từ $50, +10% từ $100 và +15% từ $200. Ví dụ, một khoản nạp $100 cho $110 tín dụng. Trang giá cả liệt kê chi tiết.

Khi nào miễn phí là lựa chọn tốt hơn

API trả phí không phải lúc nào cũng là lựa chọn đúng. Chọn tùy chọn miễn phí khi:

  • Bạn đã sở hữu một GPU và tác vụ của bạn nhỏ, riêng tư hoặc ngoại tuyến bắt buộc.
  • Bạn đang học cách các mô hình hoạt động và muốn thử nghiệm với lượng tử hóa, prompt và lấy mẫu mà không có bất kỳ thanh toán nào trong vòng lặp.
  • Khối lượng của bạn chỉ là một vài yêu cầu mỗi tuần và gói miễn phí của nhà cung cấp bao gồm nó.

Chọn API trả phí khi:

  • Bạn cần câu trả lời ở tốc độ trò chuyện mà không sở hữu phần cứng.
  • Bạn muốn một cửa sổ ngữ cảnh 100.000 token mà không cần mua bộ nhớ cho nó.
  • Ứng dụng của bạn phục vụ những người khác, vì vậy bạn cần các giới hạn dự đoán được: khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút.
  • Bạn cần một mô hình trả lời mà không từ chối nội dung cho việc sử dụng người lớn hợp pháp, và bạn không muốn tự lưu trữ. Trang về truy cập LLM không hạn chế giải thích cách dịch vụ này xử lý điều đó.

Một quy tắc nghiêm ngặt áp dụng phía chúng tôi: nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép. Giới hạn này không thay đổi theo gói giá.

Thử nghiệm với vài dòng mã

API tương thích với OpenAI, vì vậy bất kỳ SDK OpenAI nào cũng hoạt động sau khi bạn thay đổi base URL và khóa API. Ví dụ Python này gửi một yêu cầu và in câu trả lời cùng với việc sử dụng token để bạn có thể kiểm tra phép tính ở trên với các con số của riêng mình.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmonline.com/v1",
    api_key="YOUR_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Give me three plot hooks for a heist story."}],
    max_tokens=300,
)

print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, resp.usage.completion_tokens)

Cùng một lệnh gọi với curl:

curl https://api.uncensoredllmonline.com/v1/chat/completions \
  -H "Authorization: Bearer YOUR_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Mỗi phản hồi đều có tiêu đề X-Balance-USD, vì vậy bạn có thể theo dõi số dư tín dụng giảm đi theo thời gian thực. Trang bắt đầu nhanh bao gồm truyền phát (streaming), gọi hàm và chế độ JSON.

Hỏi đáp

Có một LLM hoàn toàn miễn phí mà không có giới hạn nào không?

Chỉ khi bạn chạy một mô hình trọng số mở trên phần cứng của riêng mình, và khi đó bạn trả tiền bằng điện, bộ nhớ GPU và thời gian thiết lập. Các gói miễn phí được lưu trữ luôn có giới hạn về tốc độ, cửa sổ ngữ cảnh hoặc mức sử dụng.

API này có gói miễn phí không?

Không. Người dùng mới có thể nhận tín dụng dùng thử một lần trị giá $0.50 chỉ bằng một cú nhấp chuột trên trang khóa API. Nó không cần thẻ, có hiệu lực trong 7 ngày và giới hạn một lần cho mỗi người.

Số tiền tín dụng dùng thử $0.50 dùng được bao nhiêu?

Đối với các yêu cầu có 1.000 token đầu vào và 500 token đầu ra, nó bao gồm khoảng 1.250 yêu cầu. Các prompt lớn hơn sẽ sử dụng nó nhanh hơn, ví dụ một yêu cầu với 8.000 token đầu vào và 400 token đầu ra tốn $0.0014, tương đương khoảng 357 yêu cầu.

Số tiền tối thiểu tôi có thể chi trả sau khi dùng thử là bao nhiêu?

Nạp thêm $20, với bất kỳ số nguyên nào lên đến $500. Tín dụng không bao giờ hết hạn và không có gói đăng ký.

Các yêu cầu bị lỗi có bị tính phí không?

Không. Các yêu cầu bị lỗi hoặc bị từ chối không bị trừ vào số dư của bạn.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL gốc. Đó là toàn bộ quá trình cài đặt.

Lấy khóa APIĐọc tài liệu