KO ▾
API 키 받기

2025년 로컬 실행용 무검열 LLM vs 호스팅 API

2025년 로컬에서 실행할 최고의 무검열 LLM은 적절한 속도로 메모리가 수용할 수 있는 가장 큰 모델입니다. 이 글은 선택의 규모를 결정하는 방법, 도구의 모습, 호스팅 API가 더 쉬운 경로가 되는 지점을 보여줍니다.

업데이트

로컬 GPU 타워가 빛나는 케이블로 클라우드 서버와 연결된 등각 투영 일러스트레이션으로, 로컬과 호스팅 LLM을 비교합니다

주요 포인트

  1. 메모리가 모든 것을 결정합니다: 4비트 모델은 파라미터 10억 개당 약 0.5GB가 필요하며, 컨텍스트를 위한 공간도 필요합니다.
  2. Ollama, LM Studio, llama.cpp는 모두 로컬 모델을 실행하며 대부분 OpenAI 스타일의 엔드포인트를 노출합니다.
  3. 호스팅 API는 큰 컨텍스트 창을 제공하고 하드웨어가 필요 없지만, 하나의 모델만 제공하며 파인튜닝이 불가능합니다.
  4. Base URL을 변경하여 로컬과 호스팅 간에 전환할 수 있는 클라이언트를 작성할 수 있습니다.

무료 체험 크레딧으로 시작

이메일과 비밀번호만 입력하면 키가 바로 화면에 표시됩니다.

API 키 받기

짧은 답변: 메모리에 맞춰 규모를 조정하세요

2025년 로컬 실행용 최고 무검열 LLM을 찾고 있다면, 단 하나의 우승자를 지목하기 어렵고 하나의 모델이 최고라고 주장하는 목록에 주의하세요. 새로운 파인튜닝은 몇 주마다 등장하고 순위가 바뀌며, 스토리텔링에는 훌륭하지만 코드 작성에는 평범한 모델도 있습니다. 더 나은 질문은 어떤 모델이 귀하의 머신과 작업에 적합한지입니다.

다음 순서로 작업하세요. 먼저 GPU의 VRAM 또는 Apple Silicon Mac의 통합 메모리에서 빠른 메모리가 얼마나 있는지 확인합니다. 둘째, 컨텍스트를 위한 여유 공간을 두고 4비트 양자화로 메모리에 맞을 수 있는 가장 큰 모델 패밀리를 선택합니다. 셋째, 해당 패밀리의 무검열 변형(일반적인 합법 요청을 거부하지 않도록 훈련된 파인튜닝 또는 수정된 버전)을 선택합니다. 넷째, 자신의 프롬프트로 1시간 동안 테스트합니다. 이 테스트는 어떤 리더보드보다 더 많은 정보를 알려줍니다.

오픈 웨이트 모델에서 "무검열"의 의미

모델은 일반적으로 두 단계로 훈련됩니다. 베이스 모델은 방대한 텍스트 코퍼스에서 학습하고, 두 번째 단계의 지시 사항 튜닝은 요청을 따르고 일부 요청을 거부하도록 가르칩니다. 무검열 변형은 두 번째 단계를 변경하여 생성됩니다: 거부 응답이 제거된 데이터로 파인튜닝하거나, 모델이 거부 행동을 생성하지 않도록 가중치를 편집합니다. 커뮤니티 구성원들은 인기 있는 오픈 패밀리의 많은 변형을 게시합니다.

이로부터 두 가지 결론이 나옵니다. 무검열이 더 똑똑하다는 뜻은 아닙니다. 거부 반응이 제거되면 때때로 품질이 약간 떨어질 수 있으며, 기본 모델의 크기나 학습 데이터가 라벨보다 훨씬 중요합니다. 또한 무검열이 무법 상태라는 뜻은 아닙니다. 핵심은 모델이 강연하듯 지시하지 않아도 성인이 소설, 역할극 또는 연구를 진행할 수 있다는 점이며, 모든 것이 허용된다는 뜻은 아닙니다. 미성년자와 관련된 성적 콘텐츠는 엄격히 금지되며, 책임감 있는 호스트나 도구는 이를 명시합니다.

메모리 계산법

양자화는 각 가중치를 더 적은 비트로 저장합니다. 4비트 양자화에서 모델은 파라미터 10억 개당 약 0.5GB의 용량을 차지하며, 이는 대화 길이에 따라 증가하는 컨텍스트 캐시를 고려하기 전의 수치입니다. 이는 서로 다른 양자화 형식의 차이로 인해 보장이 아닌 대략적인 계획 수치입니다.

모델 크기4비트 시 예상 메모리일반적인 하드웨어
70억~80억약 5GB8GB GPU 또는 16GB RAM이 있는 노트북
130억~140억약 9GB12GB GPU
320억~340억약 20GB24GB GPU 또는 32GB 이상 Mac
70B약 40GB대형 GPU 두 개 또는 64GB 이상 Mac

컨텍스트는 숨겨진 비용입니다. 4,000토큰 채팅에 맞는 모델도 30,000토큰 이야기를 제공하면 메모리가 부족할 수 있습니다. 로컬 설정은 모델이 지원하는 것보다 훨씬 낮은 컨텍스트로 제한하는 경우가 많으며, 긴 컨텍스트는 생성 속도를 늦춥니다. 긴 대화나 큰 문서를 기억해야 하는 프로젝트라면 100,000토큰 창을 제공하는 호스팅 옵션과 비교할 때 이를 염두에 두세요.

내 컴퓨터에서 모델을 실행하기 위한 도구

시작하기 위해 수동으로 컴파일할 필요가 없습니다. 일반적인 선택지는 다음과 같습니다.

  • Ollama. 모델을 다운로드하고 제공하는 명령줄 도구입니다. 머신에서 OpenAI 호환 엔드포인트를 노출하여 기존 코드를 쉽게 연결할 수 있습니다.
  • LM Studio. 모델 브라우저, 채팅 창 및 로컬 서버 모드를 갖춘 데스크톱 앱입니다. 그래픽 인터페이스를 선호하는 경우 좋습니다.
  • llama.cpp. 이러한 도구들 뒤에 있는 C++ 엔진입니다. 양자화, CPU와 GPU 간 레이어 오프로딩, 컨텍스트 크기에 대한 가장 많은 제어를 제공하지만, 학습해야 할 플래그가 더 많습니다.
  • vLLM 및 유사한 서버. 여러 사용자를 동시에 처리하는 GPU 서버를 대상으로 합니다. 단일 데스크톱에는 과잉이지만, 자체 소규모 배포를 실행하는 경우 유용합니다.

이들 대부분은 양자화된 모델의 일반적인 형식인 GGUF 파일을 로드할 수 있습니다. 파일 이름에서 양자화 수준을 선택하세요: 낮은 숫자는 더 작고 빠르지만 정확도가 낮으며, 4비트가 일반적인 시작점입니다.

호스팅 API의 적합 영역과 비적합 영역

호스팅 API는 사용자의 하드웨어를 타인의 것으로 교환합니다. 이 서비스는 독립 제공자가 실행하고 합법적인 성인 사용에 대한 콘텐츠 거부 없이 답변하도록 조정된 하나의 오픈 웨이트 모델을 제공합니다. 이는 어떤 모델 벤더의 공식 API가 아니며, 모델 간 선택을 허용하는 라우터도 아닙니다.

호스팅을 선택해야 하는 이유

  • 구매, 냉각 또는 업데이트할 GPU가 필요 없습니다. 요청을 보내고 토큰을 받습니다.
  • 메모리 규모를 조정할 필요 없이 프롬프트와 완료를 합친 100,000토큰 컨텍스트 창.
  • 표준 OpenAI 인터페이스를 통한 스트리밍, 도구 호출 및 JSON 모드로, Base URL과 키만 변경하면 기존 SDK와 클라이언트가 작동합니다.
  • 사용량 기반 가격: 선불 크레딧에서 1M 입력 토큰당 $0.15, 1M 출력 토큰당 $0.50이며, 크레딧은 만료되지 않습니다.
  • 프롬프트는 학습에 사용되지 않습니다.

로컬에 머물러야 하는 이유

  • 디스크에 가중치 파일이 필요합니다. 호스팅 API는 이를 절대 제공하지 않습니다.
  • 오프라인으로 작업해야 하거나, 어떤 조건에서도 데이터가 머신을 떠나서는 안 되는 경우.
  • 여러 모델 중 자유롭게 선택하거나 자체 파인튜닝을 실행하려면 이 API가 적합하지 않습니다. 이 API는 단일 모델만 제공하며 텍스트 전용이며 파인튜닝을 지원하지 않습니다.
  • 적합한 하드웨어를 보유하고 있으며 사용량이 많아 로컬 토큰의 한계 비용이 거의 0에 가까운 경우입니다.

비용: 전력 및 하드웨어 대 토큰

장비를 고려하면 로컬은 무료가 아닙니다. 비교할 간단한 방법은 GPU를 구매하는 것이 토큰을 지불하는 것보다 이득이 되기 위해 생성해야 하는 토큰 수를 따져보는 것입니다.

호스팅 측의 산술은 쉽습니다. 50턴의 역할극 세션에서 턴당 2,000 입력 토큰과 400 출력 토큰을 사용하면 100,000 입력 토큰과 20,000 출력 토큰이 사용됩니다. 입력 비용은 0.1 x $0.15 = $0.015입니다. 출력 비용은 0.02 x $0.50 = $0.01입니다. 전체 세션 비용은 $0.025, 즉 2.5센트입니다.

해당 요금으로 $20의 크레딧은 800회의 세션 비용을 충당할 수 있습니다. 32B 모델을 실행할 수 있는 GPU는 $20보다 훨씬 비싸므로, 손익 분기점은 사용량에 따라 달라집니다. 가끔 사용하는 사용자에게는 호스팅이 더 유리합니다. 하루 종일 매일 텍스트를 생성하는 사용자에게는 로컬 하드웨어가 비용을 상쇄할 수 있으며, 이들에게 로컬이 더 나은 선택입니다. 전기 요금의 경우, GPU의 전력 소모량에 사용 시간을 곱하고 로컬 요금을 곱하면 됩니다. 우리는 전기 요금이 크게 다르기 때문에 이를 제시하지 않습니다.

가격 책정 페이지에는 현재 충전 금액과 보너스가 나열되어 있으며, 이는 $50에서 +5%, $200에서 +15%까지 증가합니다.

하나의 클라이언트로 둘 다 사용: Base URL로 전환

영구적으로 한쪽만 선택할 필요가 없습니다. Ollama와 이 API 모두 OpenAI 채팅 형식을 지원하므로 단일 스크립트로 둘 다 사용할 수 있습니다. 환경 변수 세 가지를 설정하면 코드 변경 없이 사용할 수 있습니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.uncensoredllmonline.com/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_KEY"),
)
model = os.getenv("LLM_MODEL", "uncensored")

resp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "Write the opening paragraph of a gothic mystery."}],
)
print(resp.choices[0].message.content)

로컬 러너로 테스트하려면 LLM_BASE_URL을 러너가 출력하는 주소(Ollama는 기본적으로 http://localhost:11434/v1를 사용함)로 설정하고, LLM_MODEL을 가져온 모델 이름으로 설정한 후 키에 임의의 값을 사용하세요. 이들을 설정 해제하면 스크립트는 uncensored 모델 ID로 호스팅 API와 통신합니다.

이 패턴을 사용하면 무료 로컬 8B 모델로 프로토타입을 만든 후 동일한 프롬프트로 호스팅 모델의 출력과 비교할 수 있습니다. 빠른 시작에는 지원되는 매개변수의 전체 목록이 있으며, 새 계정은 API 키 페이지에서 $0.50 무료 체험 크레딧을 청구하여 비용을 지불하지 않고 비교를 실행할 수 있습니다.

질문과 답변

8 GB VRAM에 가장 적합한 무검열 LLM은 무엇인가요?

4비트 양자화된 7~8B 파라미터 모델 패밀리의 Uncensored 파인튜닝이 일반적인 선택입니다. 파인튜닝 간 품질 차이는 모델 크기 라벨이 시사하는 것보다 크므로 자체 프롬프트로 두세 가지 변형을 시도해 보세요.

로컬 무검열 모델은 비공개인가요?

사용하는 도구가 텔레메트리를 전송하지 않는 한 프롬프트는 로컬로 실행하는 동안 귀하의 머신에 남아 있습니다. 설치한 특정 러너의 설정을 확인하세요.

이 API의 모델을 로컬에서 실행할 수 있나요?

아니요. 이 API는 호스팅된 엔드포인트를 통해 단일 모델만 제공하며 가중치를 배포하지 않습니다. 디스크에 파일이 필요한 경우 공개 저장소에서 오픈 웨이트 모델을 사용하세요.

호스팅된 모델은 로컬 모델처럼 큰 컨텍스트 캐시가 필요한가요?

그것은 제공업체 측에서 처리됩니다. 프롬프트와 완성을 합쳐 100,000개의 토큰을 처리할 수 있는 컨텍스트 창을 제공하며, 전송하고 수신하는 토큰에 대해서만 비용을 지불합니다.

무검열이 불법을 의미하나요?

아닙니다. 이는 합법적인 성인 요청을 거부하지 않도록 조정된 모델을 설명합니다. 미성년자가 관련된 콘텐츠는 이 서비스에서 절대 허용되지 않습니다.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기문서 읽기