블로그로 돌아가기

도구 및 통합가이드

AnythingLLM을 CheapTokens에 연결하기: Generic OpenAI 설정

AnythingLLM의 Generic OpenAI 제공자를 CheapTokens로 지정하세요: Base URL, 키, 전체 모델 id, 그리고 입력할 컨텍스트 윈도우와 Max Tokens.

작성자: CheapTokens Team 게시됨읽는 시간 5분

Generic OpenAI 제공자를 통해 CheapTokens에 연결된 AnythingLLM
이 페이지의 내용
  1. 제공자 설정 입력하기
  2. 두 한도가 중요한 이유
  3. AnythingLLM 외부에서 연결 확인하기
  4. 문서에 대한 질문 비용
  5. 작동하지 않을 때

AnythingLLM은 Generic OpenAI 제공자를 통해 CheapTokens에 연결할 수 있습니다. Base URL을 https://api.cheaptokens.dev/v1로 설정하고, API 키를 붙여넣고, 전체 모델 id를 입력한 다음, 모델의 실제 컨텍스트 윈도우와 Max Tokens를 입력하세요. 마지막 두 항목은 사람들이 건너뛰는 것인데, 긴 문서가 들어가는지와 답변이 잘리는지를 결정합니다.

AnythingLLM 자체 문서(Generic OpenAI 페이지, 2026년 11월 7일 확인, v1.19.0 배너 포함)는 이 제공자를 OpenAI 호환 LLM 제공자를 사용하는 방법으로 설명합니다. 또한 개발자 중심이라고 경고합니다. 잘못된 설정은 이상하게 동작하게 만들 수 있고, 모델 id는 엔드포인트가 제공하는 것과 정확히 일치해야 합니다. 그러니 정확하게 합시다.

제공자 설정 입력하기#

AnythingLLM의 LLM 설정을 열고 제공자로 Generic OpenAI를 선택하세요. 그런 다음 다섯 개 필드를 차례로 채우세요. 버전에 따라 레이블이 조금 다를 수 있으니 의미를 기준으로 하세요.

단계별로

다섯 개 필드, 순서대로

Base URL

전체 엔드포인트가 아니라 API 루트를 입력하세요: https://api.cheaptokens.dev/v1. 문서의 예시도 /v1로 끝나는 루트이며, AnythingLLM이 /chat/completions를 직접 추가합니다. 전체 경로를 붙여넣으면 요청이 잘못된 주소로 갑니다.

API key

CheapTokens 키를 붙여넣으세요. 아직 없다면 먼저 대시보드에서 만드세요. 비밀번호처럼 취급하세요: 스크린샷이나 공유 워크스페이스 노트에 넣지 마세요.

Chat model name

전체 id를 사용하세요. 예를 들어 deepseek-ai/DeepSeek-V4-Flash-0731 또는 zai-org/GLM-5.3-Flash입니다. 가격표에서 보는 짧은 이름은 API에서 허용되지 않습니다. 어떤 id인지 모르겠다면? GET /v1/models로 모델 목록 보기.

Model context window

AnythingLLM이 질문, 검색된 문서 청크, 채팅 기록으로 프롬프트를 만들 때 사용하는 예산입니다. 모델의 실제 윈도우를 입력하세요: DeepSeek-V4-Flash는 380000, GLM-5.3-Flash는 390000입니다.

Max Tokens

한 답변의 길이 상한입니다. AnythingLLM의 기본값은 1024입니다. DeepSeek-V4-Flash는 32768, GLM-5.3-Flash는 8192를 입력하세요.

AnythingLLM의 Base URL: 전체 엔드포인트 경로는 틀리고 API 루트가 맞습니다
/v1로 끝나는 API 루트를 붙여넣으세요; AnythingLLM이 /chat/completions를 직접 추가합니다

저장하고, 워크스페이스를 열고, 질문하세요. 임베딩(문서를 검색 가능한 청크로 바꾸는 부분)은 AnythingLLM에서 별도 설정이므로, 위 제공자는 어떤 모델이 답변을 작성하는지만 바꿉니다.

두 한도가 중요한 이유#

60페이지 계약서를 워크스페이스에 넣고 해지 조항 요약을 요청한다고 상상해 보세요. 기본값으로는 두 가지가 잘못됩니다. 입력한 컨텍스트 윈도우가 모델의 실제 윈도우보다 훨씬 작을 수 있어 AnythingLLM이 보내는 내용을 잘라냅니다. 그리고 Max Tokens가 1024에 있어서 긴 요약이 문장 중간에 멈춥니다.

해결책은 AnythingLLM에 모델에 대한 사실을 알려주는 것입니다:

모델 (id) 컨텍스트 윈도우 답변당 출력
DeepSeek-V4-Flash (deepseek-ai/DeepSeek-V4-Flash-0731) 380K 최대 32,768 토큰
GLM-5.3-Flash (zai-org/GLM-5.3-Flash) 390K 최대 8,192 토큰

유지할 만한 습관: Max Tokens는 상한이지 목표가 아닙니다. 짧은 질문은 여전히 짧은 답변을 받고, 모델이 실제로 작성한 토큰에만 비용을 지불합니다. 한도에 도달하면 무슨 일이 일어나는지 이해하고 싶다면, AI 답변이 문장 중간에 멈추는 이유에서 finish_reason과 max_tokens를 살펴보고, 컨텍스트 윈도우란 무엇인가는 입력 측면을 다룹니다.

AnythingLLM 문서는 또한 Max Tokens를 0으로 설정하면 출력 한도가 요청에서 빠진다고 말합니다. 명시적인 숫자가 추론하기 더 쉬우므로 하나 입력하는 편이 좋습니다.

AnythingLLM 외부에서 연결 확인하기#

채팅 창에 오류가 표시되면 문제가 키와 모델 id인지 AnythingLLM 내부인지 아는 것이 도움이 됩니다. API에 요청을 하나 직접 보내세요:

bash
curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

API는 OpenAI Chat Completions 호환이므로, 정상 응답에는 choices[0].message.content에 텍스트, finish_reason, 그리고 해당 요청의 토큰 수가 담긴 usage 블록이 있습니다. 이것을 받으면 키, Base URL, 모델 id는 정상이고, AnythingLLM에서 보이는 것은 위 설정에서 비롯된 것입니다. 엔드포인트에 대한 자세한 내용은 CheapTokens 문서에 있습니다.

문서에 대한 질문 비용#

문서 채팅은 입력이 많습니다: 모든 질문이 검색된 청크를 함께 가집니다. 약 600토큰씩 여섯 개 청크를 검색하고, 질문과 약간의 기록을 더해 약 4,000 입력 토큰에 400토큰 답변이라고 해 봅시다. DeepSeek-V4-Flash에서 이런 질문 하나는 $0.0001입니다. 다음은 200개 질문에 대한 동일 작업량을 모델별로, 옆에 OpenRouter 열과 함께 보여줍니다:

모델 요청당 200회 요청 OpenRouter, 200회 요청
GLM-5.3-Flash $0.000096 $0.0192 $0.0334
DeepSeek-V4-Flash $0.0001 $0.02 $0.0672
MiniMax-M2.7 $0.00026 $0.052 $0.624

요청당 입력 4,000개 및 출력 400개 토큰입니다. 100만 토큰당 가격은 현재 기준이며 당사 요금제에 따라 함께 변경됩니다. OpenRouter 열은 동일한 작업량에 대한 참고 가격을 보여줍니다.

입력과 출력을 합쳐 총계로 보면, 이 작업량에서 DeepSeek-V4-Flash가 OpenRouter보다 저렴합니다. 자신의 숫자로는 슬라이더를 드래그하세요: 질문당 토큰과 일일 질문 수만 있으면 됩니다.

비용 계산기

문서에 대한 하루치 질문

요청당 입력 토큰: 4,000 · 요청당 출력 토큰: 400 · 일일 요청 수: 50

모델일일월간
GLM-5.3-Flash$0.0048$0.144
DeepSeek-V4-Flash$0.005$0.15
MiniMax-M2.7$0.013$0.39

보내는 청크 수가 가장 큰 변수입니다. RAG 질문 비용은 그것에 따라 청구서가 어떻게 움직이는지 보여주고, 현재 요금은 가격 페이지에 있습니다.

작동하지 않을 때#

대부분의 실패는 네 가지 중 하나입니다. 증상을 원인과 맞추세요:

짝 맞추기

각 증상을 원인과 맞추기

  • 제공자가 요청을 거부하고 max_tokens에 대해 불평함GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY를 max_completion_tokens로 설정하고 AnythingLLM 재시작
  • 401 UnauthorizedAPI 키가 없거나, 잘못 입력되었거나, 공백과 함께 붙여넣어짐
  • 404 또는 "model not found"모델 id가 모델 목록의 전체 id가 아닌 짧은 이름임
  • 답변이 문장 중간에 멈춤Max Tokens가 여전히 기본값 1024임

GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY 옵션은 AnythingLLM 문서에서 나옵니다: 요청에서 한도를 담는 필드 이름을 바꿉니다. 401과 404에 대한 자세한 내용은 API 401 또는 404: 잘못된 키, base URL 또는 모델 id를 참조하세요.

다른 채팅 클라이언트를 사용하나요? 단계는 Open WebUI, LibreChat, Cherry Studio와 비슷합니다: OpenAI 호환 base URL 하나, 키 하나, 전체 모델 id 하나입니다.

태그: