대량 작업의 사고 토큰: effort, 상한, 단계별 예산

사고 토큰은 출력 토큰으로 청구되며, 보지 못하더라도 max_tokens에 포함됩니다. 따라서 큰 작업의 청구서는 모델이 얼마나 사고하는지에 달려 있고, 눈에 보이는 답변의 길이에만 달려 있지 않습니다. 중요한 두 가지 레버는 출력 상한과 작업 분할입니다. 대량 처리는 저렴한 모델로, 조립 단계만 더 강한 모델로 처리합니다.

에이전트가 10분 동안 실행되었는데 청구서가 작업보다 크다면, 여기를 먼저 확인하세요.

청구서에서 사고 토큰이 보이는 방식#

각 댓글에 대해 keep 또는 drop로 답하는 분류기를 생각해 봅시다. 눈에 보이는 답변은 한 단어이므로 약 20개의 출력 토큰을 예산으로 잡습니다. 모델이 먼저 추론하며 600개의 토큰을 쓴다고 가정합니다. 화면에는 20개의 토큰이 보이지만 620개에 대해 비용을 지불합니다.

Anthropic의 effort 페이지(2026년 11월 5일 확인)는 이를 명확히 설명합니다. 사고 내용이 반환되지 않더라도 사고는 max_tokens에 포함되며, max_tokens는 사고와 응답 텍스트를 합친 전체 출력에 대한 하드 한도입니다. 출력 측은 토큰당 가격이 더 높은 측이기도 하므로 이 점이 부담이 됩니다.

이를 40,000개의 댓글로 곱하면 보이지 않는 부분이 청구서의 대부분을 차지합니다. 요청의 양측 기본 사항은 입력 vs 출력 토큰을 참고하세요.

Effort: 예산이 아닌 다이얼#

Anthropic의 Messages API는 output_config.effort로 effort를 설정합니다. 값을 지정하지 않으면 모델의 기본값이 적용됩니다. 레벨은 max, xhigh, high, medium, low입니다. 대부분의 모델에서 기본값은 high이며, Claude Opus 5.5와 Claude Haiku 5.5는 기본값이 medium입니다.

같은 페이지의 세 가지 세부 사항을 기억해 둘 만합니다:

• Effort는 사고 여부와 관계없이 모든 출력 토큰에 적용됩니다. effort를 낮추면 도구 호출이 더 적고 더 간결해지며, 이는 에이전트에 중요합니다.
• low은 더 단순한 작업과 서브에이전트에 적합합니다.
• Effort는 행동 신호이지 엄격한 토큰 예산이 아닙니다. 모델을 유도할 뿐 숫자를 보장하지는 않습니다. 하드 한도는 max_tokens입니다.

따라서 effort는 모델이 얼마나 열심히 시도하는지를 조절하는 다이얼이고, 출력 상한은 울타리입니다. 사용 가능한 곳에서는 둘 다 원합니다. 사고가 왜 더 비싼지에 대한 쉬운 설명은 초보자용 버전인 추론 effort와 사고 토큰 설명을 참고하세요.

실제 파이프라인: 한 모델이 지휘하고 다른 모델이 대량을 처리#

AI 연구자이자 OpenAI 공동 창립자인 Andrej Karpathy는 2026년 10월 31일에 자신의 HN 비디오 파이프라인을 설명했습니다(게시물). 기본값인 Medium effort의 Claude Opus 5.5가 모든 Hacker News 댓글을 다운로드하고, YouTube 비디오를 추천하는 약 40,000개의 댓글로 좁힌 뒤, 150개 주제에 걸쳐 2007년부터 2026년까지의 6,454개 비디오로 사이트를 구축했습니다. Sonnet은 Claude Code 워크플로에서 댓글을 처리하여 스팸을 걸러내고 추천을 찾았습니다. 그의 설명에 따르면 이제 전체 작업에 약 2시간이 걸립니다.

이 게시물에는 토큰 수나 비용이 없으므로 가격에 대해 인용할 내용이 없습니다. 다만 보여주는 것은 구조입니다. 더 강한 모델이 medium effort로 최상단에 앉아 무엇을 만들지 결정하고, 더 저렴한 모델이 반복적인 부분을 처리합니다. 토큰이 어디로 가는지 주목하세요. 지휘는 크고 드문 몇 단계입니다. 필터링은 수만 개의 작고 동일한 단계입니다.

같은 분할은 어떤 모델 쌍에도 적용됩니다. 필터 프롬프트 자체가 필요하면 LLM으로 40K 댓글 필터링에 있고, 어떤 요청을 어떤 모델로 보낼지 결정하려면 모델 라우팅, 저렴한 것 먼저를 참고하세요.

대량 처리 추정#

다음은 Karpathy의 수치가 아닌 우리 자체 가정입니다. 댓글 40,000개, 각각 약 150개의 입력 토큰(지시문과 댓글)과 약 20개의 출력 토큰(레이블과 몇 단어)입니다.

• 입력: 40,000 × 150 = 6,000,000 토큰
• 출력: 40,000 × 20 = 800,000 토큰

DeepSeek-V4-Flash에서 이 처리는 $0.17입니다. 표는 우리가 제공하는 모든 모델에서 동일한 워크로드를 보여줍니다. 입력과 출력을 합산한 총액 기준으로 각 모델은 OpenRouter보다 저렴합니다.

이제 모델이 답변 전에 댓글당 600개의 토큰을 사고한다고 하면 항목당 620개의 출력 토큰이 되므로 40,000 × 620 = 24,800,000개의 출력 토큰입니다. DeepSeek-V4-Flash에서 같은 처리는 $2.57이 됩니다. 입력은 같지만 모델이 댓글당 600개의 토큰을 사고하면 출력 측은 31배로 커집니다. 그 사고가 가치가 있는지는 여러분의 평가가 판단할 일입니다. 한 단어짜리 유지/제거 결정이라면 더 낮은 레벨이나 상한으로 가장 먼저 테스트할 대상입니다.

직접 수치를 가지고 놀아 보세요. 요청당 토큰과 요청 수를 입력하면 계산기가 실시간 가격을 사용합니다.

오늘 바로 당길 수 있는 레버#

API마다 사고 제어 방식이 다르므로, 어디서나 통하는 방법을 소개합니다. 하드 상한, 짧은 답변 지시, 단계 분할입니다.

CheapTokens에서 대량 처리를 위한 최소 요청입니다. 기본 URL은 https://api.cheaptokens.dev/v1이고 모델 id는 문서에 있는 전체 id입니다:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

응답에서 usage.completion_tokens를 읽으세요. 그 숫자가 해당 요청의 출력 청구서입니다. 상한은 사고와 눈에 보이는 답변을 함께 제한합니다. finish_reason이 length이고 내용이 비어 있다면 답변이 나오기 전에 상한이 소진된 것이므로 상한을 올리거나 더 짧은 답변을 요청하세요. 몇 개의 댓글에서 usage.completion_tokens를 확인한 뒤 실제 최댓값 바로 위로 상한을 설정하세요. 상한과 정지 시퀀스 세부 사항은 출력 토큰 줄이기에 있고, 문장 중간 절단은 답변이 문장 중간에 멈추는 이유에 설명되어 있습니다.

DeepSeek-V4-Flash는 380K 컨텍스트로 답변당 최대 32,768개의 출력 토큰을 허용하므로 1,024의 상한은 한도가 아닌 선택입니다. GLM-5.3-Flash(출력 8,192, 컨텍스트 390K)와 MiniMax-M2.7(출력 8,192, 컨텍스트 180K)도 같은 패턴에 맞습니다. 단계별로 상한을 선택하세요.

전체 내용을 한 페이지에서 보려면 실시간 가격 표는 CheapTokens 가격에 있고, 요청 형식은 문서에 있습니다.

단계별 effort: 짧은 규칙#

대량 처리에서는 낮게 시작하고 한 번에 한 단계씩 올리세요. 가장 안전해 보이는 숫자가 아니라 여러분의 평가가 가치 있다고 말하는 숫자를 유지하세요. 강한 모델은 이미 필터링된 작은 집합을 보아야 하고, 저렴한 모델은 나머지 전부를 보아야 합니다.