大量ジョブにおける思考トークン：effort、上限、ステージ予算

思考トークンは出力トークンとして課金され、目に見えなくてもmax_tokensにカウントされます。つまり大きなジョブの請求額は、モデルがどれだけ考えるかによって決まり、目に見える回答の長さだけでは決まりません。重要なレバーは出力上限とジョブの分割です。大量処理には安価なモデルを使い、組み立てにだけ強力なモデルを使います。

エージェントが10分間動いて、請求額がタスクそのものより大きくなったなら、まずここを確認してください。

請求書上での思考トークンの見え方#

各コメントに対してkeepまたはdropを返す分類器を考えます。目に見える回答は1単語で、出力トークンは約20個と見積もります。モデルがまず推論し、それに600トークン費やすとします。画面には20トークンしか表示されませんが、支払うのは620トークン分です。

Anthropicのeffortページ（2026年11月5日確認）はこれを明示しています。思考内容が返されなくても思考はmax_tokensにカウントされ、max_tokensは思考と応答テキストを合わせた総出力に対する厳格な上限です。出力側はトークン単価が高い側でもあるため、これが痛手になります。

これを40,000件のコメントに掛けると、見えない部分が請求書の大半を占めます。リクエストの両側面の基本については、入力トークンと出力トークンを参照してください。

Effort：予算ではなくダイヤル#

AnthropicのMessages APIではoutput_config.effortでeffortを設定します。値を指定しない場合はモデルのデフォルトが適用されます。レベルはmax、xhigh、high、medium、lowです。ほとんどのモデルではデフォルトがhighで、Claude Opus 5.5とClaude Haiku 5.5はmediumがデフォルトです。

同じページから覚えておくべき3つの詳細があります。

• Effortは思考の有無にかかわらずすべての出力トークンに適用されます。低いeffortはツール呼び出しの回数と簡潔さにも影響し、これはエージェントにとって重要です。
• lowはより単純なタスクやサブエージェントに適しています。
• Effortは行動上のシグナルであり、厳密なトークン予算ではありません。モデルを促すだけで、数値を保証するものではありません。厳格な上限はmax_tokensです。

つまりeffortはモデルがどれだけ努力するかのダイヤルであり、出力上限はフェンスです。利用可能な場所では両方を使いたいところです。思考がなぜ高くつくのかの平易な説明には、初心者向けのバージョンがあります：推論effortと思考トークンの解説。

実際のパイプライン：1つのモデルが指示し、別のモデルが大量処理を行う#

AI研究者でOpenAI共同創業者のAndrej Karpathyは、2026年10月31日に自身のHN動画パイプラインについて説明しました（投稿）。Claude Opus 5.5をデフォルトのMedium effortで使い、すべてのHacker Newsコメントをダウンロードし、YouTube動画を推薦する約40,000件のコメントに絞り込み、2007年から2026年までの150トピックにわたる6,454本の動画を含むサイトを構築しました。SonnetはClaude Codeワークフローでコメントを処理し、スパムをフィルタリングして推薦を見つけました。彼の説明によれば、全体で現在約2時間かかります。

投稿にはトークン数もコストも記載されていないため、価格について引用できるものはありません。しかし示されているのは形です。強いモデルがmedium effortで最上位に位置し、何を構築するかを決めます。安価なモデルが反復的な部分を処理します。トークンがどこに流れるかに注目してください。指示は少数の大きく稀なステップです。フィルタリングは数万の小さく同一のステップです。

同じ分割はどのモデルの組み合わせでも機能します。フィルタ用のプロンプト自体が必要なら、LLMで40Kコメントをフィルタリングにあります。どのリクエストをどのモデルに送るかの判断については、モデルルーティング、まず安価にを参照してください。

大量処理の見積もり#

これはKarpathyの数値ではなく、当社独自の仮定です。40,000件のコメント、各約150入力トークン（指示＋コメント）、各約20出力トークン（ラベルと数語）。

• 入力：40,000 × 150 = 6,000,000トークン
• 出力：40,000 × 20 = 800,000トークン

DeepSeek-V4-Flashではこの処理に$0.17かかります。表は当社が提供するすべてのモデルで同じワークロードを示しており、入力と出力を合計すると、いずれもOpenRouterより安価です。

次に、モデルが回答前にコメントごとに600トークン考えるとすると、1件あたり620出力トークンになります。40,000 × 620 = 24,800,000出力トークンです。DeepSeek-V4-Flashでの同じ処理は$2.57になります。入力は同じで、モデルがコメントごとに600トークン考えるなら、出力側は31倍に膨らみます。その思考が価値があるかどうかはあなた自身の評価が決めることですが、1単語のkeep/drop判定なら、まず低いレベルまたは上限付きで試すべき最初の項目です。

自分の数値で試してみてください。リクエストあたりのトークン数とリクエスト数を使えば、計算機が最新価格で計算します。

今日から使えるレバー#

APIによって思考の制御方法は異なるため、どこでも機能するものを挙げます。厳格な上限、短い回答の指示、ステージ分割です。

CheapTokensでの大量処理の最小リクエストです。ベースURLはhttps://api.cheaptokens.dev/v1で、モデルIDはドキュメントにある完全なものです。

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

レスポンスのusage.completion_tokensを読んでください。その数値がリクエストの出力請求額です。上限は思考と目に見える回答をまとめて制限します。finish_reasonがlengthでコンテンツが空なら、回答が現れる前に上限を使い切っています。上限を上げるか、より短い回答を求めてください。いくつかのコメントでusage.completion_tokensを確認し、実際の最大値のすぐ上に上限を設定します。上限と停止シーケンスの詳細は出力トークンを削減に、文中での切断については回答が文中で止まる理由で説明しています。

DeepSeek-V4-Flashは380Kコンテキストで回答あたり最大32,768出力トークンを許容するため、1,024の上限は制限ではなく選択です。GLM-5.3-Flash（出力8,192、コンテキスト390K）とMiniMax-M2.7（出力8,192、コンテキスト180K）も同じパターンに当てはまります。ステージごとに上限を選んでください。

全体を1ページで見るには、最新の価格表がCheapTokensの価格にあり、リクエスト形式はドキュメントにあります。

ステージごとのeffort：短いルール#

大量処理では低く始め、一度に1ステージずつ上げてください。最も安全に聞こえる数値ではなく、自身の評価が価値があると言う数値を維持します。強いモデルは小さくすでにフィルタリングされたセットを見て、安価なモデルはそれ以外すべてを見るべきです。