थोक कार्य में थिंकिंग टोकन: प्रयास, कैप, चरण बजट

थिंकिंग टोकन आउटपुट टोकन के रूप में बिल किए जाते हैं, और वे max_tokens में गिने जाते हैं, भले ही आप उन्हें कभी न देखें। इसलिए एक बड़े काम का बिल इस बात पर निर्भर करता है कि मॉडल कितना सोचता है, न कि केवल इस पर कि उसका दृश्य उत्तर कितना लंबा है। दो महत्वपूर्ण लीवर हैं आउटपुट कैप और काम का विभाजन: थोक पास के लिए एक सस्ता मॉडल, असेंबली के लिए केवल एक मजबूत मॉडल।

यदि आपका एजेंट दस मिनट तक चला और बिल कार्य से बड़ा है, तो यह पहली जगह है जहाँ देखना चाहिए।

बिल पर थिंकिंग टोकन कैसा दिखता है#

एक क्लासिफायर लें जो प्रत्येक टिप्पणी के लिए keep या drop का उत्तर देता है। दृश्य उत्तर एक शब्द है; आइए इसके लिए लगभग 20 आउटपुट टोकन का बजट रखें। मान लें कि मॉडल पहले तर्क करता है और उसमें 600 टोकन खर्च करता है। आप स्क्रीन पर 20 टोकन देखते हैं और 620 का भुगतान करते हैं।

Anthropic का effort पेज (5 नवंबर 2026 को जाँचा गया) इस बारे में स्पष्ट है: थिंकिंग max_tokens में गिनी जाती है, भले ही थिंकिंग सामग्री वापस न की जाए, और max_tokens कुल आउटपुट पर एक कठोर सीमा है, थिंकिंग प्लस प्रतिक्रिया पाठ। आउटपुट पक्ष वह पक्ष भी है जिसकी प्रति टोकन कीमत अधिक है, यही कारण है कि यह चोट पहुँचाता है।

इसे 40,000 टिप्पणियों से गुणा करें और अदृश्य हिस्सा इनवॉइस का अधिकांश हिस्सा है। अनुरोध के दोनों पक्षों की मूल बातें जानने के लिए, इनपुट बनाम आउटपुट टोकन देखें।

प्रयास: एक डायल, बजट नहीं#

Anthropic का Messages API output_config.effort के साथ प्रयास सेट करता है। मान के बिना, मॉडल का डिफ़ॉल्ट लागू होता है। स्तर हैं max, xhigh, high, medium और low। अधिकांश मॉडलों पर डिफ़ॉल्ट high है; Claude Opus 5.5 और Claude Haiku 5.5 का डिफ़ॉल्ट medium है।

उसी पेज से तीन विवरण ध्यान में रखने योग्य हैं:

• प्रयास हर आउटपुट टोकन पर लागू होता है, थिंकिंग के साथ या बिना। कम प्रयास का अर्थ है कम और संक्षिप्त टूल कॉल, जो एजेंटों के लिए मायने रखता है।
• low सरल कार्यों और सबएजेंटों के लिए उपयुक्त है।
• प्रयास एक व्यवहारिक संकेत है, सख्त टोकन बजट नहीं। यह मॉडल को इंगित करता है; यह किसी संख्या का वादा नहीं करता। कठोर सीमा max_tokens है।

तो प्रयास वह डायल है कि मॉडल कितनी मेहनत करता है, और आउटपुट कैप बाड़ है। आप दोनों चाहते हैं जहाँ वे उपलब्ध हों। थिंकिंग अधिक खर्च क्यों करती है, इसकी सरल कहानी के लिए, एक शुरुआती संस्करण है: तर्क प्रयास और थिंकिंग टोकन समझाया गया।

एक वास्तविक पाइपलाइन: एक मॉडल निर्देश देता है, दूसरा थोक करता है#

AI शोधकर्ता और OpenAI के सह-संस्थापक Andrej Karpathy ने 31 अक्टूबर 2026 को अपनी HN वीडियो पाइपलाइन का वर्णन किया (पोस्ट)। Claude Opus 5.5 मध्यम प्रयास पर, इसका डिफ़ॉल्ट, ने सभी Hacker News टिप्पणियाँ डाउनलोड कीं, उन्हें लगभग 40,000 टिप्पणियों तक सीमित किया जो YouTube वीडियो की सिफारिश करती हैं, और 150 विषयों में 2007 से 2026 तक 6,454 वीडियो वाली एक साइट बनाई। Sonnet ने स्पैम फ़िल्टर करने और सिफारिशें खोजने के लिए Claude Code वर्कफ़्लो में टिप्पणियों पर दौड़ लगाई। उनके अनुसार अब पूरी चीज़ में लगभग दो घंटे लगते हैं।

पोस्ट में कोई टोकन गणना और कोई लागत नहीं दी गई है, इसलिए कीमत पर उद्धृत करने के लिए कुछ नहीं है। जो दिखता है वह आकार है: मजबूत मॉडल मध्यम प्रयास पर शीर्ष पर बैठता है और तय करता है कि क्या बनाना है; एक सस्ता मॉडल दोहराव वाले हिस्से को पीसता है। ध्यान दें कि टोकन कहाँ जाते हैं। निर्देश देना कुछ बड़े, दुर्लभ कदम हैं। फ़िल्टर करना दसियों हज़ार छोटे, समान कदम हैं।

यही विभाजन किसी भी मॉडल जोड़ी के साथ काम करता है। यदि आप फ़िल्टर प्रॉम्प्ट स्वयं चाहते हैं, तो यह LLM के साथ 40K टिप्पणियाँ फ़िल्टर करना में है; यह तय करने के लिए कि कौन सा अनुरोध किस मॉडल को जाए, मॉडल रूटिंग, सस्ता पहले देखें।

थोक पास का अनुमान लगाएं#

यह हमारी अपनी धारणा है, Karpathy के आंकड़े नहीं: 40,000 टिप्पणियाँ, प्रत्येक लगभग 150 इनपुट टोकन (निर्देश प्लस टिप्पणी) और प्रत्येक लगभग 20 आउटपुट टोकन (एक लेबल और कुछ शब्द)।

• इनपुट: 40,000 × 150 = 6,000,000 टोकन
• आउटपुट: 40,000 × 20 = 800,000 टोकन

DeepSeek-V4-Flash पर उस पास की लागत $0.17 है। तालिका हमारे द्वारा सेवा किए जाने वाले प्रत्येक मॉडल पर समान कार्यभार दिखाती है; कुल मिलाकर, इनपुट और आउटपुट को एक साथ गिनते हुए, प्रत्येक OpenRouter से सस्ता है।

अब मॉडल को उत्तर देने से पहले प्रति टिप्पणी 600 टोकन सोचने दें, तो प्रति आइटम 620 आउटपुट टोकन: 40,000 × 620 = 24,800,000 आउटपुट टोकन। DeepSeek-V4-Flash पर वही पास $2.57 हो जाता है। समान इनपुट, और यदि मॉडल प्रति टिप्पणी 600 टोकन सोचता है, तो आउटपुट पक्ष इकतीस गुना बढ़ जाता है। वह सोच इसके लायक है या नहीं, यह आपके अपने मूल्यांकन को कहना है; एक-शब्द रखें/हटाएं के लिए यह पहली चीज़ है जिसे निचले स्तर पर या कैप के साथ परखना चाहिए।

अपने स्वयं के आंकड़ों के साथ खेलें: प्रति अनुरोध टोकन और अनुरोधों की संख्या, और कैलकुलेटर लाइव कीमतों का उपयोग करता है।

आज आप जो लीवर खींच सकते हैं#

विभिन्न API विभिन्न थिंकिंग नियंत्रण प्रदान करते हैं, इसलिए यहाँ वे हैं जो हर जगह काम करते हैं: एक कठोर कैप, एक छोटा-उत्तर निर्देश और एक चरण विभाजन।

CheapTokens पर थोक पास के लिए एक न्यूनतम अनुरोध। बेस URL https://api.cheaptokens.dev/v1 है और मॉडल आईडी दस्तावेज़ों से पूर्ण है:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

प्रतिक्रिया में usage.completion_tokens पढ़ें: वह संख्या अनुरोध के लिए आपका आउटपुट बिल है। कैप थिंकिंग और दृश्य उत्तर को एक साथ बाड़ लगाता है। यदि finish_reason length है और सामग्री खाली है, तो उत्तर आने से पहले कैप खर्च हो गया: इसे बढ़ाएं, या छोटा उत्तर मांगें। कुछ टिप्पणियों पर usage.completion_tokens जांचें, फिर कैप को वास्तविक अधिकतम से थोड़ा ऊपर सेट करें। कैप-और-स्टॉप-सीक्वेंस विवरण आउटपुट टोकन काटें में हैं, और वाक्य के बीच में कटौती उत्तर वाक्य के बीच में क्यों रुकता है में समझाया गया है।

DeepSeek-V4-Flash 380K संदर्भ के साथ प्रति उत्तर अधिकतम 32,768 आउटपुट टोकन की अनुमति देता है, इसलिए 1,024 का कैप एक विकल्प है, सीमा नहीं। GLM-5.3-Flash (8,192 आउटपुट, 390K संदर्भ) और MiniMax-M2.7 (8,192 आउटपुट, 180K संदर्भ) उसी पैटर्न में फिट होते हैं। प्रति चरण कैप चुनें।

पूरी चीज़ एक पेज पर देखने के लिए, लाइव मूल्य तालिका CheapTokens मूल्य निर्धारण पर है, और अनुरोध प्रारूप दस्तावेज़ों में है।

प्रति चरण प्रयास: एक छोटा नियम#

थोक पास पर कम शुरू करें और एक बार में एक चरण बढ़ाएं। वह संख्या रखें जो आपके स्वयं के मूल्यांकन के अनुसार इसके लायक है, न कि वह जो सबसे सुरक्षित लगती है। मजबूत मॉडल को एक छोटा, पहले से फ़िल्टर किया गया सेट देखना चाहिए; सस्ते को बाकी सब कुछ देखना चाहिए।