Nemotron Bolt E4B या होस्टेड API? संदर्भ और कार्य के आधार पर चुनें

यदि आपका कार्य 64,000 टोकन के भीतर फिट बैठता है और आपके GPU में ~4 GB मॉडल के लिए जगह है, तो NVIDIA का Nemotron 3.5 Bolt E4B इसे आपकी अपनी मशीन पर चला सकता है। यदि कार्य के लिए बड़ी विंडो, लंबा उत्तर, या आज ही 20,000 आइटम पूरे करने हैं, तो होस्टेड मॉडल छोटा रास्ता है। नीचे एक तालिका है जो आपके कार्य को वर्गीकृत करती है, और प्रत्येक पंक्ति के पीछे का गणित।

तुलना का होस्टेड पक्ष CheapTokens मॉडल पृष्ठ पर तीन मॉडलों का उपयोग करता है: DeepSeek-V4-Flash, GLM-5.3-Flash और MiniMax-M2.7।

NVIDIA ने क्या प्रकाशित किया, और क्या छोड़ दिया#

Nemotron 3.5 Bolt E4B के लिए NVIDIA का शोध पृष्ठ (23 अक्टूबर 2026 को जारी, 5 नवंबर को जाँचा गया) एक मॉडल का वर्णन करता है जो Gemma 4 E4B पर आधारित है और llama.cpp के लिए GGUF चेकपॉइंट, Q4_K_M क्वांटाइज़ेशन के रूप में भेजा गया है। NVIDIA का कहना है कि यह 4 GB जितना कम में फिट हो जाता है; जो VRAM इसने मापा वह 3.1 से 5.0 GB तक था (NVIDIA के परीक्षण कार्यभार पर; पूर्ण 64K विंडो के साथ मेमोरी उपयोग अधिक होगा, इसलिए अपने कार्ड पर जाँचें)। वेट्स Hugging Face पर nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB के रूप में हैं और Ollama, LM Studio और Unsloth के माध्यम से भी आते हैं।

तीन तथ्य अधिकांश विकल्पों का निर्धारण करते हैं:

• संदर्भ: 64K टोकन। NVIDIA स्पष्ट है कि विंडो सब कुछ एक साथ रखती है: चैट इतिहास, निर्देश, टूल परिभाषाएँ और पुनर्प्राप्त पाठ।
• भाषाएँ: 35, एक आधार मॉडल से जो 140 से अधिक पर पूर्व-प्रशिक्षित है।
• गति: NVIDIA के llama.cpp CUDA रन (Q4_K_M, बैच आकार 1) में 12 GB वाले RTX 5070 ने 3.5 GB VRAM का उपयोग किया और प्रति सेकंड 133.4 टोकन उत्पन्न किए। 8 GB वाले Jetson Orin Nano ने 4.2 GB का उपयोग किया और प्रति सेकंड 15.5 टोकन उत्पन्न किए। दोनों संख्याएँ NVIDIA के अपने परीक्षण कार्यभार से हैं, इसलिए अपेक्षा करें कि आपकी भिन्न होंगी।

पृष्ठ टूल-उपयोग स्कोर भी सूचीबद्ध करता है (BFCL-v3 68.5, Tau2-Bench 55.1) और 64K पर RULER 87.0। ये डेवलपर के अपने बेंचमार्क हैं: वे बताते हैं कि मॉडल का परीक्षण किस पर किया गया, न कि यह होस्टेड मॉडल के मुकाबले कैसा है, इसलिए यह लेख उन्हें एक साथ नहीं रखता।

पृष्ठ दो बातें नहीं बताता: एकल उत्तर कितना लंबा हो सकता है, और लाइसेंस। इस पर कुछ भी बनाने से पहले दोनों को Hugging Face मॉडल कार्ड पर पढ़ें।

जब एक एजेंट काम करना शुरू करता है तो 64K कितना बड़ा होता है?#

विंडो को एक डेस्क की तरह सोचें। मॉडल केवल उसी के साथ काम कर सकता है जो अभी उस पर रखा है, और इतिहास, आपके निर्देश, टूल परिभाषाएँ और कोई भी पुनर्प्राप्त पाठ सभी एक ही डेस्क साझा करते हैं। तो 64K कितना डेस्क है?

यह एक छोटा उपन्यास है, इसलिए एक चैट, एक ईमेल या एक अनुवाद आराम से बैठता है। दबाव एजेंटों से आता है, क्योंकि हर कदम अपना टूल आउटपुट डेस्क पर गिराता है और कुछ भी नहीं हटता।

वास्तविक एजेंट पुराने चरणों को ट्रिम या सारांशित करके इसके आसपास काम करते हैं। यह काम करता है, लेकिन यह लिखने और डीबग करने के लिए अतिरिक्त कोड है। उसी लूप का लागत पक्ष एजेंट सत्र लागत: GLM, DeepSeek या MiniMax पर 50 चरण में है।

अपने कार्य को वर्गीकृत करें: स्थानीय या होस्टेड#

एक बड़े ओपन मॉडल के लिए वही प्रश्न DeepSeek को स्थानीय रूप से चलाएँ या API का उपयोग करें में उत्तर दिया गया है। 4 GB मॉडल के लिए उत्तर कार्य पर निर्भर करता है, इसलिए पहले कार्य को वर्गीकृत करें और दूसरा इंस्टॉल करें।

होस्टेड कॉलम CheapTokens मॉडल सूची से आते हैं। DeepSeek-V4-Flash में 380K संदर्भ, प्रति उत्तर 32,768 आउटपुट टोकन तक और किसी भी समय एक कीमत है। GLM-5.3-Flash में 390K संदर्भ और 8,192 आउटपुट टोकन तक है। MiniMax-M2.7 में 180K संदर्भ, 8,192 आउटपुट टोकन तक है, और API के माध्यम से एजेंटिक और कोडिंग कार्य के लिए उपयुक्त है।

एक पंक्ति जो तालिका नहीं पकड़ सकती: यदि पाठ को कभी भी आपकी मशीन नहीं छोड़ना चाहिए, तो यह स्थानीय के पक्ष में तय हो जाता है।

बल्क जॉब: घंटों का GPU समय या छोटा बिल#

मान लें कि आप 20,000 सहायता टिकट टैग करते हैं। प्रत्येक में लगभग 600 टोकन इन और 50-टोकन लेबल आउट है।

कुल: 20,000 × 600 = 12,000,000 इनपुट टोकन और 20,000 × 50 = 1,000,000 आउटपुट टोकन।

NVIDIA की मापी गई गति पर उन 1,000,000 टोकन को उत्पन्न करने में RTX 5070 पर 1,000,000 ÷ 133.4 = 7,496 सेकंड (लगभग 2.1 घंटे) और Jetson Orin Nano पर 1,000,000 ÷ 15.5 = 64,516 सेकंड (लगभग 17.9 घंटे) लगते हैं। यह केवल जनरेशन गिनता है: 12 मिलियन इनपुट टोकन पढ़ना इसके अतिरिक्त है, और कार्ड जो बिजली पूरे समय जलाता है वह भी।

उसी कार्य का होस्टेड पक्ष, वर्तमान कीमतों पर:

तालिका प्रत्येक मॉडल पर कार्य की कीमत लगाती है, OpenRouter कॉलम के साथ। कुल मिलाकर, इनपुट और आउटपुट को एक साथ गिनते हुए, उनमें से प्रत्येक OpenRouter से सस्ता निकलता है। उदाहरण के लिए, DeepSeek-V4-Flash पर, 1,000,000 आउटपुट टोकन प्रति 1M $0.10 पर बिल किए जाते हैं।

आपका कार्य शायद 20,000 टिकट नहीं है। अपनी स्वयं की संख्याएँ डालें:

अब आपके पास दोनों पक्ष समान इकाइयों में हैं: आपके स्वामित्व वाली मशीन के घंटे बनाम लाइव तालिका पर डॉलर।

लंबे दस्तावेज़ और लंबे उत्तर#

120,000 टोकन का एक अनुबंध बंडल लें। यह 64,000 से बड़ा है, इसलिए स्थानीय Bolt E4B को बंडल को टुकड़ों में काटना होगा, टुकड़े-टुकड़े करके पूछना होगा, और उत्तरों को जोड़ना होगा। 380K विंडो पर यह एक अनुरोध के रूप में जाता है: 2,000-टोकन उत्तर के साथ वर्तमान कीमतों पर यह $0.002 है। कौन सा मॉडल 100K-टोकन दस्तावेज़ में फिट बैठता है मॉडल-दर-मॉडल संदर्भ और आउटपुट सीमाओं से गुजरता है।

लंबे उत्तर दूसरी सीमा हैं। DeepSeek-V4-Flash एक उत्तर में 32,768 टोकन तक लिख सकता है, और उसी मोटे ¾ शब्द प्रति टोकन (एक धारणा) पर 32,768 × 0.75 = 24,576 शब्द, जो एक लंबी रिपोर्ट या पूरी कोड फ़ाइल है। NVIDIA का पृष्ठ Bolt E4B के लिए कोई अधिकतम नहीं देता, इसलिए स्थानीय रूप से 10,000-टोकन आउटपुट की योजना बनाने से पहले, परीक्षण करें कि आपका रनटाइम वास्तव में क्या लौटाता है।

आकार के अनुसार रूट करें: वही कोड, दो गंतव्य#

आपको हमेशा के लिए एक चुनना नहीं है। छोटे कार्यों के लिए छोटा मॉडल रखें और बड़े कार्यों को होस्टेड मॉडल पर भेजें। यदि आपका टूल पहले से ही OpenAI-संगत एंडपॉइंट से बात करता है, तो स्विच एक बेस URL, एक कुंजी और एक पूर्ण मॉडल आईडी है।

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60,000 की सीमा 64K विंडो के तहत निर्देशों और उत्तर के लिए जगह छोड़ती है। जब कॉल काम करता है तो आप उत्तर पाठ देखते हैं, फिर usage ऑब्जेक्ट जिसमें prompt_tokens और completion_tokens होते हैं: अनुरोध की लागत प्राप्त करने के लिए उन्हें मूल्य निर्धारण पृष्ठ पर कीमतों से गुणा करें। पहले-अनुरोध के चरण दस्तावेज़ में हैं।

तालिका की उस पंक्ति से शुरू करें जो आपके कार्य से मेल खाती है। यदि यह स्थानीय कहती है, तो GGUF डाउनलोड करें और किसी के भी नंबरों के आधार पर योजना बनाने से पहले अपने स्वयं के प्रति सेकंड टोकन मापें।