Nemotron Bolt E4B یا ہوسٹڈ API؟ کانٹیکسٹ اور کام کے مطابق چنیں

اگر آپ کا کام 64,000 ٹوکنز کے اندر آتا ہے اور آپ کے GPU میں ~4 GB ماڈل کے لیے جگہ ہے، تو NVIDIA کا Nemotron 3.5 Bolt E4B اسے آپ کی اپنی مشین پر چلا سکتا ہے۔ اگر کام کے لیے بڑی ونڈو، طویل جواب، یا آج ہی 20,000 آئٹمز مکمل کرنے کی ضرورت ہو، تو ہوسٹڈ ماڈل مختصر راستہ ہے۔ نیچے ایک جدول ہے جو آپ کے کام کو ترتیب دیتا ہے، اور ہر قطار کے پیچھے کا حساب۔

موازنے کا ہوسٹڈ پہلو CheapTokens models page پر موجود تین ماڈلز استعمال کرتا ہے: DeepSeek-V4-Flash، GLM-5.3-Flash اور MiniMax-M2.7۔

NVIDIA نے کیا شائع کیا، اور کیا چھوڑ دیا#

Nemotron 3.5 Bolt E4B کے لیے NVIDIA کا ریسرچ صفحہ (23 اکتوبر 2026 کو جاری، 5 نومبر کو چیک کیا گیا) Gemma 4 E4B پر بنے ماڈل کی وضاحت کرتا ہے جو llama.cpp کے لیے GGUF چیک پوائنٹ، Q4_K_M کوانٹائزیشن کے طور پر فراہم کیا گیا ہے۔ NVIDIA کہتا ہے کہ یہ 4 GB جتنی کم جگہ میں فٹ ہو جاتا ہے؛ اس نے جو VRAM ناپا وہ 3.1 سے 5.0 GB تک تھا (NVIDIA کے ٹیسٹ ورک لوڈ پر؛ مکمل 64K ونڈو کے ساتھ میموری کا استعمال زیادہ ہوگا، لہٰذا اپنے کارڈ پر چیک کریں)۔ ویٹس Hugging Face پر nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB کے طور پر موجود ہیں اور Ollama، LM Studio اور Unsloth کے ذریعے بھی دستیاب ہیں۔

تین حقائق زیادہ تر انتخاب طے کرتے ہیں:

• کانٹیکسٹ: 64K ٹوکنز۔ NVIDIA واضح کرتا ہے کہ ونڈو سب کچھ ایک ساتھ رکھتی ہے: چیٹ ہسٹری، ہدایات، ٹول تعریفیں اور حاصل شدہ متن۔
• زبانیں: 35، ایک بیس ماڈل سے جو 140 سے زیادہ پر پری ٹرینڈ ہے۔
• رفتار: NVIDIA کے llama.cpp CUDA رنز (Q4_K_M، بیچ سائز 1) میں 12 GB والے RTX 5070 نے 3.5 GB VRAM استعمال کیا اور 133.4 ٹوکنز فی سیکنڈ پیدا کیے۔ 8 GB والے Jetson Orin Nano نے 4.2 GB استعمال کیا اور 15.5 ٹوکنز فی سیکنڈ پیدا کیے۔ دونوں اعداد NVIDIA کے اپنے ٹیسٹ ورک لوڈ سے ہیں، لہٰذا توقع رکھیں کہ آپ کے مختلف ہوں گے۔

صفحہ ٹول استعمال کے اسکور بھی بتاتا ہے (BFCL-v3 68.5، Tau2-Bench 55.1) اور 64K پر RULER 87.0۔ یہ ڈویلپر کے اپنے بینچ مارکس ہیں: یہ بتاتے ہیں کہ ماڈل کس چیز پر ٹیسٹ کیا گیا، نہ کہ وہ ہوسٹڈ ماڈل کے مقابلے میں کیسا ہے، لہٰذا یہ مضمون انہیں آمنے سامنے نہیں رکھتا۔

صفحہ دو چیزیں نہیں بتاتا: ایک جواب کتنا طویل ہو سکتا ہے، اور لائسنس۔ اس پر کچھ بنانے سے پہلے دونوں Hugging Face ماڈل کارڈ پر پڑھیں۔

ایجنٹ کے کام شروع کرنے پر 64K کتنا بڑا ہے؟#

ونڈو کو ایک میز سمجھیں۔ ماڈل صرف اس چیز کے ساتھ کام کر سکتا ہے جو اس وقت میز پر پڑی ہے، اور ہسٹری، آپ کی ہدایات، ٹول تعریفیں اور کوئی بھی حاصل شدہ متن سب ایک ہی میز شیئر کرتے ہیں۔ تو 64K کتنی میز ہے؟

یہ ایک مختصر ناول ہے، لہٰذا ایک چیٹ، ای میل یا ترجمہ آرام سے آ جاتا ہے۔ دباؤ ایجنٹس سے آتا ہے، کیونکہ ہر مرحلہ اپنا ٹول آؤٹ پٹ میز پر گرا دیتا ہے اور کچھ باہر نہیں جاتا۔

حقیقی ایجنٹس پرانے مراحل کو تراش کر یا خلاصہ کر کے اس سے نمٹتے ہیں۔ یہ کام کرتا ہے، لیکن یہ لکھنے اور ڈی بگ کرنے کے لیے اضافی کوڈ ہے۔ اسی لوپ کا لاگت کا پہلو Agent session cost: 50 steps on GLM, DeepSeek or MiniMax میں ہے۔

اپنا کام ترتیب دیں: لوکل یا ہوسٹڈ#

بڑے اوپن ماڈل کے لیے یہی سوال Run DeepSeek locally or use an API میں جواب دیا گیا ہے۔ 4 GB ماڈل کے لیے جواب کام پر منحصر ہے، لہٰذا پہلے کام ترتیب دیں اور بعد میں انسٹال کریں۔

ہوسٹڈ کالمز CheapTokens ماڈل فہرست سے ہیں۔ DeepSeek-V4-Flash کا کانٹیکسٹ 380K، فی جواب 32,768 آؤٹ پٹ ٹوکنز تک اور کسی بھی وقت ایک قیمت ہے۔ GLM-5.3-Flash کا کانٹیکسٹ 390K اور 8,192 آؤٹ پٹ ٹوکنز تک ہے۔ MiniMax-M2.7 کا کانٹیکسٹ 180K، 8,192 آؤٹ پٹ ٹوکنز تک ہے، اور API کے ذریعے ایجنٹک اور کوڈنگ کام کے لیے موزوں ہے۔

ایک قطار جو جدول نہیں دکھا سکتا: اگر متن کبھی آپ کی مشین سے باہر نہیں جانا چاہیے، تو یہ لوکل کے حق میں فیصلہ کر دیتا ہے۔

بلک کام: گھنٹوں کی GPU وقت یا چھوٹا بل#

فرض کریں آپ 20,000 سپورٹ ٹکٹس ٹیگ کرتے ہیں۔ ہر ایک تقریباً 600 ٹوکنز اندر اور 50 ٹوکنز کا لیبل باہر ہے۔

کل: 20,000 × 600 = 12,000,000 ان پٹ ٹوکنز اور 20,000 × 50 = 1,000,000 آؤٹ پٹ ٹوکنز۔

NVIDIA کی ناپی گئی رفتار پر وہ 1,000,000 ٹوکنز پیدا کرنے میں RTX 5070 پر 1,000,000 ÷ 133.4 = 7,496 سیکنڈ (تقریباً 2.1 گھنٹے) اور Jetson Orin Nano پر 1,000,000 ÷ 15.5 = 64,516 سیکنڈ (تقریباً 17.9 گھنٹے) لگتے ہیں۔ یہ صرف جنریشن گنتا ہے: 12 ملین ان پٹ ٹوکنز پڑھنا اس کے علاوہ ہے، اور کارڈ جو بجلی پورے وقت جلاتا ہے وہ بھی۔

اسی کام کا ہوسٹڈ پہلو، موجودہ قیمتوں پر:

جدول ہر ماڈل پر کام کی قیمت لگاتا ہے، ایک OpenRouter کالم کے ساتھ۔ مجموعی طور پر، ان پٹ اور آؤٹ پٹ ملا کر، ان میں سے ہر ایک OpenRouter سے سستا نکلتا ہے۔ مثال کے طور پر DeepSeek-V4-Flash پر، 1,000,000 آؤٹ پٹ ٹوکنز $0.10 فی 1M پر بل کیے جاتے ہیں۔

آپ کا کام غالباً 20,000 ٹکٹس نہیں ہے۔ اپنے اعداد ڈالیں:

اب آپ کے پاس دونوں پہلو ایک ہی اکائیوں میں ہیں: آپ کی ملکیت کی مشین کے گھنٹے بمقابلہ لائیو جدول پر ڈالر۔

طویل دستاویزات اور طویل جوابات#

120,000 ٹوکنز کا ایک کنٹریکٹ بنڈل لیں۔ یہ 64,000 سے بڑا ہے، لہٰذا لوکل Bolt E4B کو بنڈل ٹکڑوں میں کاٹنا، ٹکڑا ٹکڑا پوچھنا، اور جوابات جوڑنے پڑیں گے۔ 380K ونڈو پر یہ ایک درخواست کے طور پر چلا جاتا ہے: 2,000 ٹوکنز کے جواب کے ساتھ موجودہ قیمتوں پر یہ $0.002 ہے۔ Which model fits a 100K-token document کانٹیکسٹ اور آؤٹ پٹ حدود کو ماڈل بہ ماڈل دیکھتا ہے۔

طویل جوابات دوسری حد ہیں۔ DeepSeek-V4-Flash ایک جواب میں 32,768 ٹوکنز تک لکھ سکتا ہے، اور اسی موٹے ¾ لفظ فی ٹوکن (ایک مفروضہ) پر 32,768 × 0.75 = 24,576 الفاظ، جو ایک طویل رپورٹ یا پوری کوڈ فائل ہے۔ NVIDIA کا صفحہ Bolt E4B کے لیے کوئی زیادہ سے زیادہ نہیں دیتا، لہٰذا لوکل طور پر 10,000 ٹوکنز کے آؤٹ پٹ کی منصوبہ بندی سے پہلے آزمائیں کہ آپ کا رن ٹائم واقعی کیا واپس کرتا ہے۔

سائز کے مطابق روٹ کریں: وہی کوڈ، دو منزلیں#

آپ کو ہمیشہ کے لیے ایک چننا نہیں ہے۔ چھوٹے ماڈل کو چھوٹے کاموں کے لیے رکھیں اور بڑے کام ہوسٹڈ ماڈل کو بھیجیں۔ اگر آپ کا ٹول پہلے سے OpenAI-مطابق اینڈ پوائنٹ سے بات کرتا ہے، تو سوئچ ایک بیس URL، ایک کلید اور مکمل ماڈل آئی ڈی ہے۔

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60,000 کی حد 64K ونڈو کے نیچے ہدایات اور جواب کے لیے جگہ چھوڑتی ہے۔ جب کال کام کرتی ہے تو آپ جواب کا متن دیکھتے ہیں، پھر usage آبجیکٹ جس میں prompt_tokens اور completion_tokens ہیں: درخواست کی لاگت جاننے کے لیے انہیں pricing page کی قیمتوں سے ضرب دیں۔ پہلی درخواست کے مراحل docs میں ہیں۔

جدول کی اس قطار سے شروع کریں جو آپ کے کام سے میل کھاتی ہے۔ اگر وہ لوکل کہتی ہے، تو GGUF ڈاؤن لوڈ کریں اور کسی کے اعداد کے گرد منصوبہ بندی سے پہلے اپنے ٹوکنز فی سیکنڈ ناپیں۔