Nemotron Bolt E4B নাকি হোস্টেড API? কনটেক্সট এবং কাজ অনুযায়ী বেছে নিন

যদি আপনার কাজ 64,000 টোকেনের মধ্যে ফিট হয় এবং আপনার GPU-তে ~4 GB মডেলের জন্য জায়গা থাকে, তাহলে NVIDIA-এর Nemotron 3.5 Bolt E4B আপনার নিজের মেশিনেই চালাতে পারবেন। যদি কাজের জন্য বড় উইন্ডো, দীর্ঘ উত্তর, বা আজই 20,000 আইটেম শেষ করতে হয়, তাহলে হোস্টেড মডেলই ছোট পথ। নিচে একটি টেবিল আছে যা আপনার কাজ অনুযায়ী সাজায়, এবং প্রতিটি সারির পেছনের হিসাব।

তুলনার হোস্টেড দিকটি CheapTokens মডেল পেজ-এর তিনটি মডেল ব্যবহার করে: DeepSeek-V4-Flash, GLM-5.3-Flash এবং MiniMax-M2.7।

NVIDIA যা প্রকাশ করেছে, এবং যা বাদ দিয়েছে#

Nemotron 3.5 Bolt E4B-এর জন্য NVIDIA-এর গবেষণা পেজ (প্রকাশিত ২৩ অক্টোবর ২০২৬, যাচাই ৫ নভেম্বর) একটি মডেলের বর্ণনা দেয় যা Gemma 4 E4B-এর উপর নির্মিত এবং llama.cpp-এর জন্য GGUF চেকপয়েন্ট, Q4_K_M কোয়ান্টাইজেশন হিসেবে সরবরাহ করা হয়। NVIDIA বলে এটি মাত্র 4 GB-তে ফিট হয়; যে VRAM পরিমাপ করা হয়েছে তা 3.1 থেকে 5.0 GB পর্যন্ত (NVIDIA-এর টেস্ট ওয়ার্কলোডে; সম্পূর্ণ 64K উইন্ডোসহ মেমরি ব্যবহার বেশি হবে, তাই নিজের কার্ডে যাচাই করুন)। ওয়েটগুলো Hugging Face-এ nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB হিসেবে আছে এবং Ollama, LM Studio এবং Unsloth-এর মাধ্যমেও আসে।

তিনটি তথ্য বেশিরভাগ সিদ্ধান্ত নির্ধারণ করে:

• কনটেক্সট: 64K টোকেন। NVIDIA স্পষ্ট করে যে উইন্ডোটি একসাথে সবকিছু ধরে রাখে: চ্যাট ইতিহাস, নির্দেশাবলী, টুল সংজ্ঞা এবং পুনরুদ্ধার করা টেক্সট।
• ভাষা: 35, একটি বেস মডেল থেকে যা 140-এর বেশি ভাষায় প্রি-ট্রেইন করা।
• গতি: NVIDIA-এর llama.cpp CUDA রানে (Q4_K_M, ব্যাচ সাইজ 1) 12 GB-এর একটি RTX 5070 3.5 GB VRAM ব্যবহার করেছে এবং প্রতি সেকেন্ডে 133.4 টোকেন তৈরি করেছে। 8 GB-এর একটি Jetson Orin Nano 4.2 GB ব্যবহার করেছে এবং প্রতি সেকেন্ডে 15.5 টোকেন তৈরি করেছে। উভয় সংখ্যাই NVIDIA-এর নিজস্ব টেস্ট ওয়ার্কলোড থেকে, তাই আপনারটি আলাদা হবে বলে আশা করুন।

পেজটিতে টুল-ইউজ স্কোরও (BFCL-v3 68.5, Tau2-Bench 55.1) এবং 64K-এ RULER 87.0 তালিকাভুক্ত। এগুলো ডেভেলপারের নিজস্ব বেঞ্চমার্ক: এগুলো বলে মডেলটি কীসের উপর পরীক্ষা করা হয়েছে, হোস্টেড মডেলের সাথে কেমন তুলনা করে তা নয়, তাই এই নিবন্ধে সেগুলো পাশাপাশি রাখা হয়নি।

পেজটি দুটি বিষয় বলে না: একটি একক উত্তর কত দীর্ঘ হতে পারে, এবং লাইসেন্স। এটির উপর কিছু তৈরি করার আগে Hugging Face মডেল কার্ডে উভয়ই পড়ুন।

এজেন্ট কাজ শুরু করলে 64K কত বড়?#

উইন্ডোকে একটি ডেস্ক হিসেবে ভাবুন। মডেল শুধু এখন যা ডেস্কে পড়ে আছে তা নিয়েই কাজ করতে পারে, এবং ইতিহাস, আপনার নির্দেশাবলী, টুল সংজ্ঞা এবং যেকোনো পুনরুদ্ধার করা টেক্সট সবাই একই ডেস্ক ভাগ করে। তাহলে 64K কতটা ডেস্ক?

এটি একটি ছোট উপন্যাস, তাই একটি চ্যাট, একটি ইমেল বা একটি অনুবাদ আরামে বসে। চাপ আসে এজেন্ট থেকে, কারণ প্রতিটি ধাপে তার টুল আউটপুট ডেস্কে ফেলে এবং কিছুই বের হয় না।

বাস্তব এজেন্টরা পুরনো ধাপ ছেঁটে বা সারসংক্ষেপ করে এর চারপাশে যায়। এটি কাজ করে, কিন্তু এটি লেখা এবং ডিবাগ করার অতিরিক্ত কোড। একই লুপের খরচের দিকটি এজেন্ট সেশন খরচ: GLM, DeepSeek বা MiniMax-এ 50 ধাপ-এ আছে।

আপনার কাজ সাজান: লোকাল বা হোস্টেড#

একটি বড় ওপেন মডেলের জন্য একই প্রশ্নের উত্তর DeepSeek লোকালে চালান বা API ব্যবহার করুন-এ দেওয়া আছে। 4 GB মডেলের জন্য উত্তর কাজের উপর নির্ভর করে, তাই আগে কাজ সাজান এবং পরে ইনস্টল করুন।

হোস্টেড কলামগুলো CheapTokens মডেল তালিকা থেকে। DeepSeek-V4-Flash-এর 380K কনটেক্সট, প্রতি উত্তরে 32,768 আউটপুট টোকেন পর্যন্ত এবং যেকোনো সময়ে এক দাম। GLM-5.3-Flash-এর 390K কনটেক্সট এবং 8,192 আউটপুট টোকেন পর্যন্ত। MiniMax-M2.7-এর 180K কনটেক্সট, 8,192 আউটপুট টোকেন পর্যন্ত, এবং API-এর মাধ্যমে এজেন্টিক ও কোডিং কাজের জন্য উপযুক্ত।

একটি সারি যা টেবিল ধরতে পারে না: যদি টেক্সট কখনো আপনার মেশিন ছেড়ে না যায়, তাহলে সেটি লোকালের পক্ষে সিদ্ধান্ত নেয়।

বাল্ক কাজ: ঘণ্টার পর ঘণ্টা GPU সময় বা ছোট বিল#

ধরুন আপনি 20,000 সাপোর্ট টিকিট ট্যাগ করেন। প্রতিটি প্রায় 600 টোকেন ইন এবং 50-টোকেন লেবেল আউট।

মোট: 20,000 × 600 = 12,000,000 ইনপুট টোকেন এবং 20,000 × 50 = 1,000,000 আউটপুট টোকেন।

NVIDIA-এর পরিমাপকৃত গতিতে সেই 1,000,000 টোকেন তৈরি করতে RTX 5070-এ 1,000,000 ÷ 133.4 = 7,496 সেকেন্ড (প্রায় 2.1 ঘণ্টা) এবং Jetson Orin Nano-তে 1,000,000 ÷ 15.5 = 64,516 সেকেন্ড (প্রায় 17.9 ঘণ্টা) লাগে। এটি শুধু জেনারেশন গণনা করে: 12 মিলিয়ন ইনপুট টোকেন পড়া এর উপর আসে, এবং কার্ডটি সারাক্ষণ যে বিদ্যুৎ খরচ করে তাও।

একই কাজের হোস্টেড দিক, বর্তমান দামে:

টেবিলটি প্রতিটি মডেলে কাজের দাম দেয়, একটি OpenRouter কলামসহ। মোট, ইনপুট ও আউটপুট একসাথে গণনা করলে, তাদের প্রত্যেকটি OpenRouter-এর চেয়ে সস্তা হয়। DeepSeek-V4-Flash-এ, উদাহরণস্বরূপ, 1,000,000 আউটপুট টোকেন প্রতি 1M-এ $0.10 হিসাবে বিল হয়।

আপনার কাজ সম্ভবত 20,000 টিকিট নয়। নিজের সংখ্যা বসান:

এখন আপনার কাছে উভয় দিক একই এককে আছে: আপনার মালিকানাধীন একটি মেশিনের ঘণ্টা বনাম একটি লাইভ টেবিলে ডলার।

দীর্ঘ নথি এবং দীর্ঘ উত্তর#

120,000 টোকেনের একটি চুক্তি বান্ডেল নিন। এটি 64,000-এর চেয়ে বড়, তাই একটি লোকাল Bolt E4B-এর বান্ডেলটি টুকরো করে কাটা, টুকরো টুকরো করে জিজ্ঞাসা করা এবং উত্তরগুলো জোড়া লাগানো প্রয়োজন হবে। 380K উইন্ডোতে এটি একটি অনুরোধ হিসেবেই যায়: 2,000-টোকেন উত্তরসহ বর্তমান দামে $0.002। কোন মডেল 100K-টোকেন নথিতে ফিট করে মডেল অনুযায়ী কনটেক্সট এবং আউটপুট সীমা পর্যালোচনা করে।

দীর্ঘ উত্তর অন্য সীমা। DeepSeek-V4-Flash এক উত্তরে 32,768 টোকেন পর্যন্ত লিখতে পারে, এবং একই মোটামুটি ¾ শব্দ প্রতি টোকেনে (একটি অনুমান) 32,768 × 0.75 = 24,576 শব্দ, যা একটি দীর্ঘ রিপোর্ট বা একটি সম্পূর্ণ কোড ফাইল। NVIDIA-এর পেজ Bolt E4B-এর জন্য কোনো সর্বোচ্চ দেয় না, তাই লোকালে 10,000-টোকেন আউটপুট পরিকল্পনা করার আগে, আপনার রানটাইম আসলে কী ফেরত দেয় তা পরীক্ষা করুন।

আকার অনুযায়ী রুট: একই কোড, দুটি গন্তব্য#

আপনাকে চিরকালের জন্য একটি বেছে নিতে হবে না। ছোট কাজের জন্য ছোট মডেল রাখুন এবং বড়গুলো হোস্টেড মডেলে পাঠান। যদি আপনার টুল ইতিমধ্যে একটি OpenAI-সামঞ্জস্যপূর্ণ এন্ডপয়েন্টের সাথে কথা বলে, তাহলে সুইচটি একটি বেস URL, একটি কী এবং একটি সম্পূর্ণ মডেল আইডি।

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60,000 সীমা 64K উইন্ডোর নিচে নির্দেশাবলী এবং উত্তরের জন্য জায়গা রাখে। কলটি কাজ করলে আপনি উত্তর টেক্সট দেখতে পাবেন, তারপর একটি usage অবজেক্ট যাতে prompt_tokens এবং completion_tokens থাকে: অনুরোধটির খরচ পেতে সেগুলোকে প্রাইসিং পেজ-এর দাম দিয়ে গুণ করুন। প্রথম-অনুরোধের ধাপগুলো ডকস-এ আছে।

টেবিলের যে সারিটি আপনার কাজের সাথে মেলে সেটি দিয়ে শুরু করুন। যদি এটি লোকাল বলে, GGUF ডাউনলোড করুন এবং কারও সংখ্যার উপর পরিকল্পনা করার আগে নিজের প্রতি সেকেন্ডে টোকেন পরিমাপ করুন।