ওপেন ওয়েট কী? 2-bit এবং 4-bit কোয়ান্টাইজেশন ব্যাখ্যা

আপনি একটি মডেল ঘোষণা খুলে UD-Q2_K_XL নামের একটি ফাইলের পাশে "open weights" দেখতে পান। সংক্ষিপ্ত উত্তর: open weights মানে ডেভেলপার মডেলের ফাইলগুলো প্রকাশ করেছেন, তাই যে কেউ সেগুলো ডাউনলোড করে চালাতে পারেন। 2-bit মানে ভেতরের প্রতিটি সংখ্যা মাত্র দুই বিট দিয়ে সংরক্ষণ করা হয়: ফাইলটি অনেক ছোট হয় এবং মডেলটি একটু ঝাপসা হয়। আপনি যদি ডাউনলোড এড়িয়ে যেতে চান, তাহলে API-এর মাধ্যমে মডেল কল করতে পারেন; CheapTokens ডকুমেন্টেশন প্রথম অনুরোধটি দেখায়।

নিচের উদাহরণটি বাস্তব। MiniMax-M3.1-Flash-এর জন্য Unsloth-এর মডেল পেজে (তারিখহীন; ২৭ অক্টোবর ২০২৬-এ যাচাই করা) 129.4 GB থেকে 259.1 GB পর্যন্ত GGUF ফাইল তালিকাভুক্ত রয়েছে, যে মডেলটি আমরা M3.1 Flash লঞ্চ পোস্টে কভার করেছি। এখানে প্রতিটি সাইজ এবং মেমরি সংখ্যা সেই পেজ থেকেই নেওয়া।

যে শব্দগুলো বারবার দেখছেন#

৪২৮ বিলিয়ন ডায়াল সহ একটি মিক্সিং ডেস্কের কথা ভাবুন। প্রশিক্ষণ প্রতিটি ডায়াল সামান্য ঘুরিয়ে দেয় যতক্ষণ না আউটপুট সঠিক শোনায়। সমস্ত ডায়ালের চূড়ান্ত অবস্থানই মডেলের ওয়েট। সেই তালিকা প্রকাশ করলে আপনি একটি ওপেন-ওয়েট মডেল পেয়ে যান; নিজের সার্ভারে রাখলে প্রবেশের একমাত্র উপায় API।

নতুনদের জন্য দুটি ফাঁদ। "ওপেন-ওয়েট" স্বয়ংক্রিয়ভাবে "যেকোনো ব্যবহারের জন্য বিনামূল্যে" নয়: লাইসেন্সই নির্ধারণ করে, এবং Unsloth-এর পেজে তা উল্লেখ নেই, তাই বাণিজ্যিক কিছু তৈরির আগে মডেল কার্ড (Hugging Face-এ MiniMaxAI/MiniMax-M3.1-Flash) পড়ুন। আর "ডাউনলোড করতে বিনামূল্যে" মানে "চালাতে বিনামূল্যে" নয়, যা পরের অংশগুলো দেখায়।

কেন একটি মডেল ১৩০–২৬০ GB ডাউনলোড#

সেই ৪২৮ বিলিয়ন ওয়েটের প্রতিটি একটি সংখ্যা, এবং সংখ্যা জায়গা নেয়। নিয়ম হলো গণনা × বিট ÷ ৮ = বাইট। পড়ার আগে চেষ্টা করুন।

এখন বড় করুন। প্রতি ওয়েটে ২ বিট হলেও, ৪২৮ × ২ ÷ ৮ = ১০৭ GB পুরো মডেলের ন্যূনতম সীমা। প্রকৃত ২-বিট ফাইল ১৪৩.৯ GB, সীমার কিছুটা উপরে, তাই ফাইলের নামে বিট সংখ্যা সঠিক গণনার বদলে একটি লেবেল।

"23B সক্রিয়" সংখ্যাটি গতির বিষয়, সংরক্ষণের নয়। প্রতি টোকেনে মডেলের কেবল একটি অংশ কাজ করে, যা এটিকে দ্রুত করে, কিন্তু অংশটি টোকেন থেকে টোকেনে বদলায়, তাই সমস্ত ৪২৮B ওয়েট লোড করে অপেক্ষায় রাখতে হয়।

2-bit এবং 4-bit আসলে কী করে#

একটি স্কেলের কথা ভাবুন। বিট নির্ধারণ করে এতে কত দাগ আছে: ২ বিটে ৪টি দাগ, ৪ বিটে ১৬টি, ৮ বিটে ২৫৬টি, এবং সাধারণ ১৬ বিটে ৬৫,৫৩৬টি। কোয়ান্টাইজেশন প্রতিটি ওয়েটকে নিকটতম দাগে রাউন্ড করে। কম দাগ মানে ছোট ফাইল এবং প্রতিটি সংখ্যায় বড় রাউন্ডিং ত্রুটি।

এখানে মডেলের জন্য Unsloth-এর লাইনআপ, এক সেশনের জন্য 16K কনটেক্সটে প্রয়োজনীয় মেমরি (RAM প্লাস VRAM) সহ। সাইজ দশমিক GB।

একটি নাম পড়া: UD-Q2_K_XL প্রায় ২ বিটে একটি Unsloth Dynamic বিল্ড; অঙ্কটি স্তর এবং অক্ষরগুলো ভ্যারিয়েন্ট। অঙ্ক দিয়ে গণনা করবেন না। ৮-বিট ফাইল ২-বিটের মাত্র প্রায় ১.৮ গুণ (259.1 ÷ 143.9 ≈ 1.8), ৪ গুণ নয়। ডাউনলোড পেজ থেকে সাইজ পড়ুন।

২ বিটে আপনি কী হারান#

এটি একটি ছবি ছোট JPEG হিসেবে সংরক্ষণের সাথে তুলনা করুন: বেশিরভাগ ছবি টিকে থাকে, এবং ক্ষতি সূক্ষ্ম বিবরণে দেখা যায়। Unsloth জানায় যে এর ২-বিট ফাইল (143.9 GB) সাতটি বিভাগে মূল মডেলের সাথে 91.5% ভারিত সামঞ্জস্য পায়: কোডিং, গণিত, চ্যাট, টুলস, বহুভাষিক, যুক্তি এবং এজেন্টিক।

সংখ্যাটি সাবধানে পড়ুন। এটি Unsloth-এর নিজস্ব পরিমাপ, এবং পেজে বেসলাইন বা ওয়েটিং স্পষ্ট নয়, তাই এটি একটি মোটামুটি নির্দেশিকা হিসেবে নিন, স্বাধীন পরীক্ষা নয়। সামঞ্জস্যও নির্ভুলতা নয়: এটি বলে ছোট ফাইলটি বড়টির মতো কতটা আচরণ করে, কোনটি কতবার সঠিক তা নয়। ছোট পার্থক্যগুলো দীর্ঘ ধাপের শৃঙ্খলে জমা হতে পারে, যেমন একটি এজেন্ট বিশটি টুল কল চালায়, তাই নির্ভর করার আগে আপনার নিজের কাজে একটি কোয়ান্ট চেষ্টা করুন। উচ্চতর স্তর মূলের কাছাকাছি থাকে এবং বেশি মেমরি খরচ করে।

ডাউনলোড নাকি API কল?#

ধরুন ঘোষণা পড়ে আপনি মডেলটি চেষ্টা করতে চান। আপনার সাথে মিলে যায় এমন লাইন বেছে নিন।

তৃতীয় লাইনের জন্য, এটি কেমন লাগে দেখতে একটি অনুরোধই যথেষ্ট। এটি DeepSeek-V4-Flash-এ যায়, যার 380K কনটেক্সট উইন্ডো রয়েছে এবং দিনের যেকোনো সময় একই দামে 32,768 টোকেন পর্যন্ত উত্তর দেয়:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "In two sentences: what does open-weight mean?"}], "max_tokens": 200}'

উত্তর choices[0].message.content-এ ফিরে আসে, এবং usage ফিল্ড বলে আপনি কত টোকেনের জন্য অর্থ দিয়েছেন। টোকেন কী তা নিশ্চিত নন? সহজ ইংরেজি ব্যাখ্যা পাঁচ মিনিট নেয়। MiniMax-M2.7 একইভাবে উপলব্ধ, 180K কনটেক্সট উইন্ডো এবং প্রতি উত্তরে 8,192 টোকেন পর্যন্ত। উভয়ই OpenAI/Anthropic-সামঞ্জস্যপূর্ণ API ব্যবহার করে, এবং একটি ব্যালেন্স সব মডেল কভার করে।

বিলে এটি কেমন দেখায়? ধরুন একটি ছোট সাপোর্ট বট দিনে ২,০০০ অনুরোধ পাঠায়, প্রতিটিতে ১,৫০০ টোকেন ইন এবং ৫০০ আউট। MiniMax-M2.7-এ এমন একটি অনুরোধের খরচ $0.00015। এখানে প্রতিটি মডেলের পুরো দিন, OpenRouter-এর পাশে:

সামগ্রিকভাবে, ইনপুট এবং আউটপুট একসাথে গণনা করলে, CheapTokens OpenRouter-এর চেয়ে সস্তা। প্রতিটি মডেলের বর্তমান দাম প্রাইসিং পেজে আছে।

আপনার যদি হার্ডওয়্যার থাকে এবং গতি ও চলমান খরচ তুলনা করতে চান, DeepSeek লোকালে চালান বা API ব্যবহার করুন তা দেখায়। এবং শীঘ্রই আবার এই শব্দগুলো আশা করুন: Kimi K3.1 Pro-এর ওপেন ওয়েট ৪ নভেম্বর প্রকাশিত হবে, যেমন আমাদের লঞ্চ পোস্ট ব্যাখ্যা করে।