AI সংবাদবিশ্লেষণ
DeepSeek DeepInfer ওপেন-সোর্স করেছে: এটি কী এবং কে সেলফ-হোস্ট করবেন
DeepSeek Apache-2.0-এর অধীনে DeepInfer প্রকাশ করেছে: V4.1-Flash-এর জন্য ইনফারেন্স কোড। কী অন্তর্ভুক্ত, কী হার্ডওয়্যার প্রয়োজন, এবং কখন API সহজতর পছন্দ।
এই পৃষ্ঠায়
২০২৬ সালের ২০ অক্টোবর DeepSeek GitHub-এ DeepInfer প্রকাশ করেছে (deepseek-), Apache License 2.0-এর অধীনে। এটি DeepSeek মডেলগুলোর জন্য ইনফারেন্স ফ্রেমওয়ার্ক। README অনুযায়ী, এটি DeepSeek-এর বড় পরিসরের প্রোডাকশন সার্ভিস চালায়। প্রকাশের তারিখটি @deepseek_ai পোস্ট থেকে নেওয়া, যা একটি Telegram ডাইজেস্টে উল্লেখ করা হয়েছে; README-তে নিজে কোনো তারিখ নেই।
DeepInfer কী#
DeepInfer হলো এমন কোড যা GPU বা NPU-তে দ্রুত একটি মডেল চালায়। এটি কোনো মডেল নয় এবং কোনো হোস্টেড সার্ভিসও নয়। একমাত্র সমর্থিত মডেল হলো DeepSeek-V4.1-Flash। ডিফল্টভাবে এটি প্রথম রানে চেকপয়েন্ট deepseek- Hugging Face ক্যাশে ডাউনলোড করে। আপনার কাছে ইতিমধ্যে ওয়েট থাকলে, লোকাল কপি ব্যবহার করতে DEEPINFER_ সেট করুন।
বক্সে কী আছে#
README-তে এই ফিচারগুলো তালিকাভুক্ত:
- অপ্টিমাইজড কার্নেল;
- লোড ব্যালান্সিংসহ ডেটা, কনটেক্সট ও এক্সপার্ট প্যারালেলিজম;
- কনফিডেন্স-ভিত্তিক ভেরিফিকেশনসহ স্পেকুলেটিভ ডিকোডিং;
- prefill-এর জন্য বাউন্ডেড স্লাইডিং-উইন্ডো রিপ্লে;
- অ্যাসিঙ্ক্রোনাস শিডিউলিং;
- ব্যাচ-ইনভ্যারিয়েন্ট ইনফারেন্স ও ডিটারমিনিস্টিক স্যাম্পলিং;
- স্ট্রাকচার্ড আউটপুট: regex, JSON schema ও grammar।
এর মধ্যে কয়েকটি ফিচার শুধুমাত্র NVIDIA-র জন্য।
কী অন্তর্ভুক্ত নয়#
এই রিলিজটি শুধুমাত্র অফলাইন ইনফারেন্স প্রদান করে। README বলছে, একটি সম্পূর্ণ ইনফারেন্স সার্ভিসের জন্য আরও প্রয়োজন একটি KV ক্যাশ সিস্টেম, prefill/decode ডিসঅ্যাগ্রিগেশন এবং লোড ব্যালান্সিং, এবং এগুলো এই রিলিজের অংশ নয়। তাই আপনি পাচ্ছেন ইঞ্জিন, সম্পূর্ণ প্রোডাকশন স্ট্যাক নয়। ব্যবহারকারীদের জন্য এটি একটি API-র পেছনে বসানো আপনার নিজের কাজ।
হার্ডওয়্যার ও সেটআপ#
টেবিলটি ডানদিকে স্ক্রোল করুন →
| প্রয়োজনীয়তা | বিবরণ |
|---|---|
| অ্যাক্সিলারেটর | NVIDIA SM100 GPU বা Huawei Ascend 950 NPU |
| OS | Linux |
| কম্পাইলার | GCC 13+ |
| Python | 3.12 |
| রানটাইম | CUDA 13 (NVIDIA) বা CANN 9.2 (Ascend) |
প্রকাশিত বেঞ্চমার্কগুলো (prefill ও decode Pareto চার্ট) মাপা হয়েছে prefill-এর জন্য ৪টি SM100 GPU এবং decode-এর জন্য ৬৪টি GPU-তে, প্রতিটি একটি scale-up ডোমেইনের মধ্যে। চার্টগুলো ছবি, তাই আমরা থ্রুপুট বা লেটেন্সি সংখ্যা উদ্ধৃত করছি না। DeepInfer কারও API মূল্য বদলায় কি না সে বিষয়েও আমাদের কোনো ডেটা নেই, তাই আমরা এমন কোনো দাবি করছি না।
আপনার কি এটি নিজে চালানো উচিত?#
সেলফ-হোস্টিং অর্থবহ যদি আপনার ইতিমধ্যে SM100 বা Ascend 950 হার্ডওয়্যার থাকে, ওয়েট ও ডিটারমিনিস্টিক বা ব্যাচ-ইনভ্যারিয়েন্ট আচরণের উপর সম্পূর্ণ নিয়ন্ত্রণ প্রয়োজন হয়, অথবা নিজের সার্ভিং লেয়ার তৈরি করতে চান। বেঞ্চমার্ক সেটআপ (decode-এর জন্য কয়েক ডজন GPU) দেখায় ফ্রেমওয়ার্কটি কীসের জন্য টিউন করা: বড় পরিসরের সার্ভিং।
আপনার অ্যাপে শুধু DeepSeek-পরিবারের আউটপুট দরকার হলে, এই ফ্রেমওয়ার্ক অনেক অবকাঠামো বহন করায়। একটি API কল করা সহজ: GPU নেই, CUDA বা CANN ভার্সন মেলানোর ঝামেলাও নেই।
একই ধরনের কাজের জন্য একটি API বিকল্প#
নিজের GPU ক্লাস্টার চালাতে না চাইলে, CheapTokens-এ MiniMax-M2.7 API-র মাধ্যমে চ্যাট, কোডিং ও এজেন্ট কাজ সামলায়, সাথে:
- সব মডেলের জন্য একটি ব্যালান্স এবং OpenAI ও Anthropic-সামঞ্জস্যপূর্ণ API;
- প্রতি উত্তরে সর্বোচ্চ ৮,১৯২ আউটপুট টোকেন এবং ১৮০K কনটেক্সট;
- প্রতি মডেলে নির্দিষ্ট মূল্য, পিক আওয়ার নেই;
- OpenRouter-এর চেয়ে মোটে সস্তা, ইনপুট ও আউটপুট একসাথে গণনা করা হয়।
প্রতি ১M টোকেনে বর্তমান মূল্য: ইনপুট $0.05, আউটপুট $0.15। উদাহরণ ওয়ার্কলোড: প্রতি রিকোয়েস্টে ২,০০০ ইনপুট ও ৫০০ আউটপুট টোকেন, ১,০০০ রিকোয়েস্ট:
| মডেল | ইনপুট $/১ মিলিয়ন | আউটপুট $/১ মিলিয়ন | প্রতি অনুরোধে | ১,০০০টি অনুরোধ | OpenRouter, ১,০০০টি অনুরোধ |
|---|---|---|---|---|---|
| GLM-5.3-Flash | $0.02 | $0.04 | $0.00006 | $0.06 | $0.121 |
| DeepSeek-V4-Flash | $0.015 | $0.10 | $0.00008 | $0.08 | $0.173 |
| MiniMax-M2.7 | $0.05 | $0.15 | $0.00018 | $0.175 | $1.20 |
প্রতি অনুরোধে ২,০০০ ইনপুট এবং ৫০০ আউটপুট টোকেন। প্রতি 1M টোকেনের দাম বর্তমান এবং আমাদের ট্যারিফের সাথে পরিবর্তিত হয়; OpenRouter কলামটি একই ওয়ার্কলোডের জন্য রেফারেন্স মূল্য দেখায়।
মডেলটিতে নিজে কী বদলেছে তা জানতে DeepSeek-V4.1-Flash-1017 নিবন্ধ দেখুন।
সারসংক্ষেপ#
DeepInfer প্রোডাকশন ইনফারেন্স কোডের একটি প্রকৃত ওপেন রিলিজ, তবে শুধুমাত্র অফলাইন এবং নির্দিষ্ট হার্ডওয়্যারে (NVIDIA SM100 বা Ascend 950) সীমাবদ্ধ। যে টিমের সেই হার্ডওয়্যার ও একটি সার্ভিং টিম আছে, তাদের কাছে এটি আকর্ষণীয় হবে। বেশিরভাগ ডেভেলপার API কল করতেই থাকবেন এবং নিজেদের টোকেন মিক্সের জন্য খরচ তুলনা করবেন।
