DeepSeek লোকালি চালাবেন নাকি API ব্যবহার করবেন? হার্ডওয়্যার, গতি, খরচ

সম্ভবত না, যদি না আপনার 128 GB RAM বা Mac Studio-শ্রেণির মেশিন থাকে, অথবা প্রতিটি টোকেন নিজের ডিস্কে রাখার কারণ থাকে। শুধু একটি DeepSeek V4-Flash ফাইলই প্রায় 100 GB, এবং একটি কমিউনিটি গাইড জানাচ্ছে যে দামি হার্ডওয়্যারেও প্রায় 6–10 টোকেন প্রতি সেকেন্ড পাওয়া যায়। বেশিরভাগ অ্যাপ ও এজেন্ট লুপের জন্য ছোট পথটি হলো OpenAI ক্লায়েন্টকে একটি হোস্টেড API-তে নির্দেশ করা: আপনি base_url এবং কী পরিবর্তন করেন, কোডে আর কিছুই নয়।

নিচে: পাঁচ মিনিটে নিজের মেশিন কীভাবে যাচাই করবেন, কী গতি আশা করবেন, এবং একটি বাস্তব ওয়ার্কলোডের API-তে খরচ কত।

DeepSeek কি আপনার মেমরিতে ফিট হবে?#

এখানে দেওয়া আকারগুলো DeepSeek লোকালি চালানোর একটি কমিউনিটি গাইড থেকে নেওয়া (GitHub-এ deepseek-local-guide-ru, 18 অংশ, CC BY 4.0, 22 অক্টোবর 2026-এ পড়া)। এটি অনানুষ্ঠানিক এবং DeepSeek-এর সাথে সম্পৃক্ত নয়। গাইডের নিজস্ব পৃষ্ঠাগুলো আকার নিয়ে পরস্পরের সাথে পুরোপুরি মেলে না, তাই 100 GB ডাউনলোড শুরু করার আগে Hugging Face মডেল কার্ডে ফাইলের আকার নিশ্চিত করুন।

গাইড অনুসারে, DeepSeek V4-Flash-0731-এ 284B প্যারামিটার আছে, যার মধ্যে প্রতি টোকেনে 13B সক্রিয়। ফাইলগুলো:

মডেলকে পুরোপুরি ভিডিও মেমরিতে থাকতে হয় না। llama.cpp এক্সপার্ট লেয়ারগুলো সিস্টেম RAM-এ রাখতে পারে, কিন্তু গাইডের নিয়মটি সোজাসাপ্টা: একটি 24 GB GPU-এর পাশে 128 GB RAM দরকার।

ধরুন আপনার একটি ভালো গেমিং PC আছে যাতে 24 GB GPU এবং 64 GB RAM আছে। দুটো যোগ করে সবচেয়ে ছোট ফাইলের সাথে তুলনা করুন:

24 + 64 = 88 GB, এবং Q3 ফাইলটি 103 GB।

এটি ফিট করে না, এবং অপারেটিং সিস্টেমেরও নিজের জন্য মেমরি দরকার। 24 GB VRAM এবং 128 GB RAM থাকলে আপনার আছে 152 GB, এবং 103 GB ফাইলটি অতিরিক্ত জায়গাসহ ফিট করে।

নতুন DeepSeek-V4.1-Flash-1017 আরও বড়: একই গাইড অনুসারে প্রায় 552B প্যারামিটার প্লাস 196B Engram, FP8-এ প্রায় 510 GB এবং 2-বিটে প্রায় 167 GB। সাপোর্ট অন্য সমস্যা। গাইড অনুযায়ী (22 অক্টোবর 2026-এ যাচাই করা) এটি Ollama-তে চলে না, কারণ deepseek_v41 আর্কিটেকচার সমর্থিত নয়, এবং llama.cpp ও LM Studio সাপোর্ট তাদের মূল ব্রাঞ্চে নেই। এটি দ্রুত বদলায়, তাই পরিকল্পনা করার আগে আপনার ইঞ্জিনের রিলিজ নোট দেখুন।

এটি কত দ্রুত?#

গাইড দুটি পরিমাপ দেয়, দুটোই ভারী কোয়ান্টাইজেশনে এবং দুটোই কমিউনিটি সংখ্যা, তাই এগুলোকে মাত্রার ক্রম হিসেবে পড়ুন, বেঞ্চমার্ক হিসেবে নয়:

• DGX Spark 128 GB সহ, V4-Flash IQ2-এ: প্রায় 6–7 টোকেন প্রতি সেকেন্ড।
• Mac Studio M3 Ultra 256 GB সহ, V4.1-Flash MLX 2-বিটে: প্রায় 9.5 টোকেন প্রতি সেকেন্ড।

RTX 4090 বা 5090-এর জন্য গাইডে কোনো সংখ্যা নেই।

এটি কেমন লাগে? একটি 1,000-টোকেন উত্তর মোটামুটি দেড় পৃষ্ঠা টেক্সট:

1,000 ÷ 9.5 = 105.3 সেকেন্ড

1,000 ÷ 6 = 166.7 সেকেন্ড

স্ট্রিমিং হিসেবে পড়া একটি চ্যাটের জন্য এটি ধীর কিন্তু ব্যবহারযোগ্য। যে এজেন্ট প্রতি টাস্কে ডজনখানেক কল করে, তার জন্য এটি দ্রুত যোগ হয়। ধরুন আপনার লুপ দিনে 2,000,000 আউটপুট টোকেন তৈরি করে এবং মেশিন সত্যিই বিরতিহীনভাবে 9.5 টোকেন প্রতি সেকেন্ড তৈরি করে:

2,000,000 ÷ 9.5 = 210,526 সেকেন্ড

210,526 ÷ 3,600 = 58.5 ঘণ্টা

এক দিনের কাজের জন্য এটি এক দিনের বেশি জেনারেশন। বাস্তব সার্ভারগুলো একসাথে কয়েকটি রিকোয়েস্ট ব্যাচ করে, তাই একটি দলের জন্য চিত্রটি এতটা বিষণ্ণ নয়, কিন্তু আপনি আপনার পণ্য তৈরির বদলে ইঞ্জিন টিউন করবেন।

API-তে একই ওয়ার্কলোডের খরচ কত#

উদাহরণটি নির্দিষ্ট করি। ধরে নিন একটি এজেন্ট লুপ দিনে 10 মিলিয়ন ইনপুট টোকেন পাঠায় এবং 2 মিলিয়ন আউটপুট টোকেন পায়। এগুলো অনুমিত সংখ্যা, ব্যবহার লগ থেকে আপনার নিজের সংখ্যা দিয়ে প্রতিস্থাপন করুন।

DeepSeek-এর নিজস্ব প্রাইসিং পৃষ্ঠা (22 অক্টোবর 2026, পৃষ্ঠাটিতে কোনো তারিখ দেখানো হয় না) deepseek-flash তালিকাভুক্ত করে, যা DeepSeek-V4.1-Flash-1017 দ্বারা পরিবেশিত, প্রতি 1M টোকেনে এই দামে, অফ-পিক / পিক: ক্যাশ মিস সহ ইনপুট $0.15 / $0.30, আউটপুট $0.60 / $1.20। পিক আওয়ার হলো 01:00–04:00 এবং 06:00–10:00 UTC, সোমবার থেকে শুক্রবার, চীনা সরকারি ছুটি বাদে; অফ-পিক পিকের অর্ধেক। ক্যাশ-হিট ইনপুট অনেক সস্তা ($0.003 / $0.006), তাই যে লুপ একই দীর্ঘ প্রিফিক্স বারবার পাঠায় তার খরচ এখানে দেওয়া সংখ্যার নিচে হবে।

অনুমিত ওয়ার্কলোডের জন্য, ক্যাশ মিস সহ:

অফ-পিক: 10 × $0.15 + 2 × $0.60 = $2.70 প্রতি দিন

পিক: 10 × $0.30 + 2 × $1.20 = $5.40 প্রতি দিন

CheapTokens-এ, একই ধরনের এজেন্ট লুপের জন্য, MiniMax-M2.7 (minimax-m2.7) নিন: যেকোনো সময়ে এক নির্দিষ্ট দাম, কোনো পিক উইন্ডো নেই, প্রতি উত্তরে সর্বোচ্চ 8,192 আউটপুট টোকেন, 180K কনটেক্সট, এবং সব মডেলের জন্য একটি ব্যালেন্স। একই 10M ইনপুট এবং 2M আউটপুট টোকেনের খরচ $0.80 প্রতি দিন। সামগ্রিকভাবে, ইনপুট ও আউটপুট একসাথে গণনা করলে, এটি OpenRouter-এর চেয়ে সস্তা; ঠিক এই ওয়ার্কলোডের জন্য এখানে লাইভ টেবিল:

টেবিলটি প্রতিবার দেখানোর সময় বর্তমান মূল্য তালিকা পড়ে, তাই দাম বদলালে এটি সঠিক থাকে। সম্পূর্ণ মূল্য তালিকা CheapTokens প্রাইসিং পৃষ্ঠায়, এবং 2026-এ DeepSeek API প্রাইসিং ব্যাখ্যা করে কীভাবে ক্যাশ হিট ও পিক আওয়ার বিল বদলায়।

নিজের হার্ডওয়্যার কখন লাভজনক?#

লোকাল টোকেনের প্রতি রিকোয়েস্টে খরচ নেই, কিন্তু মেশিনের খরচ আছে। যাচাই করার সহজ উপায়:

payback days = hardware price ÷ (daily API bill − daily electricity)

আমি এখানে হার্ডওয়্যারের দাম দিচ্ছি না কারণ এটি খুব বেশি ওঠানামা করে; আপনার যে দাম বলা হয়েছে সেটি দিন। ধারণা পেতে, উপরের DeepSeek প্রাইসিং পৃষ্ঠার অফ-পিক বিলটি নিন। প্রতি $1,000 হার্ডওয়্যারের জন্য API বিলের এত দিন লাগবে ব্রেক-ইভেন হতে, বিদ্যুৎ ও আপনার নিজের সময়ের আগে:

1,000 ÷ 2.70 = 370.4 দিন

এবং এটি ধরে নেয় মেশিনটি আদৌ এই ভলিউম দিতে পারে: 9.5 টোকেন প্রতি সেকেন্ডে এটি পারে না (উপরের গতির অংশ দেখুন), তাই এজেন্ট ওয়ার্কলোডের জন্য পেব্যাক যোগ হয় না। লোকাল বেশি অর্থবহ যখন:

• ডেটা আপনার নেটওয়ার্ক ছেড়ে যেতে পারে না, এবং এটি বিলের চেয়ে বেশি গুরুত্বপূর্ণ;
• আপনার ইতিমধ্যে মেশিন আছে এবং লোড হালকা, ধরুন একটি ব্যক্তিগত টুলের জন্য দিনে কয়েকশ রিকোয়েস্ট;
• আপনি ওয়েটগুলোর সাথে পরীক্ষা করতে চান: কোয়ান্টাইজেশন, ফাইন-টিউনিং, আপনার পছন্দের ইঞ্জিন।

API বেশি অর্থবহ যখন ওয়ার্কলোড একটি এজেন্ট বা সার্ভিস, যখন আপনার সেকেন্ডে উত্তর দরকার, বা যখন আপনার হার্ডওয়্যার উপরের মেমরি আকারের নিচে। যদি আপনার মেশিন সবচেয়ে হালকা DeepSeek ফাইলের জন্যও খুব ছোট হয়, MiniMax-M2.7 (180K কনটেক্সট, প্রতি উত্তরে সর্বোচ্চ 8,192 আউটপুট টোকেন, সামগ্রিকভাবে OpenRouter-এর চেয়ে সস্তা) একই ক্লায়েন্টের মাধ্যমে চেষ্টা করার মতো একটি মডেল।

লোকাল থেকে হোস্টেড API-তে যাওয়া#

শখের প্রকল্পগুলো প্রায়ই Ollama-তে শুরু হয় এবং পরে সেটি ছাড়িয়ে যায়। সুসংবাদ: লোকাল ইঞ্জিনগুলো OpenAI প্রোটোকল বোঝে। Ollama-র কম্প্যাটিবিলিটি পৃষ্ঠা (docs.ollama.com, 22 অক্টোবর 2026-এ যাচাই করা) এন্ডপয়েন্ট http://localhost:11434/v1/ দেখায়; ক্লায়েন্টের কিছু api_key মান দরকার, কিন্তু Ollama এটি উপেক্ষা করে। স্ট্রিমিং, JSON মোড এবং টুলস কাজ করে; logprobs করে না।

তাই সুইচটি দুই লাইন প্লাস মডেলের নাম:

import os
from openai import OpenAI

# Local Ollama: the key is required by the client but ignored by the server
# client = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)

reply = client.chat.completions.create(
    model="MiniMaxAI/MiniMax-M2.7",  # take the exact id from the CheapTokens docs
    messages=[{"role": "user", "content": "Summarize this ticket in one sentence: ..."}],
    max_tokens=200,
)
print(reply.choices[0].message.content)
print(reply.usage)

যখন এটি কাজ করে আপনি একটি এক-বাক্যের সারাংশ এবং একটি usage অবজেক্ট দেখেন যাতে প্রম্পট ও কমপ্লিশন টোকেন গণনা থাকে, যে সংখ্যাগুলো থেকে আপনার বিল তৈরি হয়। CheapTokens API Anthropic Messages ফরম্যাটও গ্রহণ করে, এবং ডকস প্রথম রিকোয়েস্ট ধাপে ধাপে দেখায়। যদি base_url আপনার কাছে নতুন হয়, OpenAI-সামঞ্জস্যপূর্ণ API: base_url কী দুই মিনিট নেয়।

যদি এটি কাজ না করে#

• localhost:11434-এ Connection refused: Ollama চলছে না, অথবা আপনি এখনও লোকাল ঠিকানায় নির্দেশ করছেন।
• 401: কী অনুপস্থিত বা স্পেসসহ কপি করা হয়েছে; উদাহরণের মতো একটি এনভায়রনমেন্ট ভেরিয়েবল থেকে পড়ুন।
• 404 বা অজানা মডেল: মডেল আইডি মেলে না। লোকাল নাম ও হোস্টেড নাম আলাদা, তাই ডকস থেকে আইডি কপি করুন।

কোনটি বেছে নেবেন#

যদি আপনার 128 GB বা বেশি থাকে এবং কৌতূহলী হন, বাড়িতে ওয়েট চালান এবং নিয়ন্ত্রণ উপভোগ করুন। যদি আপনি এমন এজেন্ট তৈরি করেন যা দিনে লক্ষ লক্ষ টোকেন পোড়ায়, বা এমন সার্ভিস যেখানে ব্যবহারকারীরা উত্তরের জন্য অপেক্ষা করে, API ব্যবহার করুন এবং পরীক্ষার জন্য লোকাল সেটআপ রাখুন। কোড দুই ক্ষেত্রেই একই থাকে, তাই আপনি একটি দিয়ে শুরু করে পরে অন্যটিতে যেতে পারেন। সেলফ-হোস্টিং দিক নিয়ে আরও জানতে, সেলফ-হোস্টিংয়ের জন্য DeepInfer মানে কী দেখুন; API-এর মাধ্যমে DeepSeek চেষ্টা করতে, CheapTokens DeepSeek মডেল দেখুন।