লোকাল LLM VRAM-এর বাইরে? gputaskman দিয়ে ওয়েটস বনাম KV ক্যাশে দেখুন

আপনার লোকাল মডেল গতকাল ঠিকঠাক লোড হয়েছিল, আজ লোড হতে গিয়ে ক্র্যাশ করছে বা খুব ধীরে চলছে, আর আপনি শুধু কনটেক্সট লেংথ পরিবর্তন করেছেন। সাধারণত এর পেছনে দায়ী KV ক্যাশে, এবং gputaskman নামের একটি ফ্রি টার্মিনাল টুল আপনাকে অনুমান করার বদলে সেটি দেখাতে পারে।

একটি সাধারণ GPU মনিটর আপনাকে বলে VRAM কতটা ভরা। সেটি "কী", "কেন" নয়। gputaskman-এর README (৫ নভেম্বর ২০২৬-এ যাচাই করা) নিজেকে বলে "আপনার GPU-এর ভেতরে কী আছে তার জন্য একটি htop, শুধু কতটা ভরা তা নয়।" এটি একটি প্রাথমিক, পরীক্ষামূলক, MIT-লাইসেন্সকৃত প্রকল্প, তাই এটিকে একটি সুবিধাজনক দৃষ্টিকোণ হিসেবে দেখুন, চূড়ান্ত রায় হিসেবে নয়।

আসলে কী আপনার VRAM ভরায়#

VRAM-কে একটি স্যুটকেস ভাবুন। এতে তিনটি জিনিস ঢোকে:

• ওয়েটস: মডেল নিজেই। নির্দিষ্ট মডেল ও কোয়ান্টাইজেশনের জন্য নির্দিষ্ট আকার।
• KV ক্যাশে: আপনার কথোপকথনের মডেলের স্বল্পমেয়াদি স্মৃতি। কনটেক্সট বাড়ার সাথে সাথে এটি বাড়ে।
• কম্পিউট বাফার: রানটাইম কাজ করার সময় যে স্ক্র্যাচ স্পেস দরকার।

মানুষ যখন বলে "মডেলটা ফিট হচ্ছে না", তারা প্রায়ই বোঝায় ওয়েটস ফিট হয়েছে কিন্তু তার উপরে যে ক্যাশে চাওয়া হয়েছে তা ফিট হয়নি। এই পার্থক্যই ঠিক করে দেয় সমাধান কী, এবং একটি সাধারণ মনিটর ঠিক এটাই লুকিয়ে রাখে।

gputaskman ইনস্টল করুন এবং পার-প্রসেস দেখুন#

README তিনটি উপায়ের কথা বলে: একটি পোর্টেবল Windows ZIP, uv run --locked gputaskman দিয়ে চালানো একটি ক্লোন, অথবা Python 3.11+ ভার্চুয়াল এনভায়রনমেন্টের ভেতরে pip। প্ল্যাটফর্ম, README যেভাবে বর্ণনা করে:

• Windows 10/11 64-বিট NVIDIA বা AMD GPU সহ (Releases পেজে x64 এবং ARM64 ZIP);
• Linux এবং WSL NVIDIA GPU সহ (glibc 2.35+; WSL Windows হোস্ট কাউন্টার পড়তে পারে);
• macOS শুধুমাত্র Apple Silicon-এ সোর্স ক্লোন থেকে, কোনো পোর্টেবল বিল্ড নেই।

Windows ZIPগুলো আনসাইনড। সেগুলো শুধুমাত্র অফিসিয়াল রিপোজিটরির Releases পেজ, github.com/shanselman/gputaskman থেকে ডাউনলোড করুন। README থেকে হুবহু কমান্ড কপি করুন: প্রকল্পটি নতুন এবং অপশন বদলাতে পারে।

একবার চলা শুরু করলে, এই সমস্যার জন্য দুটি ভিউ গুরুত্বপূর্ণ:

1. ডিভাইস ভিউ: VRAM ব্যবহার, GPU অ্যাক্টিভিটি, PCIe, তাপমাত্রা, পাওয়ার, ক্লক এবং হিস্টরি চার্ট। "কিছু কি স্পাইক করেছে?"—এর জন্য ভালো।
2. প্রসেস ভিউ: প্রতি প্রসেসে লোকাল GPU মেমরি, GPU-অ্যাক্সেসযোগ্য সিস্টেম RAM, ইঞ্জিন অ্যাক্টিভিটি এবং শনাক্ত করা রানটাইম (CUDA, HIP, Vulkan, Direct3D, ggml, ONNX Runtime)।

প্রসেস ভিউতে আপনার মডেল সার্ভার খুঁজুন (Ollama-এর জন্য, তার বান্ডল করা রানার)। তারপর তালিকার বাকিটা দেখুন। যদি একটি ব্রাউজার বা গেম কয়েক গিগাবাইট ধরে থাকে, আপনি মডেল স্পর্শ না করেই উত্তর পেয়ে গেছেন।

ওয়েটস, KV ক্যাশে, বাফার: সংখ্যাগুলো কোথা থেকে আসে#

মডেল ইন্সপেক্টর আর্কিটেকচার, কোয়ান্টাইজেশন এবং যেখানে পাওয়া যায় সেখানে বাফার সাইজ দেখায়। একটি সতর্কতা গুরুত্বপূর্ণ: README অনুযায়ী, ওয়েটস, KV ক্যাশে এবং কম্পিউট বাফার রানটাইমের লোড লগ থেকে আসে যখন সামঞ্জস্যপূর্ণ লগিং সক্রিয় থাকে। llama.cpp-এর জন্য, লগিংসহ আপনার নিজের llama-server চালু করুন (--log-file server.log -lv 4; README বলে বাফার সাইজের জন্য লেভেল 4 দরকার)। Ollama-এর জন্য, gputaskman Ollama-এর server.log ব্যবহার করে যদি তা পাওয়া যায়। অন্যথায় সেগুলো GGUF মেটাডেটা এবং কনটেক্সট সাইজ থেকে অনুমান, llama.cpp-স্টাইল প্লেসমেন্ট ধরে নিয়ে। একটি প্রসেসের ভেতরে পার-মডেল KV হিসাব এখনো সমর্থিত নয়।

তাই একটি অনুমানকৃত স্প্লিটকে "মোটামুটি" হিসেবে পড়ুন, আর লগ-ভিত্তিক স্প্লিটকে "রানটাইম যা রিপোর্ট করেছে" হিসেবে। Ollama-এর জন্য README বলে বান্ডল করা রানার শনাক্ত হয়, GGUF ব্লব Ollama-এর ম্যানিফেস্ট থেকে নামকরণ হয়, এবং server.log পাওয়া গেলে ব্যবহার করা হয়। LM Studio সমর্থন আংশিক: মডেল তার ফোল্ডার থেকে নামকরণ হয় এবং তার লোকাল API দিয়ে প্রোব করা হয়, কিন্তু এটি ফিক্সচার রেসপন্স দিয়ে পরীক্ষা করা হয়েছে, এন্ড-টু-এন্ড নয়।

আপনি দুটি স্ন্যাপশট JSON হিসেবে সেভ করে diff কমান্ড দিয়ে তুলনাও করতে পারেন। "আমি 4K থেকে 16K কনটেক্সটে গেলে কী বদলাল?"—এর উত্তর দেওয়ার এটি একটি পরিষ্কার উপায়: একটি স্ন্যাপশট নিন, সেটিং বদলান, রিলোড করুন, আরেকটি নিন।

কোন নব ঘোরাবেন#

স্প্লিট পড়লে আপনি শুধু একটি ছবি নয়, একটি সিদ্ধান্ত পান।

ওয়েটস বড় অংশ। ছোট কোয়ান্টাইজেশন বা ছোট মডেলে যান। ওয়েটস ছোট করার একমাত্র লিভার এটি। এর পেছনের মেমরি গণিত দেখতে চাইলে দেখুন একটি 125B মডেল কি 16 GB GPU-তে চলতে পারে?

KV ক্যাশে বড় অংশ। কনটেক্সট ছোট করুন। Ollama-তে আপনি সেশনেই চেষ্টা করতে পারেন:

ollama run <your-model>
>>> /set parameter num_ctx 8192

8192 শুধু একটি উদাহরণ মান; আপনার কাজের আসলে যা দরকার তা বেছে নিন (Ollama-এর ডকুমেন্টেশন অনুযায়ী কমান্ড, ৫ নভেম্বর ২০২৬-এ যাচাই করা)।

পরে যদি llama.cpp-এ কোয়ান্টাইজড ক্যাশে দিয়ে প্রম্পট প্রসেসিংয়ে অদ্ভুত ধীরতা দেখেন, q5_1 KV ক্যাশের এই ফিক্স পরের গন্তব্য। কনটেক্সট উইন্ডো প্রথমে কী ধরে রাখে তা জানতে, পড়ুন কনটেক্সট উইন্ডো কী?

অন্য একটি প্রসেস বড় অংশ। এটি বন্ধ করুন, অথবা ইন্টিগ্রেটেড GPU-তে চালান। মডেলের কিছুই বদলাতে হবে না।

যদি কাজ না করে#

• স্প্লিট ভুল দেখাচ্ছে। এটি অনুমান কি না দেখুন (সামঞ্জস্যপূর্ণ লোড লগ নেই)। llama.cpp-এর সাথে, আপনার llama-server --log-file server.log -lv 4 দিয়ে চালান এবং মডেল রিলোড করুন। Ollama-এর সাথে, gputaskman server.log ব্যবহার করে যদি তা থাকে; সেখানে একটি অনুমান লেবেল স্বাভাবিক।
• LM Studio কম বিস্তারিত দেখায়। উপরে যেমন বলা হয়েছে, সমর্থন আংশিক।
• NVIDIA বা AMD GPU নেই। টুলটি শুধু লোকাল GPU ওয়ার্কলোড কভার করে; শুধু-CPU, শুধু-NPU এবং ক্লাউড ওয়ার্কলোড এর আওতার বাইরে।
• macOS। সোর্স ক্লোন থেকে চালান; কোনো পোর্টেবল বিল্ড নেই।

যখন হোস্টেড মডেল সহজ সমাধান#

ধরুন একটি কাজের জন্য আপনার লম্বা কনটেক্সট দরকার, যেমন একটি বড় ডকুমেন্ট সারসংক্ষেপ করা, আর আপনার GPU শুধু ছোট কনটেক্সটসহ মডেল ফিট করে। আপনি টিউনিং চালিয়ে যেতে পারেন, অথবা VRAM-কে ছবির বাইরে রাখতে পারেন। এমন কাজের জন্য CheapTokens DeepSeek-V4-Flash অফার করে: 380K কনটেক্সট, প্রতি উত্তরে সর্বোচ্চ 32,768 আউটপুট টোকেন, দিনের যেকোনো সময় একই দাম, একটি OpenAI-সামঞ্জস্যপূর্ণ API-এর মাধ্যমে। GLM-5.3-Flash-এর 390K কনটেক্সট এবং সর্বোচ্চ 8,192 আউটপুট টোকেন।

কলটি স্বাভাবিক OpenAI ফরম্যাট (আপনার কী একটি এনভায়রনমেন্ট ভেরিয়েবলে রাখুন):

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Summarize this document: ..."}]}'

সেটআপের বিস্তারিত ডকুমেন্টেশনে। সিদ্ধান্ত নেওয়ার একটি নিয়ম: যদি একটি কাজ বারবার আপনার কার্ডের ধারণক্ষমতার চেয়ে বেশি কনটেক্সট বা বড় মডেল চায়, এবং প্রসেস ভিউ দেখায় আপনার VRAM ইতিমধ্যে ভালোভাবে ব্যবহৃত, সেই কাজটি API-তে পাঠান এবং ছোট, দ্রুত কাজগুলো লোকাল রাখুন। DeepSeek লোকালে চালাবেন নাকি API ব্যবহার করবেন? এই বিনিময় নিয়ে গভীরে যায়।

ধরুন আপনি ১০০টি বড় ডকুমেন্ট সারসংক্ষেপ করেন, প্রতিটি 60,000 ইনপুট টোকেন এবং 1,000 আউটপুট টোকেন (380K উইন্ডোর ভেতরেই ভালোভাবে)। আজ এটির খরচ:

এই সংখ্যাগুলোতে, প্রতি ডকুমেন্টে $0.001 হলো এমন একটি কলের লাইভ দাম, এবং মোটে, ইনপুট ও আউটপুট একসাথে গণনা করে, এটি OpenRouter-এর চেয়ে কমে আসে।