لوکل LLM VRAM سے باہر؟ gputaskman کے ساتھ ویٹس بمقابلہ KV کیش دیکھیں

آپ کا لوکل ماڈل کل ٹھیک لوڈ ہوا تھا، آج لوڈ ہوتے ہی کریش ہو رہا ہے یا بہت سست ہے، اور آپ نے صرف کانٹیکسٹ لینتھ بدلی تھی۔ عام وجہ KV کیش ہوتی ہے، اور gputaskman نامی ایک مفت ٹرمینل ٹول آپ کو اندازے لگانے کے بجائے یہ دکھا سکتا ہے۔

عام GPU مانیٹر بتاتا ہے کہ VRAM کتنی بھری ہے۔ یہ "کیا" ہے، "کیوں" نہیں۔ gputaskman کا README (5 نومبر 2026 کو چیک کیا گیا) خود کو "آپ کے GPU کے اندر کیا ہے، صرف یہ نہیں کہ کتنا بھرا ہے، کے لیے ایک htop" کہتا ہے۔ یہ ایک ابتدائی، تجرباتی، MIT لائسنس یافتہ پروجیکٹ ہے، اس لیے اسے ایک کارآمد عینک سمجھیں، حتمی فیصلہ نہیں۔

آپ کی VRAM اصل میں کیا بھرتی ہے#

VRAM کو ایک سوٹ کیس سمجھیں۔ تین چیزیں اس میں آتی ہیں:

• ویٹس: ماڈل خود۔ کسی دیے گئے ماڈل اور کوانٹائزیشن کے لیے مقررہ سائز۔
• KV کیش: آپ کی گفتگو کی ماڈل کی قلیل مدتی یادداشت۔ یہ کانٹیکسٹ بڑھنے کے ساتھ بڑھتی ہے۔
• کمپیوٹ بفرز: رن ٹائم کو کام کے دوران درکار عارضی جگہ۔

جب لوگ کہتے ہیں "ماڈل فٹ نہیں ہوتا"، تو اکثر ان کا مطلب ہوتا ہے کہ ویٹس فٹ ہیں مگر اوپر سے مانگی گئی کیش نہیں۔ یہی فرق فیصلہ کرتا ہے کہ حل کیا ہے، اور یہی چیز ایک عام مانیٹر چھپا دیتا ہے۔

gputaskman انسٹال کریں اور فی پروسیس دیکھیں#

README تین راستے بتاتا ہے: ایک پورٹیبل Windows ZIP، uv run --locked gputaskman سے چلایا جانے والا کلون، یا Python 3.11+ ورچوئل ماحول میں pip۔ پلیٹ فارمز، جیسا کہ README بیان کرتا ہے:

• Windows 10/11 64-bit NVIDIA یا AMD GPU کے ساتھ (x64 اور ARM64 ZIPs Releases صفحے پر)؛
• Linux اور WSL NVIDIA GPU کے ساتھ (glibc 2.35+؛ WSL Windows ہوسٹ کاؤنٹرز پڑھ سکتا ہے)؛
• macOS صرف Apple Silicon پر سورس کلون سے، کوئی پورٹیبل بلڈ نہیں۔

Windows ZIPs غیر دستخط شدہ ہیں۔ انہیں صرف سرکاری ریپوزٹری کے Releases صفحے سے ڈاؤن لوڈ کریں، github.com/shanselman/gputaskman۔ README سے عین کمانڈز کاپی کریں: پروجیکٹ نیا ہے اور آپشنز بدل سکتے ہیں۔

ایک بار چلنے پر، اس مسئلے کے لیے دو ویوز اہم ہیں:

1. ڈیوائس ویو: VRAM استعمال، GPU سرگرمی، PCIe، درجہ حرارت، پاور، کلاکس اور ہسٹری چارٹس۔ "کیا کچھ اسپائیک ہوا؟" کے لیے اچھا۔
2. پروسیس ویو: فی پروسیس لوکل GPU میموری، GPU-قابل رسائی سسٹم RAM، انجن سرگرمی اور شناخت شدہ رن ٹائم (CUDA, HIP, Vulkan, Direct3D, ggml, ONNX Runtime)۔

پروسیس ویو میں اپنا ماڈل سرور تلاش کریں (Ollama کے لیے، اس کا بنڈل رنر)۔ پھر باقی فہرست چیک کریں۔ اگر کوئی براؤزر یا گیم چند گیگابائٹ رکھے ہوئے ہے، تو آپ نے ماڈل کو چھوئے بغیر جواب پا لیا۔

ویٹس، KV کیش، بفرز: نمبر کہاں سے آتے ہیں#

ماڈل انسپکٹر آرکیٹیکچر، کوانٹائزیشن اور بفر سائز دکھاتا ہے جہاں دستیاب ہوں۔ ایک انتباہ اہم ہے: README کے مطابق، ویٹس، KV کیش اور کمپیوٹ بفرز رن ٹائم کے لوڈ لاگز سے آتے ہیں جب موافق لاگنگ فعال ہو۔ llama.cpp کے لیے، اپنا llama-server لاگنگ کے ساتھ شروع کریں (--log-file server.log -lv 4؛ README کہتا ہے بفر سائز کے لیے لیول 4 درکار ہے)۔ Ollama کے لیے، gputaskman Ollama کا server.log استعمال کرتا ہے اگر دستیاب ہو۔ ورنہ یہ GGUF میٹاڈیٹا اور کانٹیکسٹ سائز سے اندازے ہوتے ہیں، llama.cpp طرز کی پلیسمنٹ فرض کرتے ہوئے۔ ایک ہی پروسیس کے اندر فی ماڈل KV حساب ابھی معاون نہیں۔

لہٰذا اندازے والی تقسیم کو "تقریباً" پڑھیں، اور لاگ پر مبنی تقسیم کو "جو رن ٹائم نے رپورٹ کیا"۔ Ollama کے لیے README کہتا ہے بنڈل رنرز شناخت ہوتے ہیں، GGUF بلابز Ollama کے مینی فیسٹس سے نام پاتے ہیں، اور server.log استعمال ہوتا ہے جب دستیاب ہو۔ LM Studio سپورٹ جزوی ہے: ماڈلز اس کے فولڈر سے نام پاتے ہیں اور اس کی لوکل API سے پروب کیے جاتے ہیں، مگر یہ فکسچر رسپانسز کے ساتھ ٹیسٹ کیا گیا، اینڈ ٹو اینڈ نہیں۔

آپ دو اسنیپ شاٹس JSON کے طور پر محفوظ کر کے diff کمانڈ سے موازنہ بھی کر سکتے ہیں۔ یہ "جب میں 4K سے 16K کانٹیکسٹ پر گیا تو کیا بدلا؟" کا صاف جواب دینے کا طریقہ ہے: ایک اسنیپ شاٹ لیں، سیٹنگ بدلیں، دوبارہ لوڈ کریں، دوسرا لیں۔

کون سا نوب گھمائیں#

تقسیم پڑھنا آپ کو صرف تصویر نہیں، فیصلہ دیتا ہے۔

ویٹس بڑا حصہ ہیں۔ چھوٹی کوانٹائزیشن یا چھوٹے ماڈل پر جائیں۔ یہ واحد لیور ہے جو ویٹس کو سکیڑتا ہے۔ اگر آپ اس کے پیچھے میموری کا حساب چاہتے ہیں، تو کیا 125B ماڈل 16 GB GPU پر چل سکتا ہے؟ دیکھیں

KV کیش بڑا حصہ ہے۔ کانٹیکسٹ مختصر کریں۔ Ollama میں آپ اسے سیشن میں ہی آزما سکتے ہیں:

ollama run <your-model>
>>> /set parameter num_ctx 8192

8192 صرف ایک مثال قدر ہے؛ وہ منتخب کریں جو آپ کے کام کو واقعی درکار ہے (کمانڈ Ollama کی دستاویزات کے مطابق، 5 نومبر 2026 کو چیک کیا گیا)۔

اگر بعد میں llama.cpp میں کوانٹائزڈ کیش کے ساتھ پرامپٹ پروسیسنگ میں عجیب سستی دیکھیں، تو q5_1 KV کیش کے لیے یہ فکس اگلا قدم ہے۔ کانٹیکسٹ ونڈو بنیادی طور پر کیا رکھتی ہے، یہ پڑھنے کے لیے کانٹیکسٹ ونڈو کیا ہے؟ دیکھیں

کوئی اور پروسیس بڑا حصہ ہے۔ اسے بند کریں، یا اسے انٹیگریٹڈ GPU پر چلائیں۔ ماڈل میں کچھ بدلنے کی ضرورت نہیں۔

اگر یہ کام نہ کرے#

• تقسیم غلط لگتی ہے۔ چیک کریں کہ یہ اندازہ ہے یا نہیں (کوئی موافق لوڈ لاگ نہیں)۔ llama.cpp کے ساتھ، اپنا llama-server --log-file server.log -lv 4 کے ساتھ چلائیں اور ماڈل دوبارہ لوڈ کریں۔ Ollama کے ساتھ، gputaskman server.log استعمال کرتا ہے اگر موجود ہو؛ وہاں اندازے کا لیبل معمول ہے۔
• LM Studio کم تفصیل دکھاتا ہے۔ سپورٹ جزوی ہے، جیسا کہ اوپر۔
• NVIDIA یا AMD GPU نہیں۔ ٹول صرف لوکل GPU ورک لوڈز کا احاطہ کرتا ہے؛ صرف CPU، صرف NPU اور کلاؤڈ ورک لوڈز دائرہ کار سے باہر ہیں۔
• macOS۔ سورس کلون سے چلائیں؛ کوئی پورٹیبل بلڈ نہیں۔

جب ہوسٹڈ ماڈل آسان حل ہو#

فرض کریں آپ کو ایک کام کے لیے لمبا کانٹیکسٹ چاہیے، جیسے کسی بڑی دستاویز کا خلاصہ، اور آپ کے GPU میں ماڈل صرف مختصر کانٹیکسٹ کے ساتھ فٹ ہوتا ہے۔ آپ ٹیوننگ جاری رکھ سکتے ہیں، یا VRAM کو تصویر سے ہٹا سکتے ہیں۔ ایسے کاموں کے لیے CheapTokens DeepSeek-V4-Flash پیش کرتا ہے: 380K کانٹیکسٹ، فی جواب زیادہ سے زیادہ 32,768 آؤٹ پٹ ٹوکنز، دن کے کسی بھی وقت ایک قیمت، OpenAI-موافق API کے ذریعے۔ GLM-5.3-Flash کا کانٹیکسٹ 390K اور زیادہ سے زیادہ 8,192 آؤٹ پٹ ٹوکنز ہے۔

کال معمول کا OpenAI فارمیٹ ہے (اپنی کلید ماحول کے متغیر میں رکھیں):

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Summarize this document: ..."}]}'

سیٹ اپ کی تفصیلات docs میں ہیں۔ فیصلے کا ایک اصول: اگر کسی کام کو مسلسل آپ کے کارڈ سے زیادہ کانٹیکسٹ یا بڑا ماڈل درکار رہے، اور پروسیس ویو دکھائے کہ آپ کی VRAM پہلے ہی خوب استعمال میں ہے، تو وہ کام API کو بھیجیں اور چھوٹے، تیز کام لوکل رکھیں۔ DeepSeek لوکل چلائیں یا API استعمال کریں؟ اس تجارت پر گہرائی سے بات کرتا ہے۔

فرض کریں آپ 100 بڑی دستاویزات کا خلاصہ کرتے ہیں، ہر ایک 60,000 ان پٹ ٹوکنز اور 1,000 آؤٹ پٹ ٹوکنز (380K ونڈو کے اندر خوب)۔ آج اس کی قیمت یہ ہے:

ان نمبروں پر، $0.001 فی دستاویز ایسی ایک کال کی لائیو قیمت ہے، اور مجموعی طور پر، ان پٹ اور آؤٹ پٹ ملا کر، یہ OpenRouter سے کم آتا ہے۔