AI بینچ مارک کیسے پڑھیں: MTGBench اور 5-پرامپٹ ٹیسٹ

آپ ایک لیڈر بورڈ کھولتے ہیں، ماڈل A کو ماڈل B سے اوپر دیکھتے ہیں، اور A منتخب کر لیتے ہیں۔ پھر A آپ کے ٹاسک پر لڑکھڑا جاتا ہے اور B نہیں۔ کچھ بھی خراب نہیں: رینک کسی اور کے ٹاسکس پر ایک اوسط ہے، اور ہو سکتا ہے آپ کا ٹاسک ان جیسا نہ ہو۔ حل چھوٹا ہے۔ اپنے پانچ پرامپٹس لیں، انہیں دو ماڈلز پر چلائیں، جوابات پڑھیں اور موازنہ کریں کہ ہر ایک نے فی ٹاسک کتنا خرچ کیا۔ اس صفحے کا باقی حصہ ایک تازہ پیپر کو مثال بنا کر دکھاتا ہے کہ یہ کیوں کام کرتا ہے، اور آپ کو اسکرپٹ بھی دیتا ہے۔

رینک فیصلہ کیوں نہیں ہے#

پیپر ہے MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment، جو Findings of EMNLP 2026 میں شائع ہوا (29 اکتوبر 2026 کو چیک کیا گیا)۔ اس کے مصنفین نے سات گیمز پر 16 فرنٹیئر ماڈلز کا جائزہ لیا، اور ان کی ایک اہم دریافت یہ ہے کہ ماڈل کی رینکنگ ٹاسک پر بہت زیادہ منحصر ہے۔ کسی دوسرے گیم پر جائیں تو ترتیب بدل جاتی ہے۔

اب اوپر ایک واحد اوسط والے لیڈر بورڈ کے بارے میں سوچیں۔ اوسط گیمز کو چھپا دیتی ہے۔ اگر آپ کا ٹاسک ان گیمز جیسا ہے جن میں کوئی ماڈل اچھا ہے، تو آپ جیت جاتے ہیں۔ اگر نہیں، تو آپ نے جو نمبر پڑھا وہ کسی اور چیز کے بارے میں تھا۔

سات گیمز کیا ہیں#

گیمز ہیں Word Chain، Wordle، 20 Questions، Wheel of Fortune، Situation Puzzles، 20 Features اور Alias (نام GitHub پر پروجیکٹ README سے، 29 اکتوبر 2026 کو چیک کیا گیا)۔ یہ ملٹی ٹرن ہیں: ماڈل ایک بار جواب نہیں دیتا، وہ کھیلتا ہے۔ اندازہ لگائیں، فیڈبیک لیں، دوبارہ اندازہ لگائیں۔ Wordle آسان تصویر ہے: آپ ایک لفظ تجویز کرتے ہیں، جانتے ہیں کون سے حروف فٹ ہوتے ہیں، اور دوبارہ کوشش کرتے ہیں۔

ڈیزائن میں دو چیزیں آپ کے اپنے ٹیسٹ میں نقل کرنے کے قابل ہیں۔

پہلی، جواب کون چیک کرتا ہے۔ چار گیمز عام کوڈ سے اسکور ہوتے ہیں۔ باقی تین ایک محدود LLM کو قاعدہ نافذ کرنے والے کے طور پر استعمال کرتے ہیں، اور مصنفین نے اسے انسانی اینوٹیٹرز کے خلاف تصدیق کیا۔ کسی نہ کسی کو ہمیشہ فیصلہ کرنا ہوتا ہے کہ درست کیا شمار ہوتا ہے۔ آپ کے منی ٹیسٹ میں، وہ کوئی آپ ہیں۔

دوسری، زبان۔ یہ سوٹ دو لسانی ہے، انگریزی اور روسی، اور اقساط ہر زبان میں مقامی طور پر تیار کی گئیں، ترجمہ نہیں کیا گیا۔ مصنفین نے انسانی بیس لائن بھی جمع کی، 476 سیشنز، روسی کے لیے رپورٹ کی گئی۔ ان کا خلاصہ: سب سے مضبوط reasoning-enabled ماڈلز پورے سوٹ میں اس بیس لائن کے برابر یا اس سے بڑھ جاتے ہیں۔

اسکور آپ کو کیا نہیں بتا سکتا#

یہ نہیں بتا سکتا کہ کیسے پوچھیں۔ MTGBench تین سیٹ اپس کا موازنہ کرتا ہے: answer-only (ڈیفالٹ)، chain-of-thought اور native reasoning۔ مصنفین بتاتے ہیں کہ CoT حرفی سطح کے گیمز کے لیے تقریباً لازمی ہے لیکن علم پر مبنی گیمز پر غیر مساوی فائدہ دیتا ہے۔ تو ایک ہی ماڈل مختلف دکھائی دیتا ہے اس پر منحصر کہ اس سے کیسے پوچھا گیا۔ جب آپ ٹیسٹ کریں، اپنا مشکل ترین پرامپٹ دونوں طریقوں سے آزمائیں۔

یہ نہیں بتا سکتا کہ سوچنے کی لاگت کتنی ہے۔ بلند آواز میں سوچنا وہ متن ہے جو ماڈل لکھتا ہے، اور لکھا ہوا متن آؤٹ پٹ ہے، بل کا مہنگا پہلو (مزید Input vs output tokens اور Reasoning effort and thinking tokens میں)۔ فرض کریں 600 ٹوکنز کا پرامپٹ CoT کے بغیر 100 ٹوکنز کا جواب دیتا ہے اور اس کے ساتھ 600 ٹوکنز کا۔ DeepSeek-V4-Flash پر یہ فی درخواست $0.000019 بمقابلہ $0.000069 ہے۔ تھوڑی رقم، جب تک آپ روزانہ ہزاروں درخواستیں نہ بھیجیں۔

یہ آپ کی زبان کے بارے میں نہیں بتا سکتا۔ MTGBench اپنی اقساط انگریزی اور روسی میں مقامی طور پر بناتا ہے بجائے ترجمہ کرنے کے، جو بذات خود ایک اشارہ ہے: زبان ٹاسک کا حصہ ہے۔ اگر آپ کے صارفین روسی میں لکھتے ہیں، تو اپنے پانچ میں روسی پرامپٹس رکھیں۔

5-پرامپٹ ٹیسٹ چلائیں#

API OpenAI-compatible ہے، اس لیے ایک اسکرپٹ کوئی بھی ماڈل چلاتا ہے اور صرف ماڈل id بدلتی ہے (ids docs میں ہیں)۔

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

نیچے دیا گیا جدول وہی مثال دکھاتا ہے، 600 ٹوکنز in اور 300 out کی پانچ درخواستیں، ہمارے پاس موجود ہر ماڈل پر، ساتھ میں حوالے کے طور پر OpenRouter۔ Input اور output ایک ساتھ گنے گئے ہیں، اور ہر قطار میں مجموعہ OpenRouter سے کم ہے۔

ایک ماڈل جو لاگت کے ایک حصے پر 10 میں سے 9 اسکور کرتا ہے، اس سے بہتر ہے جو کئی گنا قیمت پر 10 میں سے 10 اسکور کرتا ہے، اور اب آپ دیکھ سکتے ہیں کہ آپ کس صورت میں ہیں۔ pricing page پر باقی ماڈلز کے تازہ نمبرز ہیں، اور DeepSeek page طویل جوابات (32,768 آؤٹ پٹ ٹوکنز تک) کا احاطہ کرتا ہے اگر آپ کے پرامپٹس کو مرحلہ وار آؤٹ پٹ درکار ہو۔

اپنے پانچ پرامپٹس میں کیا رکھیں#

صحیح پانچ اس پر منحصر ہیں کہ آپ کیا بناتے ہیں۔ اپنا معاملہ منتخب کریں۔

جب نمبرز آ جائیں، تو How to choose an AI model باقی فیصلے میں مدد کرتا ہے: context size، output length، اور جب دو ماڈلز برابر ہوں تو کیا کریں۔