AI बेंचमार्क कैसे पढ़ें: MTGBench और 5-प्रॉम्प्ट परीक्षण

आप एक लीडरबोर्ड खोलते हैं, मॉडल A को मॉडल B से ऊपर देखते हैं, और A चुन लेते हैं। फिर A आपके काम पर लड़खड़ाता है और B नहीं। कुछ टूटा नहीं है: रैंक किसी और के कामों का औसत है, और आपका काम उनके जैसा नहीं दिख सकता। समाधान छोटा है। अपने पाँच प्रॉम्प्ट लें, उन्हें दो मॉडलों पर चलाएँ, जवाब पढ़ें और तुलना करें कि प्रति कार्य प्रत्येक पर कितना खर्च हुआ। इस पेज का बाकी हिस्सा दिखाता है कि यह क्यों काम करता है, एक नए पेपर को उदाहरण बनाकर, और आपको स्क्रिप्ट देता है।

रैंक एक फैसला क्यों नहीं है#

पेपर है MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, जो Findings of EMNLP 2026 में प्रकाशित हुआ (29 अक्टूबर 2026 को जाँचा गया)। इसके लेखकों ने सात खेलों पर 16 फ्रंटियर मॉडलों का मूल्यांकन किया, और उनके एक मुख्य निष्कर्ष यह है कि मॉडल रैंकिंग काफी हद तक कार्य पर निर्भर करती है। किसी दूसरे खेल पर जाएँ और क्रम बदल जाता है।

अब शीर्ष पर एक ही औसत वाले लीडरबोर्ड के बारे में सोचें। औसत खेलों को छिपा देता है। यदि आपका कार्य उन खेलों जैसा दिखता है जिनमें कोई मॉडल अच्छा है, तो आप जीतते हैं। यदि नहीं, तो आपने जो संख्या पढ़ी वह किसी और चीज़ के बारे में थी।

सात खेल क्या हैं#

खेल हैं Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features और Alias (GitHub पर प्रोजेक्ट README से नाम, 29 अक्टूबर 2026 को जाँचा गया)। ये बहु-चरणीय हैं: मॉडल एक बार जवाब नहीं देता, वह खेलता है। अनुमान लगाएँ, फीडबैक पाएँ, फिर अनुमान लगाएँ। Wordle आसान तस्वीर है: आप एक शब्द सुझाते हैं, जानते हैं कि कौन से अक्षर फिट होते हैं, और फिर कोशिश करते हैं।

डिज़ाइन में दो चीज़ें आपके अपने परीक्षण में कॉपी करने लायक हैं।

पहला, जवाब कौन जाँचता है। चार खेल साधारण कोड से स्कोर किए जाते हैं। बाकी तीन एक प्रतिबंधित LLM को नियम प्रवर्तक के रूप में उपयोग करते हैं, और लेखकों ने इसे मानव एनोटेटरों के विरुद्ध मान्य किया। किसी को हमेशा तय करना होता है कि सही क्या माना जाए। आपके मिनी-टेस्ट में, वह कोई आप हैं।

दूसरा, भाषा। सूट द्विभाषी है, अंग्रेज़ी और रूसी, और एपिसोड प्रत्येक भाषा में मूल रूप से उत्पन्न किए गए थे, अनुवादित नहीं। लेखकों ने एक मानव बेसलाइन भी एकत्र की, 476 सत्र, रूसी के लिए रिपोर्ट किए गए। उनका सारांश: सबसे मजबूत तर्क-सक्षम मॉडल पूरे सूट में उस बेसलाइन से मेल खाते हैं या उससे आगे निकल जाते हैं।

एक स्कोर आपको क्या नहीं बता सकता#

यह आपको नहीं बता सकता कि कैसे पूछें। MTGBench तीन सेटअपों की तुलना करता है: केवल-उत्तर (डिफ़ॉल्ट), चेन-ऑफ-थॉट और मूल तर्क। लेखक बताते हैं कि CoT अक्षर-स्तरीय खेलों के लिए लगभग आवश्यक है लेकिन ज्ञान-संचालित खेलों पर असमान लाभ देता है। इसलिए वही मॉडल इस पर निर्भर करता है कि कैसे पूछा गया। जब आप परीक्षण करें, अपने सबसे कठिन प्रॉम्प्ट को दोनों तरीकों से आज़माएँ।

यह आपको सोचने की लागत नहीं बता सकता। ज़ोर से सोचना वह पाठ है जो मॉडल लिखता है, और लिखा हुआ पाठ आउटपुट है, बिल का महँगा पक्ष (Input vs output tokens और Reasoning effort and thinking tokens में अधिक)। मान लें कि 600 टोकन का प्रॉम्प्ट बिना CoT के 100-टोकन का जवाब देता है और CoT के साथ 600-टोकन का जवाब देता है। DeepSeek-V4-Flash पर वह प्रति अनुरोध $0.000019 बनाम $0.000069 है। छोटी रकम, जब तक आप दिन में हज़ारों अनुरोध न भेजें।

यह आपको आपकी भाषा के बारे में नहीं बता सकता। MTGBench अपने एपिसोड अंग्रेज़ी और रूसी में मूल रूप से बनाता है, अनुवाद नहीं करता, जो अपने आप में एक संकेत है: भाषा कार्य का हिस्सा है। यदि आपके उपयोगकर्ता रूसी में लिखते हैं, तो अपने पाँच में रूसी प्रॉम्प्ट डालें।

5-प्रॉम्प्ट परीक्षण चलाएँ#

API OpenAI-संगत है, इसलिए एक स्क्रिप्ट किसी भी मॉडल को चलाती है और केवल मॉडल आईडी बदलती है (आईडी docs में हैं)।

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

नीचे दी गई तालिका वही उदाहरण दिखाती है, 600 टोकन इन और 300 आउट के पाँच अनुरोध, हमारे पास मौजूद हर मॉडल पर, संदर्भ के लिए OpenRouter के साथ। इनपुट और आउटपुट एक साथ गिने जाते हैं, और कुल प्रत्येक पंक्ति पर OpenRouter से कम है।

एक मॉडल जो 10 में से 9 स्कोर करता है और लागत का एक अंश है, उस मॉडल को हराता है जो 10 में से 10 स्कोर करता है और कई गुना कीमत पर है, और अब आप देख सकते हैं कि आप किस स्थिति में हैं। मूल्य निर्धारण पृष्ठ पर बाकी मॉडलों के लिए लाइव संख्याएँ हैं, और DeepSeek पृष्ठ लंबे उत्तरों (32,768 आउटपुट टोकन तक) को कवर करता है यदि आपके प्रॉम्प्ट को चरण-दर-चरण आउटपुट चाहिए।

अपने पाँच प्रॉम्प्ट में क्या डालें#

सही पाँच इस पर निर्भर करते हैं कि आप क्या बनाते हैं। अपना मामला चुनें।

जब संख्याएँ आ जाएँ, How to choose an AI model बाकी निर्णय में मदद करता है: संदर्भ आकार, आउटपुट लंबाई, और जब दो मॉडल बराबर हों तो क्या करें।