কীভাবে একটি AI বেঞ্চমার্ক পড়বেন: MTGBench এবং একটি ৫-প্রম্পট পরীক্ষা

আপনি একটি লিডারবোর্ড খুললেন, দেখলেন মডেল A মডেল B-এর উপরে, এবং A বেছে নিলেন। তারপর A আপনার কাজে হোঁচট খেল আর B খেল না। কিছুই ভাঙেনি: একটি র‍্যাঙ্ক হলো অন্যের কাজের উপর গড়, আর আপনার কাজ তাদের মতো নাও দেখাতে পারে। সমাধান ছোট। আপনার নিজের পাঁচটি প্রম্পট নিন, দুটি মডেলে চালান, উত্তরগুলো পড়ুন এবং প্রতিটির প্রতি কাজের খরচ তুলনা করুন। এই পৃষ্ঠার বাকি অংশ দেখায় কেন এটি কাজ করে, একটি নতুন পেপার উদাহরণ হিসেবে ব্যবহার করে, এবং আপনাকে স্ক্রিপ্ট দেয়।

কেন একটি র‍্যাঙ্ক একটি রায় নয়#

পেপারটি হলো MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, প্রকাশিত Findings of EMNLP 2026-এ (যাচাই ২৯ অক্টোবর ২০২৬)। এর লেখকরা সাতটি গেমে ১৬টি ফ্রন্টিয়ার মডেল মূল্যায়ন করেছেন, এবং তাদের একটি প্রধান ফলাফল হলো মডেল র‍্যাঙ্কিং কাজের উপর ব্যাপকভাবে নির্ভর করে। ভিন্ন গেমে গেলে ক্রম বদলে যায়।

এখন শীর্ষে একটি একক গড় সহ একটি লিডারবোর্ডের কথা ভাবুন। গড়টি গেমগুলো লুকিয়ে রাখে। যদি আপনার কাজ এমন গেমের মতো দেখায় যেখানে একটি মডেল ভালো, আপনি জিতবেন। যদি না দেখায়, আপনি যে সংখ্যাটি পড়েছেন তা অন্য কিছু সম্পর্কে ছিল।

সাতটি গেম কী#

গেমগুলো হলো Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features এবং Alias (নামগুলো GitHub-এ প্রকল্পের README থেকে, যাচাই ২৯ অক্টোবর ২০২৬)। এগুলো বহু-পালি: মডেল একবার উত্তর দেয় না, খেলে। অনুমান করুন, প্রতিক্রিয়া পান, আবার অনুমান করুন। Wordle সহজ ছবি: আপনি একটি শব্দ প্রস্তাব করেন, জানতে পারেন কোন অক্ষরগুলো মেলে, এবং আবার চেষ্টা করেন।

ডিজাইনে দুটি জিনিস আপনার নিজের পরীক্ষায় অনুকরণ করার মতো।

প্রথমত, কে উত্তরটি যাচাই করে। চারটি গেম সাধারণ কোড দিয়ে স্কোর করা হয়। বাকি তিনটি নিয়ম প্রয়োগকারী হিসেবে একটি সীমাবদ্ধ LLM ব্যবহার করে, এবং লেখকরা এটি মানব টীকাকারকদের বিরুদ্ধে যাচাই করেছেন। সবসময় কাউকে সিদ্ধান্ত নিতে হয় কী সঠিক হিসেবে গণ্য হবে। আপনার মিনি-পরীক্ষায়, সেই কেউ আপনি।

দ্বিতীয়ত, ভাষা। স্যুটটি দ্বিভাষিক, ইংরেজি এবং রুশ, এবং পর্বগুলো প্রতিটি ভাষায় স্থানীয়ভাবে তৈরি করা হয়েছে, অনুবাদ নয়। লেখকরা একটি মানব বেসলাইনও সংগ্রহ করেছেন, ৪৭৬টি সেশন, রুশের জন্য রিপোর্ট করা। তাদের সারাংশ: সবচেয়ে শক্তিশালী রিজনিং-সক্ষম মডেলগুলো পুরো স্যুট জুড়ে সেই বেসলাইনের সমান বা তার বেশি।

একটি স্কোর আপনাকে কী বলতে পারে না#

এটি আপনাকে বলতে পারে না কীভাবে জিজ্ঞাসা করবেন। MTGBench তিনটি সেটআপ তুলনা করে: শুধু-উত্তর (ডিফল্ট), চেইন-অফ-থট এবং স্থানীয় রিজনিং। লেখকরা রিপোর্ট করেন যে CoT অক্ষর-স্তরের গেমের জন্য প্রায় অপরিহার্য কিন্তু জ্ঞান-চালিত গেমে অসম লাভ দেয়। তাই একই মডেল কীভাবে জিজ্ঞাসা করা হয়েছে তার উপর নির্ভর করে ভিন্ন দেখায়। যখন পরীক্ষা করেন, আপনার সবচেয়ে কঠিন প্রম্পট উভয় উপায়ে চেষ্টা করুন।

এটি আপনাকে চিন্তার খরচ বলতে পারে না। জোরে চিন্তা করা হলো মডেল যে টেক্সট লেখে, এবং লেখা টেক্সট হলো আউটপুট, বিলের দামি দিক (Input vs output tokens এবং Reasoning effort and thinking tokens-এ আরও)। ধরুন ৬০০ টোকেনের একটি প্রম্পট CoT ছাড়া ১০০-টোকেনের উত্তর পায় এবং CoT সহ ৬০০-টোকেনের উত্তর পায়। DeepSeek-V4-Flash-এ এটি প্রতি অনুরোধে $0.000019 বনাম $0.000069। ছোট টাকা, যতক্ষণ না আপনি দিনে হাজার হাজার অনুরোধ পাঠান।

এটি আপনাকে আপনার ভাষা সম্পর্কে বলতে পারে না। MTGBench অনুবাদ না করে ইংরেজি এবং রুশে স্থানীয়ভাবে তার পর্বগুলো তৈরি করে, যা নিজেই একটি ইঙ্গিত: ভাষা কাজের অংশ। যদি আপনার ব্যবহারকারীরা রুশে লেখেন, আপনার পাঁচটিতে রুশ প্রম্পট রাখুন।

৫-প্রম্পট পরীক্ষা চালান#

APIটি OpenAI-সামঞ্জস্যপূর্ণ, তাই একটি স্ক্রিপ্ট যেকোনো মডেল চালায় এবং শুধু মডেল আইডি বদলায় (আইডিগুলো ডক্স-এ আছে)।

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

নিচের টেবিলটি একই উদাহরণ দেখায়, ৬০০ টোকেন ইন এবং ৩০০ আউটের পাঁচটি অনুরোধ, আমাদের প্রতিটি মডেলে, রেফারেন্সের জন্য OpenRouter পাশে রেখে। ইনপুট এবং আউটপুট একসাথে গণনা করা হয়, এবং মোট প্রতিটি সারিতে OpenRouter-এর চেয়ে কম।

একটি মডেল যা খরচের একটি ভগ্নাংশে ১০-এর মধ্যে ৯ স্কোর করে তা একটি মডেলকে হারায় যা কয়েকগুণ দামে ১০-এর মধ্যে ১০ স্কোর করে, এবং এখন আপনি দেখতে পারেন আপনি কোন ক্ষেত্রে আছেন। প্রাইসিং পেজ-এ বাকি মডেলগুলোর লাইভ সংখ্যা আছে, এবং DeepSeek পেজ দীর্ঘ উত্তর (৩২,৭৬৮ আউটপুট টোকেন পর্যন্ত) কভার করে যদি আপনার প্রম্পটে ধাপে ধাপে আউটপুট প্রয়োজন হয়।

আপনার পাঁচটি প্রম্পটে কী রাখবেন#

সঠিক পাঁচটি নির্ভর করে আপনি কী তৈরি করেন তার উপর। আপনার ক্ষেত্র বাছুন।

সংখ্যাগুলো এলে, কীভাবে একটি AI মডেল বেছে নেবেন বাকি সিদ্ধান্তে সাহায্য করে: কনটেক্সট আকার, আউটপুট দৈর্ঘ্য, এবং দুটি মডেল সমান হলে কী করবেন।