كيف تقرأ معيارًا للذكاء الاصطناعي: MTGBench واختبار من 5 مطالبات

تفتح لوحة صدارة، ترى النموذج A فوق النموذج B، وتختار A. ثم يتعثر A في مهمتك ولا يتعثر B. لا شيء معطّل: الترتيب متوسط على مهام شخص آخر، وقد لا تشبه مهمتك مهامهم. الإصلاح بسيط. خذ خمسة من مطالباتك الخاصة، شغّلها على نموذجين، اقرأ الإجابات وقارن تكلفة كل واحد لكل مهمة. يوضح باقي هذه الصفحة لماذا ينجح ذلك، مستخدمًا ورقة بحثية حديثة كمثال، ويعطيك السكربت.

لماذا الترتيب ليس حكمًا#

الورقة هي MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment، المنشورة في Findings of EMNLP 2026 (تم التحقق في 29 أكتوبر 2026). قيّم مؤلفوها 16 نموذجًا رائدًا على سبع ألعاب، ومن أبرز نتائجهم أن ترتيب النماذج يعتمد بشدة على المهمة. انتقل إلى لعبة مختلفة فيتغيّر الترتيب.

فكّر الآن في لوحة صدارة بمتوسط واحد في الأعلى. المتوسط يخفي الألعاب. إذا كانت مهمتك تشبه الألعاب التي يتفوق فيها نموذج ما، فأنت الرابح. وإن لم تكن كذلك، فالرقم الذي قرأته كان عن شيء آخر.

ما هي الألعاب السبع#

الألعاب هي Word Chain وWordle و20 Questions وWheel of Fortune وSituation Puzzles و20 Features وAlias (الأسماء من ملف README للمشروع على GitHub، تم التحقق في 29 أكتوبر 2026). إنها متعددة الأدوار: لا يجيب النموذج مرة واحدة، بل يلعب. يخمّن، يحصل على تغذية راجعة، يخمّن مجددًا. Wordle هي الصورة السهلة: تقترح كلمة، تعرف أي الحروف تناسب، وتحاول مجددًا.

هناك أمران في التصميم يستحقان النسخ في اختبارك الخاص.

أولًا، من يتحقق من الإجابة. تُقيَّم أربع ألعاب بواسطة كود عادي. الثلاث الأخرى تستخدم نموذجًا لغويًا مقيّدًا كمنفّذ للقواعد، وقد تحقق المؤلفون من صحته مقابل مُعلّقين بشريين. لا بد دائمًا من شخص يقرر ما يُعدّ صحيحًا. في اختبارك المصغّر، هذا الشخص هو أنت.

ثانيًا، اللغة. المجموعة ثنائية اللغة، الإنجليزية والروسية، وقد وُلّدت الحلقات أصليًا بكل لغة، لا مترجمة. جمع المؤلفون أيضًا خط أساس بشريًا، 476 جلسة، مُبلَّغًا عنه للروسية. خلاصتهم: أقوى النماذج المزوّدة بالاستدلال تضاهي ذلك الخط الأساسي أو تتجاوزه عبر المجموعة.

ما لا تستطيع الدرجة إخبارك به#

لا تستطيع إخبارك كيف تسأل. يقارن MTGBench ثلاثة إعدادات: answer-only (الافتراضي)، وchain-of-thought، وnative reasoning. يذكر المؤلفون أن CoT شبه ضروري لألعاب مستوى الحروف لكنه يعطي مكاسب غير متساوية في المهام المعرفية. لذا يبدو النموذج نفسه مختلفًا حسب طريقة السؤال. عند الاختبار، جرّب أصعب مطالبة لديك بالطريقتين.

لا تستطيع إخبارك بتكلفة التفكير. التفكير بصوت عالٍ نص يكتبه النموذج، والنص المكتوب هو مخرجات، الجانب الأغلى في الفاتورة (المزيد في Input vs output tokens وReasoning effort and thinking tokens). لنقل إن مطالبة من 600 توكن تحصل على إجابة من 100 توكن دون CoT وإجابة من 600 توكن معه. على DeepSeek-V4-Flash ذلك $0.000019 مقابل $0.000069 لكل طلب. مبلغ صغير، حتى ترسل آلاف الطلبات يوميًا.

لا تستطيع إخبارك عن لغتك. يبني MTGBench حلقاته أصليًا بالإنجليزية والروسية بدلًا من الترجمة، وهذا تلميح بحد ذاته: اللغة جزء من المهمة. إذا كتب مستخدموك بالروسية، ضع مطالبات روسية ضمن الخمس.

شغّل اختبار الخمس مطالبات#

واجهة API متوافقة مع OpenAI، لذا يشغّل سكربت واحد أي نموذج ولا يتغيّر سوى معرّف النموذج (المعرّفات في التوثيق).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

يعرض الجدول أدناه المثال نفسه، خمسة طلبات من 600 توكن إدخال و300 إخراج، على كل نموذج لدينا، مع OpenRouter بجانبه للمرجعية. يُحتسب الإدخال والإخراج معًا، والإجمالي أقل من إجمالي OpenRouter في كل صف.

نموذج يسجّل 9 من 10 بجزء من التكلفة يتفوق على نموذج يسجّل 10 من 10 بأسعار أعلى عدة مرات، والآن يمكنك رؤية أي حالة أنت فيها. تحتوي صفحة الأسعار على الأرقام الحية لبقية النماذج، وتغطي صفحة DeepSeek الإجابات الطويلة (حتى 32,768 توكن إخراج) إذا كانت مطالباتك تحتاج مخرجات خطوة بخطوة.

ماذا تضع في مطالباتك الخمس#

الخمس الصحيحة تعتمد على ما تبنيه. اختر حالتك.

عندما تصلك الأرقام، تساعدك How to choose an AI model في بقية القرار: حجم السياق، وطول المخرجات، وما تفعله عندما يتعادل نموذجان.