วิธีอ่าน AI benchmark: MTGBench และการทดสอบ 5 prompt

คุณเปิด leaderboard เห็นโมเดล A อยู่เหนือโมเดล B แล้วเลือก A จากนั้น A สะดุดกับงานของคุณ แต่ B ไม่เป็นอะไรเลย ไม่มีอะไรเสีย: อันดับคือค่าเฉลี่ยจากงานของคนอื่น และงานของคุณอาจไม่เหมือนของพวกเขา วิธีแก้ก็เล็กน้อย ห้า prompt ของคุณเอง รันบนสองโมเดล อ่านคำตอบและเทียบต้นทุนต่องานของแต่ละตัว ส่วนที่เหลือของหน้านี้จะแสดงว่าทำไมวิธีนี้ได้ผล โดยใช้ paper ใหม่เป็นตัวอย่าง และให้สคริปต์กับคุณ

ทำไมอันดับจึงไม่ใช่คำตัดสิน#

paper คือ MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment เผยแพร่ใน Findings of EMNLP 2026 (ตรวจสอบเมื่อ 29 ตุลาคม 2026) ผู้เขียนประเมินโมเดล frontier 16 ตัวบนเกมเจ็ดเกม และหนึ่งในข้อค้นพบหลักคืออันดับของโมเดลขึ้นอยู่กับงานอย่างมาก เปลี่ยนไปเกมอื่น ลำดับก็เปลี่ยน

ทีนี้ลองคิดถึง leaderboard ที่มีค่าเฉลี่ยเดียวอยู่ด้านบน ค่าเฉลี่ยซ่อนเกมไว้ ถ้างานของคุณเหมือนกับเกมที่โมเดลเก่ง คุณก็ชนะ ถ้าไม่ ตัวเลขที่คุณอ่านก็เป็นเรื่องอื่น

เจ็ดเกมคืออะไร#

เกมคือ Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features และ Alias (ชื่อจาก project README บน GitHub ตรวจสอบเมื่อ 29 ตุลาคม 2026) เป็นแบบหลายเทิร์น: โมเดลไม่ได้ตอบครั้งเดียว แต่เล่น เดา ได้รับ feedback เดาอีก Wordle คือภาพที่ง่ายที่สุด: คุณเสนอคำ รู้ว่าตัวอักษรไหนเข้าที่ แล้วลองใหม่

มีสองอย่างในการออกแบบที่ควรลอกมาใช้ในการทดสอบของคุณ

อย่างแรก ใครตรวจคำตอบ สี่เกมให้คะแนนด้วยโค้ดธรรมดา อีกสามเกมใช้ LLM แบบจำกัดเป็นผู้บังคับกฎ และผู้เขียนตรวจสอบกับผู้กำกับมนุษย์แล้ว มีคนต้องตัดสินเสมอว่าอะไรนับว่าถูก ในการทดสอบเล็กๆ ของคุณ คนนั้นคือคุณ

อย่างที่สอง ภาษา ชุดทดสอบเป็นสองภาษา อังกฤษและรัสเซีย และตอนถูกสร้างขึ้นมาโดยตรงในแต่ละภาษา ไม่ได้แปล ผู้เขียนยังเก็บ baseline ของมนุษย์ 476 session รายงานสำหรับรัสเซีย สรุปของพวกเขา: โมเดลที่เปิด reasoning ที่แข็งแกร่งที่สุดเทียบเท่าหรือเกิน baseline นั้นทั่วทั้งชุด

สิ่งที่คะแนนบอกคุณไม่ได้#

มันบอกไม่ได้ว่าต้องถามอย่างไร MTGBench เปรียบเทียบสามรูปแบบ: answer-only (ค่าเริ่มต้น), chain-of-thought และ native reasoning ผู้เขียนรายงานว่า CoT เกือบจำเป็นสำหรับเกมระดับตัวอักษร แต่ให้ผลเพิ่มไม่สม่ำเสมอบนเกมที่ขับเคลื่อนด้วยความรู้ ดังนั้นโมเดลเดียวกันดูต่างกันไปตามวิธีที่ถูกถาม เมื่อคุณทดสอบ ลอง prompt ที่ยากที่สุดของคุณทั้งสองวิธี

มันบอกต้นทุนของการคิดไม่ได้ การคิดออกเสียงคือข้อความที่โมเดลเขียน และข้อความที่เขียนคือ output ซึ่งเป็นฝั่งที่แพงกว่าของบิล (เพิ่มเติมใน Input vs output tokens และ Reasoning effort and thinking tokens) สมมติ prompt 600 token ได้คำตอบ 100 token โดยไม่มี CoT และได้คำตอบ 600 token เมื่อมี บน DeepSeek-V4-Flash นั่นคือ $0.000019 เทียบกับ $0.000069 ต่อคำขอ เงินเล็กน้อย จนกว่าคุณจะส่งคำขอหลายพันครั้งต่อวัน

มันบอกเกี่ยวกับภาษาของคุณไม่ได้ MTGBench สร้างตอนของมันโดยตรงในภาษาอังกฤษและรัสเซียแทนการแปล ซึ่งเป็นเบาะแสในตัว: ภาษาเป็นส่วนหนึ่งของงาน ถ้าผู้ใช้ของคุณเขียนเป็นภาษารัสเซีย ให้ใส่ prompt ภาษารัสเซียในห้าข้อของคุณ

รันการทดสอบ 5 prompt#

API เข้ากันได้กับ OpenAI ดังนั้นสคริปต์เดียวรันโมเดลใดก็ได้ และมีเพียง id ของโมเดลที่เปลี่ยน (id อยู่ใน docs)

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

ตารางด้านล่างแสดงตัวอย่างเดียวกัน ห้าคำขอที่ 600 token เข้าและ 300 ออก บนทุกโมเดลที่เรามี โดยมี OpenRouter อยู่ข้างๆ เพื่ออ้างอิง input และ output นับรวมกัน และยอดรวมต่ำกว่าของ OpenRouter ในทุกแถว

โมเดลที่ได้ 9 จาก 10 ด้วยต้นทุนเศษเสี้ยวชนะโมเดลที่ได้ 10 จาก 10 ด้วยราคาหลายเท่า และตอนนี้คุณเห็นได้ว่าคุณอยู่ในกรณีไหน หน้าราคา มีตัวเลขสดสำหรับโมเดลที่เหลือ และ หน้า DeepSeek ครอบคลุมคำตอบยาว (สูงสุด 32,768 output token) ถ้า prompt ของคุณต้องการผลลัพธ์ทีละขั้น

ควรใส่อะไรในห้า prompt ของคุณ#

ห้าข้อที่ถูกต้องขึ้นอยู่กับสิ่งที่คุณสร้าง เลือกกรณีของคุณ

เมื่อได้ตัวเลขแล้ว วิธีเลือกโมเดล AI ช่วยในส่วนที่เหลือของการตัดสินใจ: ขนาด context ความยาว output และจะทำอย่างไรเมื่อสองโมเดลเสมอกัน