Cách đọc một benchmark AI: MTGBench và bài kiểm tra 5 prompt

Bạn mở một bảng xếp hạng, thấy mô hình A đứng trên mô hình B, và chọn A. Rồi A vấp ngã trên tác vụ của bạn còn B thì không. Không có gì hỏng cả: thứ hạng là điểm trung bình trên tác vụ của người khác, và tác vụ của bạn có thể không giống của họ. Cách khắc phục rất nhỏ. Lấy năm prompt của chính bạn, chạy trên hai mô hình, đọc câu trả lời và so sánh chi phí mỗi tác vụ của từng mô hình. Phần còn lại của trang này giải thích vì sao cách đó hiệu quả, dùng một bài báo mới làm ví dụ, và đưa bạn đoạn script.

Vì sao thứ hạng không phải là phán quyết#

Bài báo là MTGBench: A Multi-Turn Game Benchmark for Diverse LLM Capability Assessment, công bố trong Findings of EMNLP 2026 (kiểm tra ngày 29 tháng 10 năm 2026). Các tác giả đánh giá 16 mô hình tiên tiến trên bảy trò chơi, và một trong những phát hiện chính là thứ hạng mô hình phụ thuộc rất nhiều vào tác vụ. Chuyển sang một trò chơi khác là thứ tự thay đổi.

Giờ hãy nghĩ về một bảng xếp hạng chỉ có một con số trung bình ở trên cùng. Con số trung bình che giấu các trò chơi. Nếu tác vụ của bạn giống những trò mà một mô hình chơi giỏi, bạn thắng. Nếu không, con số bạn đọc là về một thứ khác.

Bảy trò chơi là gì#

Các trò chơi là Word Chain, Wordle, 20 Questions, Wheel of Fortune, Situation Puzzles, 20 Features và Alias (tên lấy từ README của dự án trên GitHub, kiểm tra ngày 29 tháng 10 năm 2026). Chúng đều nhiều lượt: mô hình không trả lời một lần mà chơi. Đoán, nhận phản hồi, đoán lại. Wordle là ví dụ dễ hình dung: bạn đề xuất một từ, biết chữ cái nào khớp, rồi thử lại.

Có hai điểm trong thiết kế đáng để bạn sao chép vào bài kiểm tra của mình.

Thứ nhất, ai kiểm tra câu trả lời. Bốn trò được chấm bằng code thông thường. Ba trò còn lại dùng một LLM bị ràng buộc làm người thực thi luật, và các tác giả đã đối chiếu nó với người chú giải. Luôn phải có ai đó quyết định thế nào là đúng. Trong bài kiểm tra nhỏ của bạn, người đó chính là bạn.

Thứ hai, ngôn ngữ. Bộ bài kiểm tra là song ngữ, tiếng Anh và tiếng Nga, và các phiên được tạo nguyên bản bằng từng ngôn ngữ, không phải dịch. Các tác giả cũng thu thập một đường cơ sở của con người, 476 phiên, được báo cáo cho tiếng Nga. Tóm tắt của họ: các mô hình có khả năng suy luận mạnh nhất đạt hoặc vượt đường cơ sở đó trên toàn bộ bộ bài kiểm tra.

Điều một điểm số không thể cho bạn biết#

Nó không thể cho bạn biết cách hỏi. MTGBench so sánh ba thiết lập: answer-only (mặc định), chain-of-thought và native reasoning. Các tác giả báo cáo rằng CoT gần như thiết yếu với các trò chơi ở mức chữ cái nhưng mang lại lợi ích không đồng đều trên các trò dựa vào kiến thức. Vậy cùng một mô hình trông khác nhau tùy cách được hỏi. Khi kiểm tra, hãy thử prompt khó nhất của bạn theo cả hai cách.

Nó không thể cho bạn biết chi phí của việc suy nghĩ. Suy nghĩ thành lời là văn bản mô hình viết ra, và văn bản viết ra là output, phía đắt hơn của hóa đơn (xem thêm Input vs output tokens và Reasoning effort and thinking tokens). Giả sử một prompt 600 token nhận câu trả lời 100 token không có CoT và câu trả lời 600 token khi có CoT. Trên DeepSeek-V4-Flash, đó là $0.000019 so với $0.000069 mỗi yêu cầu. Tiền nhỏ, cho đến khi bạn gửi hàng nghìn yêu cầu mỗi ngày.

Nó không thể cho bạn biết về ngôn ngữ của bạn. MTGBench tạo các phiên nguyên bản bằng tiếng Anh và tiếng Nga thay vì dịch, và bản thân điều đó là một gợi ý: ngôn ngữ là một phần của tác vụ. Nếu người dùng của bạn viết bằng tiếng Nga, hãy đưa prompt tiếng Nga vào năm prompt của bạn.

Chạy bài kiểm tra 5 prompt#

API tương thích OpenAI, nên một script chạy được mọi mô hình và chỉ cần đổi id mô hình (id có trong tài liệu).

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
models = ["deepseek-ai/DeepSeek-V4-Flash-0731", "zai-org/GLM-5.3-Flash"]
prompts = [open(f"prompts/{i}.txt").read() for i in range(1, 6)]

for model in models:
    tin = tout = 0
    for i, prompt in enumerate(prompts, 1):
        r = client.chat.completions.create(
            model=model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=2000,
        )
        tin += r.usage.prompt_tokens
        tout += r.usage.completion_tokens
        print(f"--- {model} / prompt {i} / {r.choices[0].finish_reason}")
        print(r.choices[0].message.content)
    print(f"=== {model}: {tin} in, {tout} out")

Bảng dưới đây cho thấy cùng ví dụ đó, năm yêu cầu với 600 token input và 300 output, trên mọi mô hình chúng tôi có, kèm OpenRouter bên cạnh để tham khảo. Input và output được tính cùng nhau, và tổng thấp hơn của OpenRouter ở mỗi dòng.

Một mô hình đạt 9/10 với một phần nhỏ chi phí đánh bại một mô hình đạt 10/10 với giá gấp nhiều lần, và giờ bạn có thể thấy mình đang ở trường hợp nào. Trang giá có số liệu trực tiếp cho các mô hình còn lại, và trang DeepSeek đề cập câu trả lời dài (tối đa 32.768 token output) nếu prompt của bạn cần đầu ra từng bước.

Nên đưa gì vào năm prompt của bạn#

Năm prompt đúng phụ thuộc vào thứ bạn xây dựng. Hãy chọn trường hợp của bạn.

Khi đã có số liệu, Cách chọn một mô hình AI giúp với phần còn lại của quyết định: kích thước ngữ cảnh, độ dài đầu ra, và phải làm gì khi hai mô hình hòa nhau.