عُدّ الرموز قبل إرسال الطلب: tiktoken في Python

يمكنك عدّ رموز (tokens) أي prompt على جهازك قبل إرساله: ثبّت tiktoken، ورمّز النص، ثم خذ len() من النتيجة. إن tiktoken هو مُرمِّز OpenAI، لذا فإن الرقم بالنسبة لنماذج DeepSeek وGLM وMiniMax هو تقدير. يأتي الرقم الحقيقي في usage.prompt_tokens بعد أول استدعاء، ومقارنة الرقمين لا تحتاج إلا سطرًا إضافيًا واحدًا.

لماذا نتكبد العناء؟ لأن الفاتورة والأخطاء كلتيهما تبدأ من حجم المدخلات. ألصق عقدًا طويلًا في سكربت، ولن تكتشف أنه أكبر من اللازم إلا حين يردّ الـ API بخطأ 400. شغّل دفعة من خمسة آلاف بريد إلكتروني، ولن تعرف كم كلّفتك إلا حين ينخفض الرصيد. العدّ أولًا يحوّل هذين المفاجأتين إلى رقم يمكنك قراءته مسبقًا.

خمسة أسطر لعدّ الرموز#

يعرض tiktoken README (تم التحقق منه في 1 نوفمبر 2026) الفكرة كاملة: اختر ترميزًا، ورمّز النص، وطول القائمة هو عدد الرموز.

pip install tiktoken

import tiktoken

enc = tiktoken.get_encoding('o200k_base')
text = 'Hello world'
tokens = enc.encode(text)
print(len(tokens))  # how many tokens the text is

يعيد enc.decode(tokens) النص الأصلي، وهو فحص سريع مفيد للتأكد من أنك تنظر إلى النص نفسه الذي سيراه النموذج. يذكر الـ README أيضًا tiktoken.encoding_for_model('gpt-4o')، الذي يختار المُرمِّز لنموذج OpenAI محدد. وهنا التفصيل الجدير بالتذكر: المُرمِّزات تنتمي إلى عائلات النماذج. القاعدة التقريبية في الـ README هي نحو أربعة بايتات من النص لكل رمز، وهي تصف مُرمِّزات OpenAI فقط.

إذن ماذا تفعل مع نموذج DeepSeek؟ استخدم العدد نفسه كتقدير عملي، وعايره كما هو موضح أدناه.

هل يتسع الـ prompt لنافذة السياق؟#

لكل نموذج نافذة سياق، ويجب أن تتسع لها مدخلاتك مع الإجابة التي تسمح بها. نوافذ النماذج التي نقدمها: DeepSeek-V4-Flash بسعة 380K، وGLM-5.3-Flash بسعة 390K، وMiniMax-M2.7 بسعة 180K رمز. أطول إجابة هي 32,768 رمزًا لـ DeepSeek-V4-Flash و8,192 للآخرين (قائمة نماذج CheapTokens، 1 نوفمبر 2026).

فحص وقائي قبل الاستدعاء يتكون من أربعة أسطر:

CONTEXT = {
    'deepseek-ai/DeepSeek-V4-Flash-0731': 380_000,
    'zai-org/GLM-5.3-Flash': 390_000,
    'MiniMaxAI/MiniMax-M2.7': 180_000,
}

def fits(prompt_tokens, max_tokens, model):
    return prompt_tokens + max_tokens <= CONTEXT[model]

لنفترض أن لديك مستندًا من 250,000 رمز. إن fits(250_000, 8_192, 'MiniMaxAI/MiniMax-M2.7') تساوي False، لذا توجّه تلك المهمة إلى نموذج بنافذة أكبر أو تقسّم المستند، ولن يحدث خطأ 400 أبدًا. إن fits(250_000, 8_192, 'deepseek-ai/DeepSeek-V4-Flash-0731') تساوي True. وإذا أردت القصة الكاملة لشكل الخطأ، فإن request too long: 400 vs 413, context window and max_tokens يستعرضها بالتفصيل.

كم ستكلف؟#

الآن الميزانية. خذ عنصرًا نموذجيًا واحدًا، وعُدّه، ثم اضرب. لنفترض أنك تصنّف 5,000 بريد طلب. تعدّ بريدًا واحدًا ممثلًا فتحصل على نحو 800 رمز إدخال، وتحدّد التصنيف وسببًا قصيرًا بحد أقصى 200 رمز إخراج. الإجماليات: 5,000 × 800 = 4,000,000 رمز إدخال و5,000 × 200 = 1,000,000 رمز إخراج.

يسعّر الجدول أدناه هذا الحمل بالضبط بالأسعار الحية، مع احتساب الإدخال والإخراج معًا:

في الإجمالي، مع احتساب الإدخال والإخراج معًا، يكون عمود CheapTokens أرخص من OpenRouter لهذه النماذج. غيّر الأرقام الثلاثة إلى أعدادك الخاصة وستحصل على ميزانية قبل أول طلب. للفرق بين جانبي الفاتورة، راجع input vs output tokens: what an AI API bills you for، وللأمثلة المقاسة الفعلية راجع how many tokens an API request uses. الأسعار الحالية دائمًا على صفحة الأسعار.

قارن التقدير بالاستخدام#

التقدير تخمين حول مُرمِّز شخص آخر، لذا تحقق منه مرة واحدة مقابل مفتاح الإجابة. كل استجابة تحمل حقل usage، وusage.prompt_tokens هو ما عدّه الـ API لمدخلاتك. ضع الرقمين جنبًا إلى جنب واقسم.

pip install tiktoken openai
export CHEAPTOKENS_API_KEY='your-key-here'

import os
import tiktoken
from openai import OpenAI

MODEL = 'deepseek-ai/DeepSeek-V4-Flash-0731'
enc = tiktoken.get_encoding('o200k_base')
messages = [{'role': 'user',
             'content': 'Classify this email as order, refund or other: Hi, my parcel from last Tuesday has not arrived yet.'}]

estimate = sum(len(enc.encode(m['content'])) for m in messages)

client = OpenAI(base_url='https://api.cheaptokens.dev/v1',
                api_key=os.environ['CHEAPTOKENS_API_KEY'])
r = client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)

real = r.usage.prompt_tokens
print(f'estimate {estimate}, usage.prompt_tokens {real}, ratio {real / estimate:.2f}')

منذ ذلك الحين يصبح الروتين: قدّر محليًا، واحمِ النافذة، وطبّق نسبتك على الميزانية، ودع usage في كل استجابة يبقيك على صواب. وإذا أردت أيضًا الإجمالي التراكمي على مهمة كاملة، فإن track AI agent token cost in Python يبني ذلك على الحقل نفسه. جديد على الاتصال نفسه؟ Your first API request with CheapTokens يغطيه، والتوثيق فيه الباقي.

العدّ رخيص ومحلي ويستغرق ثوانٍ. افعله قبل الاستدعاء الذي يكلف مالًا.