অনুরোধ পাঠানোর আগে টোকেন গণনা করুন: Python-এ tiktoken

আপনি অনুরোধ পাঠানোর আগেই নিজের মেশিনে একটি প্রম্পটের টোকেন গণনা করতে পারেন: tiktoken ইনস্টল করুন, টেক্সট এনকোড করুন, ফলাফলের len() নিন। tiktoken হলো OpenAI-এর টোকেনাইজার, তাই DeepSeek, GLM ও MiniMax মডেলের জন্য সংখ্যাটি একটি অনুমান। প্রকৃত সংখ্যা প্রথম কলের পর usage.prompt_tokens-এ ফিরে আসে, এবং দুটির তুলনা করতে আরও একটি লাইন লাগে।

কেন এই ঝামেলা? কারণ বিল এবং ত্রুটি—দুটোই ইনপুটের আকার থেকে শুরু হয়। একটি স্ক্রিপ্টে একটি দীর্ঘ চুক্তিপত্র পেস্ট করুন, আর আপনি জানতে পারবেন এটি খুব বড় ছিল কেবল তখনই যখন API একটি 400 দিয়ে উত্তর দেয়। পাঁচ হাজার ইমেইলের একটি ব্যাচ চালান, আর আপনি জানতে পারবেন এতে কত খরচ হলো কেবল তখনই যখন ব্যালেন্স কমে যায়। আগে গণনা করলে এই দুটি অপ্রত্যাশিত ঘটনাই এমন একটি সংখ্যায় পরিণত হয় যা আপনি আগেই পড়তে পারেন।

টোকেন গণনা করার পাঁচটি লাইন#

tiktoken README (১ নভেম্বর ২০২৬-এ যাচাইকৃত) পুরো ধারণাটি দেখায়: একটি এনকোডিং বেছে নিন, টেক্সট এনকোড করুন, এবং তালিকার দৈর্ঘ্যই হলো টোকেন সংখ্যা।

pip install tiktoken

import tiktoken

enc = tiktoken.get_encoding('o200k_base')
text = 'Hello world'
tokens = enc.encode(text)
print(len(tokens))  # how many tokens the text is

enc.decode(tokens) মূল টেক্সট ফিরিয়ে দেয়, যা একটি সুবিধাজনক স্যানিটি চেক—আপনি যে টেক্সট দেখছেন সেটাই মডেল দেখবে কিনা। README-তে tiktoken.encoding_for_model('gpt-4o')-ও উল্লেখ আছে, যা একটি নির্দিষ্ট OpenAI মডেলের জন্য টোকেনাইজার বেছে নেয়। এটাই মনে রাখার মতো মূল বিষয়: টোকেনাইজার মডেল পরিবারের অন্তর্গত। README-এর নিয়ম হলো প্রতি টোকেনে প্রায় চার বাইট টেক্সট, এবং এটি কেবল OpenAI-এর টোকেনাইজার সম্পর্কে বলে।

তাহলে DeepSeek মডেলের জন্য আপনি কী করবেন? একই গণনাকে কার্যকর অনুমান হিসেবে ব্যবহার করুন, এবং নিচে দেখানো মতো এটি ক্যালিব্রেট করুন।

প্রম্পট কি উইন্ডোতে ফিট করে?#

প্রতিটি মডেলের একটি কনটেক্সট উইন্ডো থাকে, এবং আপনার ইনপুট যোগ আপনি যে উত্তর অনুমোদন করছেন তা এর মধ্যে ফিট হতে হবে। আমরা যে মডেলগুলো পরিবেশন করি তাদের উইন্ডো: DeepSeek-V4-Flash 380K, GLM-5.3-Flash 390K, MiniMax-M2.7 180K টোকেন। দীর্ঘতম উত্তর DeepSeek-V4-Flash-এর জন্য 32,768 টোকেন এবং বাকি দুটির জন্য 8,192 (CheapTokens মডেল তালিকা, ১ নভেম্বর ২০২৬)।

কলের আগে একটি গার্ড চার লাইন:

CONTEXT = {
    'deepseek-ai/DeepSeek-V4-Flash-0731': 380_000,
    'zai-org/GLM-5.3-Flash': 390_000,
    'MiniMaxAI/MiniMax-M2.7': 180_000,
}

def fits(prompt_tokens, max_tokens, model):
    return prompt_tokens + max_tokens <= CONTEXT[model]

ধরুন আপনার একটি 250,000-টোকেনের ডকুমেন্ট আছে। fits(250_000, 8_192, 'MiniMaxAI/MiniMax-M2.7') হলো False, তাই আপনি সেই কাজটি বড় উইন্ডোর একটি মডেলে পাঠান বা ডকুমেন্টটি ভাগ করুন, আর 400 কখনো ঘটবে না। fits(250_000, 8_192, 'deepseek-ai/DeepSeek-V4-Flash-0731') হলো True। ত্রুটিটি কেমন দেখায় তার পুরো গল্প জানতে চাইলে, request too long: 400 vs 413, context window and max_tokens তা বিস্তারিত দেখায়।

এতে কত খরচ হবে?#

এবার বাজেট। একটি সাধারণ আইটেম নিন, এটি গণনা করুন, এবং গুণ করুন। ধরুন আপনি ৫,০০০ অর্ডার ইমেইল শ্রেণিবদ্ধ করছেন। আপনি একটি প্রতিনিধিত্বমূলক ইমেইল গণনা করে পান প্রায় ৮০০ ইনপুট টোকেন, এবং লেবেল ও একটি সংক্ষিপ্ত কারণের জন্য ২০০ আউটপুট টোকেন সীমাবদ্ধ করেন। মোট: ৫,০০০ × ৮০০ = ৪,০০০,০০০ ইনপুট টোকেন এবং ৫,০০০ × ২০০ = ১,০০০,০০০ আউটপুট টোকেন।

নিচের টেবিলটি ঠিক সেই কাজটির মূল্য নির্ধারণ করে লাইভ দামে, ইনপুট ও আউটপুট একসাথে গণনা করে:

সব মিলিয়ে, ইনপুট ও আউটপুট একসাথে গণনা করলে, এই মডেলগুলোর জন্য CheapTokens কলামটি OpenRouter-এর চেয়ে সস্তা। তিনটি সংখ্যা আপনার নিজের গণনায় বদলে নিন, আর প্রথম অনুরোধের আগেই আপনার একটি বাজেট তৈরি হয়ে যাবে। বিলের দুই দিকের পার্থক্য জানতে, দেখুন input vs output tokens: what an AI API bills you for, এবং প্রকৃত পরিমাপ করা উদাহরণের জন্য how many tokens an API request uses। সর্বশেষ দাম সবসময় pricing page-এ থাকে।

অনুমানকে usage-এর সাথে তুলনা করুন#

অনুমানটি অন্য কারও টোকেনাইজার সম্পর্কে একটি আন্দাজ, তাই এটি একবার উত্তরপত্রের সাথে মিলিয়ে নিন। প্রতিটি প্রতিক্রিয়ায় একটি usage ফিল্ড থাকে, এবং usage.prompt_tokens হলো আপনার ইনপুটের জন্য API যা গণনা করেছে। দুটি সংখ্যা পাশাপাশি রাখুন এবং ভাগ করুন।

pip install tiktoken openai
export CHEAPTOKENS_API_KEY='your-key-here'

import os
import tiktoken
from openai import OpenAI

MODEL = 'deepseek-ai/DeepSeek-V4-Flash-0731'
enc = tiktoken.get_encoding('o200k_base')
messages = [{'role': 'user',
             'content': 'Classify this email as order, refund or other: Hi, my parcel from last Tuesday has not arrived yet.'}]

estimate = sum(len(enc.encode(m['content'])) for m in messages)

client = OpenAI(base_url='https://api.cheaptokens.dev/v1',
                api_key=os.environ['CHEAPTOKENS_API_KEY'])
r = client.chat.completions.create(model=MODEL, messages=messages, max_tokens=200)

real = r.usage.prompt_tokens
print(f'estimate {estimate}, usage.prompt_tokens {real}, ratio {real / estimate:.2f}')

এরপর থেকে রুটিন হলো: লোকালি অনুমান করুন, উইন্ডো পাহারা দিন, বাজেটে আপনার অনুপাত প্রয়োগ করুন, এবং প্রতিটি প্রতিক্রিয়ায় usage আপনাকে সৎ রাখতে দান করুন। যদি আপনি একটি পুরো কাজের চলমান মোটও চান, track AI agent token cost in Python একই ফিল্ডের উপর তা তৈরি করে। সংযোগটি নিজেই নতুন? Your first API request with CheapTokens তা কভার করে, এবং docs-এ বাকিটা আছে।

গণনা সস্তা, লোকাল এবং কয়েক সেকেন্ড লাগে। টাকা খরচ করে এমন কলের আগে এটি করুন।