AI-তে টোকেন কী? একটি সহজ-ইংরেজি ব্যাখ্যা

একটি টোকেন হলো টেক্সটের একটি ছোট অংশ যা একটি ভাষা মডেল নিয়ে কাজ করে: একটি সম্পূর্ণ শব্দ, একটি শব্দের অংশ, একটি বিরামচিহ্ন, অথবা একটি শব্দ এবং তার সামনের স্পেস। মডেলগুলি আপনার প্রম্পটকে টোকেন হিসেবে পড়ে, উত্তরটি টোকেন হিসেবে লেখে, এবং AI API গুলি টোকেন অনুযায়ী বিল করে। তাই "এটি কত টোকেন" আসলে দুটি প্রশ্ন: এটি ফিট হবে কি, এবং এর খরচ কত হবে।

একটি মডেল কীভাবে টেক্সটকে টোকেনে কাটে#

একটি মডেল আপনার টেক্সট দেখার আগে, একটি টোকেনাইজার এটিকে একটি নির্দিষ্ট শব্দভাণ্ডার থেকে টুকরো টুকরো করে ভাগ করে এবং প্রতিটি টুকরোকে একটি সংখ্যায় পরিণত করে। ঘন ঘন ব্যবহৃত শব্দগুলি সাধারণত একটি একক টোকেন পায়। বিরল এবং দীর্ঘ শব্দগুলি অংশে বিভক্ত হয়।

এখানে একটি বাস্তব উদাহরণ। আমরা একটি বাক্য দুটি টোকেনাইজারের মাধ্যমে চালিয়েছি: DeepSeek-V4-Flash-0731 এর সাথে প্রকাশিত একটি এবং OpenAI এর o200k_base এনকোডিং।

ইংরেজিতে উভয় টোকেনাইজার একমত: ৯টি শব্দ, ১১টি টোকেন। কমা এবং দাঁড়ি নিজেদের টোকেন, এবং বেশিরভাগ শব্দ তাদের সামনের স্পেস বহন করে।

দীর্ঘ শব্দগুলি যেখানে টোকেনাইজারগুলি ভিন্ন হতে শুরু করে। "tokenization" উভয় ক্ষেত্রেই দুটি টোকেন: token + ization। রাশিয়ান শব্দ «токенизация» DeepSeek এর জন্য তিনটি টোকেন এবং OpenAI এর জন্য চারটি। একই শব্দ, ভিন্ন সংখ্যা।

একটি শব্দ কত টোকেন#

টোকেন সম্পর্কে একটি ছোট অনুচ্ছেদ দিয়ে একটি দ্রুত পরীক্ষা, ইংরেজি এবং রাশিয়ান ভাষায়:

ইংরেজি টেক্সটের জন্য, প্রতি শব্দে প্রায় ১.১–১.২ টোকেন একটি ন্যায্য অনুমান। অন্যান্য লিপি সাধারণত বেশি খরচ করে: রাশিয়ান সংস্করণটি কম শব্দে একই কথা বলে কিন্তু DeepSeek এর টোকেনাইজার দিয়ে প্রায় ২০% বেশি টোকেন নেয়।

এগুলিকে নিয়ম হিসেবে বিবেচনা করুন। প্রতিটি মডেল পরিবারের নিজস্ব টোকেনাইজার রয়েছে, এবং আপনার টেক্সটের সঠিক সংখ্যা হল যা API ফেরত দেয়।

টোকেন হল যা আপনি পরিশোধ করেন#

API মূল্য প্রতি মিলিয়ন টোকেনে উদ্ধৃত করা হয়, ইনপুট এবং আউটপুটের জন্য আলাদাভাবে:

• ইনপুট টোকেন — আপনি যা পাঠান সবকিছু: সিস্টেম প্রম্পট, চ্যাট ইতিহাস, নথি এবং আপনার প্রশ্ন;
• আউটপুট টোকেন — মডেল যা ফেরত লেখে সবকিছু, এর যুক্তি সহ যদি মডেল উত্তর দেওয়ার আগে যুক্তি করে।

একটি অনুরোধের খরচ হল ইনপুট টোকেন × ইনপুট মূল্য + আউটপুট টোকেন × আউটপুট মূল্য।

দুটি ব্যবহারিক পরিণতি। একটি দীর্ঘ চ্যাট প্রতিটি বার্তার সাথে আরও ব্যয়বহুল হয়, কারণ প্রতিবার সম্পূর্ণ ইতিহাস ইনপুট হিসেবে মডেলে ফিরে যায়। এবং আউটপুট সাধারণত ইনপুটের চেয়ে প্রতি টোকেনে কয়েকগুণ বেশি খরচ করে, তাই ছোট উত্তর চাওয়া আসল টাকা সাশ্রয় করে।

চারটি জিনিস যাকে মানুষ "টোকেন" বলে#

শব্দটি ওভারলোডেড, যার কারণে এটি অনুসন্ধান করা এত বিভ্রান্তিকর:

যদি আপনি "একটি টোকেন হল…" এর মতো একটি কুইজ প্রশ্নের উত্তর দিচ্ছেন, ভাষা মডেলের জন্য সঠিক উত্তর হল টেক্সটের একটি অংশ: একটি শব্দ, একটি শব্দের অংশ বা একটি প্রতীক।

কেন আপনি "যথেষ্ট টোকেন নেই" দেখতে পারেন#

একই বাক্যাংশ চারটি ভিন্ন সমস্যার দিকে ইঙ্গিত করতে পারে, এবং তাদের মধ্যে শুধুমাত্র একটি টাকা সম্পর্কে:

• প্রম্পটটি কনটেক্সট উইন্ডোতে ফিট করে না। প্রতিটি মডেলের ইনপুট প্লাস আউটপুটের উপর একটি সীমা থাকে। CheapTokens এ এটি DeepSeek-V4-Flash এর জন্য ৩৮০,০০০ টোকেন, GLM-5.3-Flash এর জন্য ৩৯০,০০০ এবং MiniMax-M2.7 এর জন্য ২০০,০০০। ইতিহাস সংক্ষিপ্ত করুন বা নথিটি ভাগ করুন।
• উত্তরটি আউটপুট সীমায় পৌঁছেছে। উত্তরটি মাঝ-বাক্যে থেমে যায়। মডেলের সর্বোচ্চের মধ্যে max_tokens বাড়ান, অথবা একটি ছোট উত্তর চান।
• ব্যালেন্স শেষ হয়ে গেছে। এটি একমাত্র ক্ষেত্রে যেখানে টপ আপ এটি ঠিক করে।
• অ্যাপের নিজস্ব সীমা রয়েছে। চ্যাট পরিষেবাগুলি প্রায়শই তাদের নিজস্ব নিয়ম দ্বারা ব্যবহার সীমাবদ্ধ করে, মডেলের সাথে সম্পর্কিত নয়।

আপনার নিজের টেক্সটে টোকেন কীভাবে গণনা করবেন#

সবচেয়ে নির্ভরযোগ্য সংখ্যা API থেকে আসে: প্রতিটি প্রতিক্রিয়াতে usage ব্লক থাকে যাতে prompt_tokens এবং completion_tokens থাকে।

পাঠানোর আগে অনুমান করতে, স্থানীয়ভাবে মডেলের টোকেনাইজার চালান। ওপেন মডেলগুলি তাদের টোকেনাইজার ওয়েটের পাশে প্রকাশ করে। এই স্নিপেটটি DeepSeek-V4-Flash-0731 টোকেনাইজার দিয়ে উদাহরণ বাক্যটি গণনা করে:

# pip install tokenizers huggingface_hub
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

path = hf_hub_download("deepseek-ai/DeepSeek-V4-Flash-0731", "tokenizer.json")
tok = Tokenizer.from_file(path)

text = "A neural network reads text in tokens, not words."
enc = tok.encode(text, add_special_tokens=False)
print(len(enc.ids))  # 11

OpenAI মডেলের জন্য tiktoken লাইব্রেরি আছে। মনে রাখবেন যে একটি টোকেনাইজার থেকে একটি গণনা অন্য কোনও মডেলের জন্য শুধুমাত্র একটি অনুমান।

আপনার পরবর্তী পদক্ষেপ#

একটি বাজেট অনুমান করতে, একটি সাধারণ প্রম্পট এবং উত্তর আকার নিন এবং প্রতি মিলিয়ন টোকেনের মূল্য দিয়ে গুণ করুন। বর্তমান CheapTokens মূল্য, মার্কিন ডলারে স্থির: