কেন AI এজেন্ট এত টোকেন ব্যবহার করে (একটি ২০-ধাপের উদাহরণ)

আপনি একটি এজেন্টকে একটি প্রশ্ন করেন, এটি কয়েক মিনিট কাজ করে, এবং ব্যবহারের পৃষ্ঠাটি কয়েক লক্ষ টোকেন দেখায়। কিছুই ভাঙা নেই। একটি এজেন্ট একটি লুপ, এবং লুপের প্রতিটি পাল্টা এখন পর্যন্ত বলা সমস্ত কিছু (টুল তালিকা, ইতিহাস, টুল যা ফিরিয়েছে) ইনপুট টোকেন হিসেবে পুনরায় পাঠায়। এটি যে উত্তর লেখে তা ক্ষুদ্র। যা এটি বারবার পড়ে তা নয়।

একটি ছবিতে এজেন্ট কী#

একটি চ্যাট মডেল একবার উত্তর দেয়। একটি এজেন্ট হল একই মডেল যা টুলসহ একটি লুপের ভিতরে থাকে: একটি ফাইল পড়া, ওয়েব অনুসন্ধান, একটি কমান্ড চালানো। এবং মডেল কলগুলির মধ্যে কিছুই মনে রাখে না। এমন একজন সহকারী কল্পনা করুন যিনি প্রতিবার ফোন কাটার সময় সবকিছু ভুলে যান: প্রতিবার ফিরে কল করার সময়, আপনি উপরে থেকে নোট পড়েন, তারপর একটি লাইন যোগ করেন। এভাবেই API কাজ করে।

Anthropic-এর টুল-ব্যবহারের ডকুমেন্টেশন (২৬ অক্টোবর ২০২৬-এ যাচাই করা) লুপটি এভাবে বর্ণনা করে:

1. আপনার অ্যাপ ব্যবহারকারীর বার্তা এবং টুলের তালিকা পাঠায়।
2. মডেল stop_reason: "tool_use" এবং একটি tool_use ব্লক দিয়ে উত্তর দেয়: কোন টুল, কোন আর্গুমেন্ট সহ।
3. আপনার অ্যাপ টুলটি চালায় এবং একটি দ্বিতীয় অনুরোধ পাঠায়। এতে আগের বার্তাগুলি, মডেলের টুল কল, একটি tool_result ব্লক এবং একই টুল তালিকা থাকে।
4. মডেল উত্তর দেয়, বা অন্য একটি টুল চায়, এবং লুপটি আবার ঘুরতে থাকে।

একই পৃষ্ঠা বলে যে টুল-ব্যবহারের অনুরোধগুলি মোট পাঠানো ইনপুটের উপর বিল করা হয়, টুল প্যারামিটার সহ, এবং আউটপুট। তাই ধাপ ৩ কখনই "শুধু নতুন অংশ" নয়: এটি আবার পুরো কথোপকথন।

Request 1  tools + system + task
Request 2  tools + system + task + call 1 + result 1
Request 3  tools + system + task + call 1 + result 1 + call 2 + result 2
...

এটি কেন একটি দীর্ঘ চ্যাট বেশি খরচ করে এর মতো একই প্রক্রিয়া, শুধু দ্রুততর। আপনি টাইপ করলে একটি চ্যাট একটি বার্তা দিয়ে বাড়ে। একটি এজেন্ট প্রতিটি ধাপে দুটি ব্লক দিয়ে বাড়ে, এবং কেউ কিছু টাইপ করে না।

প্রতিটি ধাপে তিনটি জিনিস সাথে চলে#

টুল তালিকা। প্রতিটি টুলের নাম, বিবরণ এবং প্যারামিটার স্কিমা প্রতিটি অনুরোধে যায়, এমনকি যখন মডেল এই পাল্টায় কোনওটি ব্যবহার করে না। ডকুমেন্টেশন একটি ছোট অতিরিক্ত যোগ করে: টুল চালু থাকলে, API তার নিজস্ব টুল-ব্যবহারের প্রম্পট যোগ করে, Claude Sonnet 5.5, Opus 5.5 এবং Haiku 5.5-এ ২৮৬ টোকেন, এবং অন্যান্য মডেলের অন্যান্য সংখ্যা থাকে।

ইতিহাস। আপনার কাজ, মডেলের আগের টুল কল, তার নোট।

টুল আউটপুট। এটি হল ধূর্ত একটি। এজেন্ট যে ফাইলটি পড়েছে, অনুসন্ধান ফলাফলের একটি পৃষ্ঠা, একটি পরীক্ষার লগ: একবার এটি ইতিহাসে ঢুকে গেলে, প্রতিটি পরবর্তী ধাপে আবার এর জন্য অর্থ প্রদান করা হয়।

একটি টোকেন হল পাঠ্যের একটি ছোট টুকরা, মোটামুটি একটি ছোট শব্দ বা তার অংশ, এবং এই তিনটির প্রতিটি এতে গণনা করা হয়।

একটি ২০-ধাপের রান, গণনা করা#

ধরুন আপনি তিনটি টুল (একটি ফাইল পড়া, অনুসন্ধান, পরীক্ষা চালানো) সহ একটি ছোট কোডিং এজেন্ট চালান এবং এটিকে একটি কাজ দেন যা ২০টি ধাপ নেয়। এই অনুমানগুলি নিন:

• টুল সংজ্ঞা: ১,৫০০ টোকেন, সিস্টেম প্রম্পট: ৫০০, আপনার কাজ: ২০০, তাই প্রতিটি অনুরোধ ২,২০০ টোকেনে শুরু হয়;
• প্রতিটি ধাপে মডেল ১৫০ টোকেনের একটি টুল কল লেখে, এবং টুলটি ৮০০ টোকেন ফেরত দেয়;
• উভয়ই ইতিহাসে যোগ দেয়, তাই প্রতিটি ধাপ পরবর্তী অনুরোধে ৯৫০ টোকেন যোগ করে।

রানের মোট পেতে, সমস্ত ২০টি অনুরোধ যোগ করুন। ২,২০০-এর ভিত্তি ২০ বার পাঠানো হয়, এবং রাউন্ডগুলি পরবর্তী ধাপগুলি দ্বারা বহন করা হয়: ধাপ ১ কোনওটি বহন করে না, ধাপ ২ একটি, এবং এভাবে ১৯ পর্যন্ত, যা মোট ১৯০ রাউন্ড।

২০ × ২,২০০ = ৪৪,০০০

৯৫০ × ১৯০ = ১৮০,৫০০

৪৪,০০০ + ১৮০,৫০০ = ২২৪,৫০০ ইনপুট টোকেন, এবং ২০ × ১৫০ = ৩,০০০ আউটপুট টোকেন।

এজেন্ট ৩,০০০ টোকেন লিখেছে এবং ২২৪,৫০০ পড়েছে। আউটপুট টোকেনের প্রতিটির দাম ইনপুট টোকেনের চেয়ে বেশি (দেখুন ইনপুট বনাম আউটপুট টোকেন), কিন্তু এগুলি এত কম যে ইনপুট দিকই বিল নির্ধারণ করে। এখানে বর্তমান দামে সেই রান:

DeepSeek-V4-Flash-এ এমন একটি রান $0.0037-এ আসে, GLM-5.3-Flash-এ $0.0046-এ। একশো রান হল ২২,৪৫০,০০০ ইনপুট এবং ৩০০,০০০ আউটপুট টোকেন: DeepSeek-V4-Flash-এ $0.367। উপরের টেবিলটি ইনপুট এবং আউটপুট একসাথে গণনা করে, এবং মোটের উপর সেখানকার মডেলগুলি OpenRouter-এর চেয়ে সস্তা হয়।

ধাপের সংখ্যা যতটা দেখায় তার চেয়ে বেশি গুরুত্বপূর্ণ। একই অনুমান সহ একটি ৫-ধাপের রান:

৫ × ২,২০০ = ১১,০০০

৯৫০ × ১০ = ৯,৫০০

১১,০০০ + ৯,৫০০ = ২০,৫০০ ইনপুট টোকেন। চারগুণ ধাপ প্রায় এগারো গুণ ইনপুট দিয়েছে, কারণ প্রতিটি নতুন ধাপ সমস্ত পুরানোগুলিও আবার পড়ে।

কোথায় কাটবেন: চারটি অভ্যাস#

একটি টুল ফলাফল সংরক্ষণের সবচেয়ে সহজ জায়গা। ধরুন ধাপ ৩-এ একটি পরীক্ষার রান ৪,০০০-টোকেনের একটি লগ ফেরত দেয়। এটি তখন পরবর্তী ১৭টি অনুরোধ দ্বারা পুনরায় পাঠানো হয়:

• আগে: ৪,০০০ × ১৭ = ৬৮,০০০ ইনপুট টোকেন সেই একটি লগ দ্বারা বহন করা হয়;
• পরে, যদি টুলটি শুধুমাত্র ৪০টি প্রাসঙ্গিক লাইন (প্রায় ৪০০ টোকেন) ফেরত দেয়: ৪০০ × ১৭ = ৬,৮০০।

একই কাজ, একই উত্তর, সেই একটি ফলাফল থেকে ইনপুটের এক-দশমাংশ। এটি চারটি অভ্যাস দেয়:

• টুল থেকে কম ফেরত দিন। ত্রুটির চারপাশের লাইন, পুরো লগ নয়; ফাংশন, পুরো ফাইল নয়। টুল আউটপুট প্রসঙ্গের বাইরে রাখা-এ একটি দীর্ঘ আলোচনা আছে।
• এজেন্টকে কম টুল দিন। প্রতিটি সংজ্ঞা প্রতিটি অনুরোধে চলে।
• ধাপগুলি সীমাবদ্ধ করুন এবং পুরানো ইতিহাস আর গুরুত্বপূর্ণ না হলে একটি নতুন কাজ শুরু করুন।
• প্রতিটি ধাপের ব্যবহার যোগ করুন, এবং আগে থেকে বেছে নেওয়া বাজেটে রান বন্ধ করুন। অনুমানের দিকের জন্য, দেখুন কীভাবে একটি AI এজেন্টের খরচ অনুমান করবেন।

আপনার নিজের রান গণনা করুন#

প্রতিটি প্রতিক্রিয়া তার usage ক্ষেত্রে কত টোকেন নিয়েছে এবং দিয়েছে তা রিপোর্ট করে। সমস্ত ধাপে সেগুলি যোগ করুন এবং আপনার এজেন্টের জন্য আমার অনুমানের পরিবর্তে আসল সংখ্যাগুলি পাবেন। CheapTokens-এর দিকে নির্দেশিত OpenAI Python SDK দিয়ে একটি স্কেচ (messages এবং tools আপনার এজেন্টের নিজের):

from openai import OpenAI

client = OpenAI(base_url="https://api.cheaptokens.dev/v1", api_key="YOUR_API_KEY")

total_in = total_out = 0
for step in range(20):  # your agent loop
    resp = client.chat.completions.create(
        model="deepseek-ai/DeepSeek-V4-Flash-0731",
        messages=messages,
        tools=tools,
    )
    total_in += resp.usage.prompt_tokens
    total_out += resp.usage.completion_tokens
    # ...run the tool, append the result to messages

print(total_in, total_out)

দুটি মোট সরাসরি উপরের খরচ টেবিলে বসে। এই ধরনের দীর্ঘ ইতিহাসের জন্য, DeepSeek-V4-Flash আপনাকে একটি ৩৮০K প্রসঙ্গ উইন্ডো এবং প্রতি উত্তরে ৩২,৭৬৮ পর্যন্ত আউটপুট টোকেন দেয়, যেকোনো সময়ে একই দামে; GLM-5.3-Flash-এ একটি ৩৯০K প্রসঙ্গ এবং ৮,১৯২ পর্যন্ত আউটপুট টোকেন আছে। সেটআপ ডকুমেন্টেশন-এ আছে, প্রতিটি মডেলের বর্তমান দাম মূল্য পৃষ্ঠা-এ, এবং মডেলের নিজস্ব পৃষ্ঠা আছে, সস্তা DeepSeek।