ব্লগে ফিরে যান

শিক্ষানবিসদের জন্য AIবিশ্লেষণ

একটি AI এজেন্টের সাথে কথা বলে সাইট তৈরি করুন: HackerTube উদাহরণ

কীভাবে Karpathy-এর HackerTube চারটি পর্যায়ে বিভক্ত হয়েছিল, কোন তিনটি ধাপ এজেন্ট আপনার জন্য করতে পারে না, এবং বাল্ক-ফিল্টার পর্যায়ের খরচ কীভাবে অনুমান করবেন।

CheapTokens Team দ্বারাপ্রকাশিত হয়েছে 9 মিনিট পড়ার সময়

কভার: একটি চ্যাট বাবল জিজ্ঞাসা করছে আপনি কি শুধু কথা বলে একটি সাইট তৈরি করতে পারেন, এবং উত্তর: হ্যাঁ, কী, সার্ভার এবং ডোমেইন ছাড়া
এই পৃষ্ঠায়
  1. চারটি পর্যায়, এই ক্রমে
  2. এজেন্ট যা করেছে, সংখ্যায়
  3. তিনটি জিনিস যা আপনার সাথে থাকে
  4. আপনার নিজের ডেটাতে একই আকার চেষ্টা করুন
  5. বাল্ক পর্যায়ের খরচ

একটি AI এজেন্ট আপনার জন্য পুরো সাইট তৈরি করতে পারে তিনটি জিনিস ছাড়া: API কী, সার্ভার এবং ডোমেইন। এটাই HackerTube-এর বিভাজন, একটি YouTube-স্টাইলের সাইট যা Andrej Karpathy বলেছেন তিনি প্রায় দুই ঘণ্টায় শুধু Claude-এর সাথে কথা বলে তৈরি করেছেন। নিচে: প্রকল্পটি যে চারটি পর্যায়ের মধ্য দিয়ে গেছে, আপনাকে নিজে কী প্রস্তুত করতে হবে, এবং আপনার নিজের ডেটাতে পুনরাবৃত্তিমূলক মধ্যবর্তী পর্যায়ের খরচ কীভাবে অনুমান করবেন।

চারটি পর্যায়, এই ক্রমে#

Karpathy (AI গবেষক, OpenAI সহ-প্রতিষ্ঠাতা, সাবেক Tesla AI পরিচালক, Eureka Labs-এর প্রতিষ্ঠাতা) ৩১ অক্টোবর ২০২৬-এ লেখাটি প্রকাশ করেছেন: HackerTube তাঁর ব্লগে। সাইটটি Hacker News-এর সেই মন্তব্যগুলো সংগ্রহ করে যেগুলো একটি YouTube ভিডিও সুপারিশ করে এবং আপনাকে সেগুলো ব্রাউজ করতে দেয়। এর পেছনে একটি কাঠামো রয়েছে যা প্রায় প্রতিটি 'শুধু এজেন্টের সাথে কথা বলুন' প্রকল্পে común। নিজে চেষ্টা করুন এটি সাজাতে:

ক্রমে সাজান

ডেটা-থেকে-ওয়েবসাইট প্রকল্পের পর্যায়গুলো সাজান

  1. কাঁচা ডেটাসেট ডাউনলোড করুন
  2. প্রতিটি আইটেমের উপর একটি ছোট মডেল চালান: রাখুন বা বাদ দিন
  3. যা বাকি আছে তা থেকে ইন্টারফেস তৈরি করুন
  4. এটি একটি সার্ভারে রাখুন

দ্বিতীয় পর্যায়টি আলাদা। ডাউনলোড, তৈরি এবং ডিপ্লয় প্রতিটি একবার ঘটে। রাখুন-বা-বাদ-দিন প্রশ্নটি প্রতিটি আইটেমের জন্য একবার জিজ্ঞাসা করা হয়, হাজার হাজার বার। এই চিন্তাটি ধরে রাখুন, টাকার প্রসঙ্গে এলে আবার আসবে।

এজেন্ট-নির্মিত সাইটের চারটি পর্যায়: ডেটা, বাল্ক ফিল্টার, তৈরি, ডিপ্লয়
একটি talk-to-the-agent প্রকল্পের কাঠামো। বাল্ক ফিল্টারই একমাত্র পর্যায় যা প্রতি আইটেমে পুনরাবৃত্তি হয়।

এজেন্ট যা করেছে, সংখ্যায়#

এখানে Karpathy যেভাবে বর্ণনা করেছেন সেই রান। তিনি Claude Code ডেস্কটপ অ্যাপে কাজ করেছেন। Opus 5.5 মাঝারি এফোর্টে, তাঁর ডিফল্ট, Hugging Face থেকে Hacker News মন্তব্য ডেটাসেট ডাউনলোড করেছেন এবং ফিল্টার করেছেন। Sonnet একটি Claude Code Workflow-এর ভেতরে মন্তব্যগুলোর উপর দিয়ে গেছে। যা বেরিয়ে এসেছে: প্রায় 40K মন্তব্য যা একটি YouTube ভিডিও সুপারিশ করে, 2007 থেকে 2026 পর্যন্ত 6,454টি ভিডিও, 150টি বিষয়ে সাজানো। তারপর Opus ইন্টারফেস তৈরি করেছে এবং একটি VPS-এ ডিপ্লয় করেছে। সাইটটিতে অ্যাকাউন্ট ছাড়াই 'ForYou' সুপারিশ রয়েছে (স্টেট ব্রাউজার সেশনে থাকে), কীবোর্ড শর্টকাট এবং একটি ডেটা এক্সপোর্ট, যাতে অন্য লোকেরা তাদের নিজের এজেন্টকে ডেটা দিতে পারে।

HackerTube সংখ্যায়: প্রায় 40K মন্তব্য, 6,454 ভিডিও, 150 বিষয়, প্রায় 2 ঘণ্টা
৩১ অক্টোবর ২০২৬-এর Karpathy-এর পোস্ট থেকে পরিসংখ্যান।

পোস্টটি যা দেয় না: কোনো খরচ বা টোকেন সংখ্যা, এবং কোন ধাপগুলো সাধারণ কোড বনাম মডেল কল ছিল। তাই 'দুই ঘণ্টা' একটি সময়, একটি মূল্য নয়। এই পার্থক্যটি কেন গুরুত্বপূর্ণ তা জানতে চাইলে, এজেন্টদের কি প্রতিটি ধাপে মডেল দরকার? তা কভার করে।

তিনটি জিনিস যা আপনার সাথে থাকে#

Karpathy তিনটি ধাপ হাতে করেছেন: তিনি একটি Google Cloud API কী তৈরি করেছেন (YouTube মেটাডেটার জন্য), VPS বুট করেছেন এবং ডোমেইন কিনেছেন। দেখুন তাদের মধ্যে কী মিল আছে। প্রতিটি আপনার একটি অ্যাকাউন্টের সাথে যুক্ত: একটি লগইন, একটি বিলিং প্রোফাইল, আপনার পরিচয়। একটি এজেন্ট প্রতিটি কমান্ড লিখতে পারে, কিন্তু এটি আপনার হয়ে চেকআউটে দাঁড়াতে পারে না। এটি একজন নির্মাতাকে নিয়োগের মতো: তারা বাড়ি তৈরি করবে, কিন্তু আপনি জমির জন্য সই করেন।

জোড়া মেলান

প্রতিটি ধাপ কেন আপনার সাথে থাকে তা মেলান

  • YouTube মেটাডেটা API কী তৈরি করুনএটি আপনার Google Cloud অ্যাকাউন্টে থাকে
  • সার্ভার বুট করুনএটি আপনার হোস্টিং অ্যাকাউন্টে বিল হয়
  • ডোমেইন কিনুনএটি আপনার নামে নিবন্ধিত
  • ফিল্টার স্ক্রিপ্ট এবং ইন্টারফেস লিখুনএজেন্ট এই অংশটি করে

বাস্তবে এজেন্ট থেমে জিজ্ঞাসা করবে। কী নিজে করুন, এটি একটি এনভায়রনমেন্ট ভেরিয়েবলে রাখুন, এবং এজেন্টকে শুধু ভেরিয়েবলের নাম দিন, কী নিজে নয়। কী নতুন হলে, একটি API কী কী এবং কীভাবে নিরাপদে সংরক্ষণ করবেন পাঁচ মিনিট নেয়।

আপনার নিজের ডেটাতে একই আকার চেষ্টা করুন#

ধরুন আপনার কাছে reviews.csv আছে 40,000টি পণ্য পর্যালোচনা সহ এবং আপনি শুধু ব্যাটারি লাইফ সম্পর্কে পর্যালোচনাগুলো নিয়ে একটি ছোট সার্চযোগ্য পৃষ্ঠা চান। HackerTube-এর চেতনায় একটি প্রম্পট:

text
I have reviews.csv (40000 rows, column: text). Goal: a small searchable web page with only the reviews about battery life.

1. Look at the file and tell me what is in it. Change nothing yet.
2. Write a script that sends each review to a model and gets back keep or drop. Use an OpenAI-compatible API: base URL https://api.cheaptokens.dev/v1, key from the environment variable CHEAPTOKENS_API_KEY, model deepseek-ai/DeepSeek-V4-Flash-0731.
3. Run it on the first 100 reviews, show me the results and the tokens used. Wait for my OK before the full run.
4. Build the page from the kept reviews.
Whenever you need an account, a key or a payment from me, stop and tell me what to do.

ধাপ 3 হলো চুরি করার মতো অভ্যাস। একশো সারি প্রায় কিছুই খরচ করে না, এবং আপনি মডেলের ভুলগুলো দেখতে পান চল্লিশ হাজারে টাকা খরচ করার আগে। শেষ লাইনটি পূর্ববর্তী বিভাগ থেকে হ্যান্ডঅফ, লিখিত। বেস URL এবং মডেল আইডি CheapTokens ডকস থেকে আসে; আপনি সেখানে কী নিজে তৈরি করেন।

বাল্ক পর্যায়ের খরচ#

পুনরাবৃত্তি হওয়া পর্যায়ে ফিরে যান। ধরুন প্রতিটি পর্যালোচনা প্লাস এক-লাইন নির্দেশনা প্রায় 150 টোকেন, এবং উত্তর ('রাখুন' বা 'বাদ দিন') প্রায় 10। 40,000 পর্যালোচনার জন্য এটি 40000 × 150 = 6000000 ইনপুট টোকেন এবং 40000 × 10 = 400000 আউটপুট টোকেন। DeepSeek-V4-Flash-এ পুরো পাসটি $0.13, GLM-5.3-Flash-এ $0.136। ইনপুট এবং আউটপুট একসাথে গণনা করলে, উভয়ই OpenRouter-এর চেয়ে সস্তা। প্রতিটি অনুরোধ ছোট, তাই 380K এবং 390K কনটেক্সট উইন্ডো কখনো কাজে আসে না; যা গুরুত্বপূর্ণ তা হলো প্রতি-টোকেন মূল্য গুণ একটি খুব বড় সংখ্যা।

সংখ্যাগুলো আপনার নিজের ডেটাতে পরিবর্তন করুন এবং দেখুন:

খরচ ক্যালকুলেটর

একটি বাল্ক-ফিল্টার পাস: 40,000 আইটেম

প্রতি অনুরোধে ইনপুট টোকেন: ১৫০ · প্রতি অনুরোধে আউটপুট টোকেন: ১০ · প্রতিদিন অনুরোধ: ৪০,০০০

মডেলপ্রতিদিনপ্রতি মাসে
GLM-5.3-Flash$0.136$4.08
DeepSeek-V4-Flash$0.13$3.90
MiniMax-M2.7$0.36$10.80

এটি শুধু একটি পর্যায়। তৈরি এবং ডিপ্লয় করা এজেন্টের সাথে আলাদা সেশন, এবং আপনার আসল ফিল্টার প্রম্পট এক লাইনের চেয়ে দীর্ঘ হবে। একটি LLM দিয়ে 40K মন্তব্য ফিল্টার করুন একটি সম্পূর্ণ রাখুন/বাদ দিন প্রম্পট দেখায়, এবং মডেল রাউটিং ব্যাখ্যা করে কীভাবে সহজ আইটেমগুলো প্রথমে একটি সস্তা মডেলে পাঠাবেন। প্রতিটি মডেলের বর্তমান মূল্য মূল্য পৃষ্ঠা-এ রয়েছে।

দ্রুত যাচাই

এই ধরনের প্রকল্পের কোন পর্যায়টি সবচেয়ে বেশি বার চলে?

উত্তর দেখান

উত্তর: প্রতিটি আইটেম বিচার করা: রাখুন বা বাদ দিন

রাখুন-বা-বাদ-দিন কলটি প্রতি আইটেমে একবার চলে, তাই 40,000 আইটেম মানে 40,000 কল। এজন্যই এর প্রতি-কল মূল্যই প্রথমে যাচাই করার সংখ্যা।

আপনার প্রথম পদক্ষেপ: সেই 100 সারি প্রথম-অনুরোধ সেটআপ-এর মাধ্যমে পাঠান, উত্তরগুলো পড়ুন, এবং তারপরেই এজেন্টকে বাকিটা চালাতে দিন।