টুল ও ইন্টিগ্রেশনগাইড

AnythingLLM-কে CheapTokens-এ সংযুক্ত করুন: Generic OpenAI সেটআপ

AnythingLLM-এর Generic OpenAI প্রোভাইডার CheapTokens-এ নির্দেশ করুন: Base URL, key, সম্পূর্ণ model id, সাথে context window এবং Max Tokens লিখুন।

CheapTokens Team দ্বারাপ্রকাশিত হয়েছে ৯ নভে, ২০২৬8 মিনিট পড়ার সময়

Generic OpenAI প্রোভাইডারের মাধ্যমে CheapTokens-এ সংযুক্ত AnythingLLM

এই পৃষ্ঠায়

প্রোভাইডার সেটিংস পূরণ করুন
কেন দুটি সীমা গুরুত্বপূর্ণ
AnythingLLM-এর বাইরে সংযোগ যাচাই করুন
আপনার ডকুমেন্টে একটি প্রশ্নের খরচ
যদি কাজ না করে

আপনি AnythingLLM-কে CheapTokens-এর সাথে এর Generic OpenAI প্রোভাইডার দিয়ে সংযুক্ত করতে পারেন: Base URL-এ https://api.cheaptokens.dev/v1 সেট করুন, আপনার API key পেস্ট করুন, সম্পূর্ণ model id লিখুন, তারপর মডেলের প্রকৃত context window এবং Max Tokens টাইপ করুন। শেষ দুটি হলো যেগুলো মানুষ বাদ দেয়, আর এগুলোই ঠিক করে একটি দীর্ঘ ডকুমেন্ট ফিট হবে কি না এবং উত্তর কেটে যাবে কি না।

AnythingLLM-এর নিজস্ব ডকুমেন্টেশন (Generic OpenAI পৃষ্ঠা, ৭ নভেম্বর ২০২৬-এ যাচাইকৃত, v1.19.0 ব্যানারসহ) এই প্রোভাইডারকে যেকোনো OpenAI-সামঞ্জস্যপূর্ণ LLM প্রোভাইডার ব্যবহারের উপায় হিসেবে বর্ণনা করে। তারা এও সতর্ক করে যে এটি ডেভেলপার-কেন্দ্রিক: ভুল সেটিংসে এটি অদ্ভুত আচরণ করতে পারে, এবং model id অবশ্যই ঠিক সেটাই হতে হবে যা endpoint পরিবেশন করে। তাই চলুন নিখুঁত হই।

প্রোভাইডার সেটিংস পূরণ করুন#

AnythingLLM-এর LLM সেটিংস খুলুন এবং প্রোভাইডার হিসেবে Generic OpenAI বেছে নিন। তারপর পাঁচটি ফিল্ড ধরে এগোন। ভার্সনভেদে লেবেল কিছুটা ভিন্ন হতে পারে, তাই অর্থ দেখে যান।

ধাপে ধাপে

পাঁচটি ফিল্ড, ক্রমানুসারে

Base URL

API root লিখুন, সম্পূর্ণ endpoint নয়: https://api.cheaptokens.dev/v1। ডকুমেন্টেশনের নিজস্ব উদাহরণ হলো /v1-এ শেষ হওয়া একটি root, এবং AnythingLLM নিজেই /chat/completions যোগ করে। আপনি যদি সম্পূর্ণ path পেস্ট করেন, অনুরোধ ভুল ঠিকানায় যাবে।

API key

আপনার CheapTokens key পেস্ট করুন। যদি এখনো না থাকে, প্রথমে ড্যাশবোর্ডে তৈরি করুন। এটিকে পাসওয়ার্ডের মতোই treat করুন: স্ক্রিনশটে বা শেয়ার করা workspace নোটে রাখবেন না।

Chat model name

সম্পূর্ণ id ব্যবহার করুন, উদাহরণস্বরূপ deepseek-ai/DeepSeek-V4-Flash-0731 বা zai-org/GLM-5.3-Flash। প্রাইস টেবিলে যে সংক্ষিপ্ত নাম দেখেন সেগুলো API গ্রহণ করে না। আপনার কোন id আছে নিশ্চিত নন? GET /v1/models দিয়ে মডেলগুলো তালিকাভুক্ত করুন।

Model context window

আপনার প্রশ্ন, পুনরুদ্ধার করা ডকুমেন্ট চাঙ্ক এবং চ্যাট হিস্টোরি থেকে প্রম্পট তৈরি করার সময় AnythingLLM যে বাজেট ব্যবহার করে। মডেলের প্রকৃত window লিখুন: DeepSeek-V4-Flash-এর জন্য 380000, GLM-5.3-Flash-এর জন্য 390000।

Max Tokens

একটি উত্তরের দৈর্ঘ্যের সর্বোচ্চ সীমা। AnythingLLM-এর ডিফল্ট 1024। DeepSeek-V4-Flash-এর জন্য 32768 বা GLM-5.3-Flash-এর জন্য 8192 লিখুন।

AnythingLLM-এ Base URL: সম্পূর্ণ endpoint path ভুল, API root সঠিক — /v1-এ শেষ হওয়া API root পেস্ট করুন; AnythingLLM নিজেই /chat/completions যোগ করে

সেভ করুন, একটি workspace খুলুন এবং একটি প্রশ্ন করুন। Embeddings (যে অংশটি আপনার ডকুমেন্টকে অনুসন্ধানযোগ্য চাঙ্কে পরিণত করে) AnythingLLM-এ একটি আলাদা সেটিং, তাই উপরের প্রোভাইডার শুধু বদলায় কোন মডেল উত্তর লেখে।

কেন দুটি সীমা গুরুত্বপূর্ণ#

ভাবুন আপনি একটি workspace-এ ৬০ পৃষ্ঠার একটি চুক্তি ফেললেন এবং সমাপ্তি ধারাগুলোর সারসংক্ষেপ চাইলেন। ডিফল্ট সেটিংসে দুটি জিনিস ভুল হয়। আপনি যে context window টাইপ করেছেন তা মডেলের প্রকৃত window-এর চেয়ে অনেক ছোট হতে পারে, তাই AnythingLLM যা পাঠায় তা ছেঁটে দেয়। আর Max Tokens 1024-এ থাকে, তাই একটি দীর্ঘ সারসংক্ষেপ বাক্যের মাঝপথে থেমে যায়।

সমাধান হলো AnythingLLM-কে মডেল সম্পর্কে সত্য বলা:

Model (id)	Context window	Output per answer
DeepSeek-V4-Flash (`deepseek-ai/DeepSeek-V4-Flash-0731`)	380K	up to 32,768 tokens
GLM-5.3-Flash (`zai-org/GLM-5.3-Flash`)	390K	up to 8,192 tokens

একটি অভ্যাস রাখা ভালো: Max Tokens একটি সর্বোচ্চ সীমা, লক্ষ্য নয়। একটি সংক্ষিপ্ত প্রশ্ন এখনও সংক্ষিপ্ত উত্তর পায়; আপনি শুধু মডেল যে টোকেন আসলে লেখে তার জন্য পেমেন্ট করেন। কোনো সীমা ছুঁলে কী হয় বুঝতে চাইলে, কেন একটি AI উত্তর বাক্যের মাঝপথে থেমে যায় finish_reason এবং max_tokens নিয়ে আলোচনা করে, আর context window কী ইনপুট দিকটি কভার করে।

AnythingLLM-এর ডকুমেন্টেশন এও বলে যে Max Tokens 0-এ সেট করলে অনুরোধ থেকে আউটপুট সীমা বাদ পড়ে। একটি স্পষ্ট সংখ্যা নিয়ে ভাবনা করা সহজ, তাই আমি একটি টাইপ করব।

AnythingLLM-এর বাইরে সংযোগ যাচাই করুন#

যদি চ্যাট উইন্ডোতে একটি ত্রুটি দেখায়, তাহলে জানা সহায়ক যে সমস্যাটি key ও model id-তে নাকি AnythingLLM-এর ভেতরে কিছুতে। সরাসরি API-তে একটি অনুরোধ পাঠান:

bash

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

APIটি OpenAI Chat Completions সামঞ্জস্যপূর্ণ, তাই একটি কার্যকর উত্তর হলে choices[0].message.content-এ টেক্সট, একটি finish_reason, এবং সেই অনুরোধের টোকেন গণনাসহ একটি usage ব্লক থাকবে। যদি এগুলো পান, তাহলে key, Base URL এবং model id ঠিক আছে, এবং AnythingLLM-এ যা দেখছেন তা উপরের সেটিংস থেকেই আসছে। endpoint সম্পর্কে আরও আছে CheapTokens ডকুমেন্টেশনে।

আপনার ডকুমেন্টে একটি প্রশ্নের খরচ#

ডকুমেন্ট চ্যাট ইনপুট-ভারী: প্রতিটি প্রশ্নে পুনরুদ্ধার করা চাঙ্ক বহন করে। ধরুন আপনি প্রায় ৬০০ টোকেনের ছয়টি চাঙ্ক পুনরুদ্ধার করেন, প্রশ্ন ও সামান্য হিস্টোরি যোগ করেন, এবং প্রায় ৪,০০০ ইনপুট টোকেনে পৌঁছান, সাথে ৪০০-টোকেনের উত্তর। DeepSeek-V4-Flash-এ, এমন একটি প্রশ্নের খরচ $0.0001। এখানে ২০০টি প্রশ্নের জন্য মডেলজুড়ে একই workload, পাশে OpenRouter কলামসহ:

মডেল	ইনপুট $/১ মিলিয়ন	আউটপুট $/১ মিলিয়ন	প্রতি অনুরোধে	২০০টি অনুরোধ	OpenRouter, ২০০টি অনুরোধ
GLM-5.3-Flash	$0.02	$0.04	$0.000096	$0.0192	$0.0334
DeepSeek-V4-Flash	$0.015	$0.10	$0.0001	$0.02	$0.0672
MiniMax-M2.7	$0.05	$0.15	$0.00026	$0.052	$0.624

প্রতি অনুরোধে ৪,০০০ ইনপুট এবং ৪০০ আউটপুট টোকেন। প্রতি 1M টোকেনের দাম বর্তমান এবং আমাদের ট্যারিফের সাথে পরিবর্তিত হয়; OpenRouter কলামটি একই ওয়ার্কলোডের জন্য রেফারেন্স মূল্য দেখায়।

সব মিলিয়ে, ইনপুট ও আউটপুট একসাথে গণনা করলে, এই workload-এ DeepSeek-V4-Flash OpenRouter-এর চেয়ে সস্তা হয়। আপনার নিজের সংখ্যার জন্য, স্লাইডারগুলো টানুন: প্রতি প্রশ্নে টোকেন এবং প্রতিদিন প্রশ্ন—এতটুকুই দরকার।

খরচ ক্যালকুলেটর

আপনার ডকুমেন্টে একদিনের প্রশ্ন

প্রতি অনুরোধে ইনপুট টোকেন: ৪,০০০ · প্রতি অনুরোধে আউটপুট টোকেন: ৪০০ · প্রতিদিন অনুরোধ: ৫০

মডেল	প্রতিদিন	প্রতি মাসে
GLM-5.3-Flash	$0.0048	$0.144
DeepSeek-V4-Flash	$0.005	$0.15
MiniMax-M2.7	$0.013	$0.39

আপনি কতগুলো চাঙ্ক পাঠান সেটাই সবচেয়ে বড় নিয়ন্ত্রক। একটি RAG প্রশ্নের খরচ কত দেখায় এর সাথে বিল কীভাবে বদলায়, আর বর্তমান রেট আছে প্রাইসিং পৃষ্ঠায়।

যদি কাজ না করে#

বেশিরভাগ ব্যর্থতা চারটি জিনিসের একটি। লক্ষণ মিলিয়ে কারণ খুঁজুন:

জোড়া মেলান

প্রতিটি লক্ষণকে তার কারণের সাথে মিলান

প্রোভাইডার অনুরোধ প্রত্যাখ্যান করে এবং max_tokens নিয়ে অভিযোগ করেGENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY-কে max_completion_tokens-এ সেট করুন এবং AnythingLLM রিস্টার্ট করুন
401 UnauthorizedAPI key অনুপস্থিত, ভুল টাইপ করা বা স্পেসসহ পেস্ট করা
404 বা "model not found"model id হলো সংক্ষিপ্ত নাম, মডেল তালিকার সম্পূর্ণ id নয়
উত্তর বাক্যের মাঝপথে থেমে যায়Max Tokens এখনও ডিফল্ট 1024

GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY অপশনটি AnythingLLM-এর ডকুমেন্টেশন থেকে আসে: এটি বদলায় অনুরোধে কোন ফিল্ড নাম সীমা বহন করে। 401 এবং 404 বিস্তারিত জানতে, দেখুন API 401 বা 404: ভুল key, base URL বা model id।

অন্য চ্যাট ক্লায়েন্ট ব্যবহার করছেন? ধাপগুলো Open WebUI, LibreChat এবং Cherry Studio-এর কাছাকাছি: একটি OpenAI-সামঞ্জস্যপূর্ণ base URL, একটি key, একটি সম্পূর্ণ model id।

ট্যাগসমূহ: