AnythingLLM को CheapTokens से जोड़ें: Generic OpenAI सेटअप

AnythingLLM के Generic OpenAI प्रोवाइडर को CheapTokens पर इंगित करें: Base URL, key, पूरा model id, साथ में डालने के लिए context window और Max Tokens।

CheapTokens Team द्वाराप्रकाशित 9 नव॰ 20268 मिनट का पाठ

Generic OpenAI प्रोवाइडर के ज़रिए CheapTokens से जुड़ा AnythingLLM

इस पृष्ठ पर

प्रोवाइडर सेटिंग्स भरें
दोनों सीमाएँ क्यों मायने रखती हैं
AnythingLLM के बाहर कनेक्शन जाँचें
आपके दस्तावेज़ों से एक सवाल का ख़र्च
अगर यह काम न करे

आप AnythingLLM को उसके Generic OpenAI प्रोवाइडर के ज़रिए CheapTokens से जोड़ सकते हैं: Base URL को https://api.cheaptokens.dev/v1 पर सेट करें, अपनी API key पेस्ट करें, पूरा model id डालें, और फिर मॉडल की असली context window और Max Tokens टाइप करें। आख़िरी दो वही हैं जिन्हें लोग छोड़ देते हैं, और यही तय करते हैं कि लंबा दस्तावेज़ फ़िट होगा या नहीं और जवाब बीच में कटेंगे या नहीं।

AnythingLLM के अपने डॉक्स (Generic OpenAI पेज, 7 नवंबर 2026 को जाँचा गया, v1.19.0 बैनर के साथ) इस प्रोवाइडर को किसी भी OpenAI-संगत LLM प्रोवाइडर के इस्तेमाल का तरीका बताते हैं। वे यह भी चेतावनी देते हैं कि यह डेवलपर-केंद्रित है: ग़लत सेटिंग्स से यह अजीब व्यवहार कर सकता है, और model id बिल्कुल वही होना चाहिए जो endpoint सर्व करता है। तो चलिए सटीक रहें।

प्रोवाइडर सेटिंग्स भरें#

AnythingLLM की LLM सेटिंग्स खोलें और प्रोवाइडर के रूप में Generic OpenAI चुनें। फिर पाँच फ़ील्ड पर काम करें। लेबल वर्ज़न के बीच थोड़े अलग हो सकते हैं, इसलिए अर्थ से चलें।

चरण दर चरण

पाँच फ़ील्ड, क्रम में

Base URL

API root डालें, पूरा endpoint नहीं: https://api.cheaptokens.dev/v1। डॉक्स का अपना उदाहरण /v1 पर ख़त्म होने वाला root है, और AnythingLLM ख़ुद /chat/completions जोड़ता है। अगर आप पूरा path पेस्ट करते हैं, तो रिक्वेस्ट ग़लत पते पर जाती हैं।

API key

अपनी CheapTokens key पेस्ट करें। अगर अभी नहीं है, तो पहले डैशबोर्ड में बनाएँ। इसे पासवर्ड की तरह मानें: स्क्रीनशॉट या साझा workspace नोट में न डालें।

Chat model name

पूरा id इस्तेमाल करें, जैसे deepseek-ai/DeepSeek-V4-Flash-0731 या zai-org/GLM-5.3-Flash। प्राइस टेबल में दिखने वाले छोटे नाम API स्वीकार नहीं करता। पता नहीं कौन-सा id है? GET /v1/models से मॉडल सूचीबद्ध करें।

Model context window

वह बजट जो AnythingLLM आपके सवाल, प्राप्त दस्तावेज़ chunks और chat history से prompt बनाते समय इस्तेमाल करता है। मॉडल की असली window डालें: DeepSeek-V4-Flash के लिए 380000, GLM-5.3-Flash के लिए 390000।

Max Tokens

एक जवाब की लंबाई की ऊपरी सीमा। AnythingLLM का डिफ़ॉल्ट 1024 है। DeepSeek-V4-Flash के लिए 32768 या GLM-5.3-Flash के लिए 8192 डालें।

AnythingLLM में Base URL: पूरा endpoint path ग़लत है, API root सही है — /v1 पर ख़त्म होने वाला API root पेस्ट करें; AnythingLLM ख़ुद /chat/completions जोड़ता है

सेव करें, एक workspace खोलें, और सवाल पूछें। Embeddings (वह हिस्सा जो आपके दस्तावेज़ों को खोजने योग्य chunks में बदलता है) AnythingLLM में अलग सेटिंग है, इसलिए ऊपर का प्रोवाइडर सिर्फ़ यह बदलता है कि जवाब कौन-सा मॉडल लिखता है।

दोनों सीमाएँ क्यों मायने रखती हैं#

सोचें कि आप एक workspace में 60 पेज का अनुबंध डालते हैं और termination clauses का सारांश माँगते हैं। डिफ़ॉल्ट के साथ दो चीज़ें ग़लत होती हैं। आपने जो context window टाइप की वह मॉडल की असली window से काफ़ी छोटी हो सकती है, इसलिए AnythingLLM जो भेजता है उसे छाँट देता है। और Max Tokens 1024 पर है, इसलिए लंबा सारांश वाक्य के बीच रुक जाता है।

समाधान है AnythingLLM को मॉडल के बारे में सच बताना:

Model (id)	Context window	Output per answer
DeepSeek-V4-Flash (`deepseek-ai/DeepSeek-V4-Flash-0731`)	380K	up to 32,768 tokens
GLM-5.3-Flash (`zai-org/GLM-5.3-Flash`)	390K	up to 8,192 tokens

एक आदत जो बनाए रखने लायक है: Max Tokens एक ऊपरी सीमा है, लक्ष्य नहीं। छोटे सवाल का जवाब फिर भी छोटा मिलता है; आप सिर्फ़ उन tokens के लिए भुगतान करते हैं जो मॉडल वास्तव में लिखता है। अगर आप जानना चाहते हैं कि सीमा पूरी होने पर क्या होता है, तो AI का जवाब वाक्य के बीच क्यों रुकता है finish_reason और max_tokens पर चलता है, और context window क्या है इनपुट पक्ष को कवर करता है।

AnythingLLM के डॉक्स यह भी कहते हैं कि Max Tokens को 0 पर सेट करने से output सीमा रिक्वेस्ट से बाहर रह जाती है। स्पष्ट संख्या पर तर्क करना आसान है, इसलिए मैं एक टाइप करूँगा।

AnythingLLM के बाहर कनेक्शन जाँचें#

अगर chat विंडो में त्रुटि दिखती है, तो यह जानना मदद करता है कि समस्या key और model id में है या AnythingLLM के अंदर कहीं। सीधे API पर एक रिक्वेस्ट भेजें:

bash

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

API OpenAI Chat Completions संगत है, इसलिए काम करने वाले जवाब में टेक्स्ट choices[0].message.content में, एक finish_reason, और उस रिक्वेस्ट के token counts के साथ एक usage ब्लॉक होता है। अगर आपको ये मिलते हैं, तो key, Base URL और model id ठीक हैं, और AnythingLLM में जो कुछ दिखता है वह ऊपर की सेटिंग्स से आता है। endpoint पर अधिक जानकारी CheapTokens डॉक्स में है।

आपके दस्तावेज़ों से एक सवाल का ख़र्च#

Document chat इनपुट-भारी है: हर सवाल में प्राप्त chunks साथ चलते हैं। मान लें आप लगभग 600 tokens के छह chunks प्राप्त करते हैं, सवाल और थोड़ा history जोड़ते हैं, और लगभग 4,000 input tokens पर पहुँचते हैं, 400-token जवाब के साथ। DeepSeek-V4-Flash पर, ऐसे एक सवाल का ख़र्च $0.0001 है। यहाँ 200 सवालों के लिए मॉडलों के बीच वही workload है, साथ में OpenRouter कॉलम:

मॉडल	इनपुट $/1M	आउटपुट $/1M	प्रति अनुरोध	200 अनुरोध	OpenRouter, 200 अनुरोध
GLM-5.3-Flash	$0.02	$0.04	$0.000096	$0.0192	$0.0334
DeepSeek-V4-Flash	$0.015	$0.10	$0.0001	$0.02	$0.0672
MiniMax-M2.7	$0.05	$0.15	$0.00026	$0.052	$0.624

प्रति अनुरोध 4,000 इनपुट और 400 आउटपुट टोकन। प्रति 1M टोकन की कीमतें वर्तमान हैं और हमारे टैरिफ के साथ बदलती रहती हैं; OpenRouter कॉलम समान कार्यभार के लिए संदर्भ कीमतें दिखाता है।

कुल मिलाकर, input और output दोनों को जोड़कर, इस workload पर DeepSeek-V4-Flash OpenRouter से सस्ता पड़ता है। अपने ख़ुद के आँकड़ों के लिए, स्लाइडर खींचें: tokens per question और questions per day ही काफ़ी हैं।

लागत कैलकुलेटर

आपके दस्तावेज़ों से एक दिन के सवाल

प्रति अनुरोध इनपुट टोकन: 4,000 · प्रति अनुरोध आउटपुट टोकन: 400 · प्रति दिन अनुरोध: 50

मॉडल	प्रति दिन	प्रति माह
GLM-5.3-Flash	$0.0048	$0.144
DeepSeek-V4-Flash	$0.005	$0.15
MiniMax-M2.7	$0.013	$0.39

आप कितने chunks भेजते हैं, यह सबसे बड़ा लीवर है। एक RAG सवाल का ख़र्च क्या है दिखाता है कि बिल इसके साथ कैसे बदलता है, और मौजूदा दरें pricing पेज पर हैं।

अगर यह काम न करे#

अधिकतर विफलताएँ चार में से एक होती हैं। लक्षण को कारण से मिलाएँ:

जोड़े मिलाएँ

हर लक्षण को उसके कारण से मिलाएँ

प्रोवाइडर रिक्वेस्ट अस्वीकार करता है और max_tokens की शिकायत करता हैGENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY को max_completion_tokens पर सेट करें और AnythingLLM रीस्टार्ट करें
401 UnauthorizedAPI key गायब है, ग़लत टाइप हुई है या स्पेस के साथ पेस्ट हुई है
404 या "model not found"model id छोटा नाम है, मॉडल सूची से पूरा id नहीं
जवाब वाक्य के बीच रुक जाते हैंMax Tokens अभी भी डिफ़ॉल्ट 1024 है

GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY विकल्प AnythingLLM के डॉक्स से आता है: यह बदलता है कि रिक्वेस्ट में सीमा किस फ़ील्ड नाम से जाती है। 401 और 404 के विस्तार के लिए, देखें API 401 या 404: ग़लत key, base URL या model id।

कोई और chat क्लाइंट इस्तेमाल कर रहे हैं? चरण Open WebUI, LibreChat और Cherry Studio के करीब हैं: एक OpenAI-संगत base URL, एक key, एक पूरा model id।

टैग: