Ikonekta ang AnythingLLM sa CheapTokens: Generic OpenAI setup

Maaari mong ikonekta ang AnythingLLM sa CheapTokens gamit ang Generic OpenAI provider nito: itakda ang Base URL sa https://api.cheaptokens.dev/v1, i-paste ang iyong API key, ilagay ang buong model id, at pagkatapos i-type ang totoong context window at Max Tokens ng modelo. Ang huling dalawa ang madalas laktawan, at sila ang nagtatakda kung kasya ang mahabang dokumento at kung napuputol ang mga sagot.

Ang sariling docs ng AnythingLLM (Generic OpenAI page, sinuri noong 7 Nobyembre 2026, may v1.19.0 banner) ay inilalarawan ang provider na ito bilang paraan para gumamit ng anumang OpenAI-compatible LLM provider. Nagbabala rin sila na ito ay para sa mga developer: ang maling settings ay maaaring magpaging kakaiba ng pag-uugali nito, at ang model id ay dapat eksaktong sinu-serve ng endpoint. Kaya maging eksakto tayo.

Punan ang provider settings#

Buksan ang LLM settings ng AnythingLLM at piliin ang Generic OpenAI bilang provider. Pagkatapos ay daanan ang limang field. Maaaring bahagyang magkaiba ang mga label sa iba't ibang bersyon, kaya sundin ang kahulugan.

I-save, buksan ang isang workspace, at magtanong. Ang Embeddings (ang bahaging nagpapalit ng iyong mga dokumento sa mga searchable chunk) ay hiwalay na setting sa AnythingLLM, kaya ang provider sa itaas ay nagbabago lamang kung aling modelo ang sumusulat ng mga sagot.

Bakit mahalaga ang dalawang limit#

Isipin na nag-drop ka ng 60-pahinang kontrata sa isang workspace at humingi ng buod ng mga termination clause. Sa mga default, dalawang bagay ang mali. Ang context window na na-type mo ay maaaring mas maliit nang malaki kaysa sa totoong window ng modelo, kaya pinuputol ng AnythingLLM ang ipinapadala nito. At ang Max Tokens ay naka-1024, kaya ang mahabang buod ay tumitigil sa gitna ng pangungusap.

Ang solusyon ay sabihin sa AnythingLLM ang totoo tungkol sa modelo:

Isang ugali na dapat panatilihin: ang Max Tokens ay kisame, hindi target. Ang maikling tanong ay nakakakuha pa rin ng maikling sagot; magbabayad ka lamang para sa mga token na aktwal na isinusulat ng modelo. Kung gusto mong maunawaan ang nangyayari kapag naabot ang isang limit, ang bakit napuputol sa gitna ng pangungusap ang isang AI answer ay dumadaan sa finish_reason at max_tokens, at ang ano ang context window ay sumasaklaw sa input side.

Sinasabi rin ng AnythingLLM docs na ang pagtatakda ng Max Tokens sa 0 ay nag-aalis ng output limit sa request. Mas madaling isipin ang isang tahasang numero, kaya mag-type ako ng isa.

Suriin ang koneksyon sa labas ng AnythingLLM#

Kung may error sa chat window, nakakatulong malaman kung ang problema ay ang key at model id o isang bagay sa loob ng AnythingLLM. Magpadala ng isang request nang direkta sa API:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

Ang API ay OpenAI Chat Completions compatible, kaya ang gumaganang sagot ay may teksto sa choices[0].message.content, isang finish_reason, at isang usage block na may token counts para sa request na iyon. Kung nakukuha mo ang mga iyon, maayos ang key, ang Base URL at ang model id, at anuman ang makita mo sa AnythingLLM ay nagmumula sa mga setting sa itaas. Higit pa sa endpoint ay nasa CheapTokens docs.

Magkano ang isang tanong sa iyong mga dokumento#

Ang document chat ay input-heavy: bawat tanong ay may dalang mga na-retrieve na chunk. Sabihin nating nag-retrieve ka ng anim na chunk na mga 600 tokens bawat isa, idagdag ang tanong at kaunting history, at umabot sa bandang 4,000 input tokens, na may 400-token na sagot. Sa DeepSeek-V4-Flash, ang isang ganoong tanong ay nagkakahalaga ng $0.0001. Narito ang parehong workload sa mga modelo para sa 200 tanong, kasama ang OpenRouter column sa tabi nito:

Sa kabuuan, kasama ang input at output, mas mura ang DeepSeek-V4-Flash kaysa sa OpenRouter sa workload na ito. Para sa sarili mong numero, i-drag ang mga slider: tokens per question at questions per day lang ang kailangan.

Ang bilang ng chunk na ipinapadala mo ang pinakamalaking lever. Ang magkano ang isang RAG question ay nagpapakita kung paano nagbabago ang bill kasama nito, at ang kasalukuyang rates ay nasa pricing page.

Kung hindi ito gumana#

Karamihan ng failure ay isa sa apat na bagay. Itugma ang sintomas sa sanhi:

Ang GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY option ay mula sa docs ng AnythingLLM: binabago nito kung aling field name ang nagdadala ng limit sa request. Para sa detalyadong 401 at 404, tingnan ang API 401 o 404: maling key, base URL o model id.

Gumagamit ng ibang chat client? Malapit ang mga hakbang sa Open WebUI, LibreChat at Cherry Studio: isang OpenAI-compatible base URL, isang key, isang buong model id.