AnythingLLM を CheapTokens に接続する: Generic OpenAI の設定

AnythingLLM は Generic OpenAI プロバイダーを使って CheapTokens に接続できます。Base URL に https://api.cheaptokens.dev/v1 を設定し、API キーを貼り付け、完全なモデル ID を入力してから、モデルの実際のコンテキストウィンドウと Max Tokens を入力します。最後の2つは見落とされがちですが、長いドキュメントが収まるかどうか、回答が途中で切れるかどうかを決めます。

AnythingLLM 自身のドキュメント（Generic OpenAI ページ、2026年11月7日確認、v1.19.0 のバナー付き）では、このプロバイダーを OpenAI 互換の任意の LLM プロバイダーを使う方法として説明しています。また、開発者向けであるとも警告しています。設定を間違えると奇妙な動作になり、モデル ID はエンドポイントが提供するものと完全に一致している必要があります。では、正確に進めましょう。

プロバイダー設定を入力する#

AnythingLLM の LLM 設定を開き、プロバイダーとして Generic OpenAI を選択します。次に5つのフィールドを順に入力します。ラベルはバージョンによって多少異なる場合があるので、意味で判断してください。

保存し、ワークスペースを開いて質問してください。埋め込み（ドキュメントを検索可能なチャンクに変換する部分）は AnythingLLM の別設定なので、上記のプロバイダーは回答を書くモデルだけを変更します。

2つの制限が重要な理由#

60ページの契約書をワークスペースに入れて、終了条項の要約を依頼する場面を想像してください。デフォルトのままでは2つの問題が起きます。入力したコンテキストウィンドウがモデルの実際のウィンドウよりはるかに小さい可能性があり、AnythingLLM が送信内容を切り詰めます。また Max Tokens が 1024 のままなので、長い要約は文の途中で止まります。

解決策は、モデルについての真実を AnythingLLM に伝えることです:

習慣にしておきたいこと: Max Tokens は上限であり、目標ではありません。短い質問には短い回答が返り、支払うのはモデルが実際に書いたトークン分だけです。制限に達したときに何が起きるかを理解したい場合は、AI の回答が文の途中で止まる理由で finish_reason と max_tokens を説明しており、コンテキストウィンドウとは何かでは入力側を扱っています。

AnythingLLM のドキュメントでは、Max Tokens を 0 に設定すると出力制限がリクエストから除外されるとも書かれています。明示的な数値のほうが推論しやすいので、私は数値を入力します。

AnythingLLM の外で接続を確認する#

チャットウィンドウにエラーが表示される場合、問題がキーとモデル ID にあるのか、AnythingLLM 内部にあるのかを知ると役立ちます。API に直接1つのリクエストを送ってください:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

API は OpenAI Chat Completions 互換なので、正常な応答ではテキストが choices[0].message.content に、finish_reason に、そしてそのリクエストのトークン数を含む usage ブロックに入っています。これらが得られれば、キー、Base URL、モデル ID は問題なく、AnythingLLM で見えるものは上記の設定に起因します。エンドポイントの詳細は CheapTokens ドキュメントにあります。

ドキュメントへの質問にかかるコスト#

ドキュメントチャットは入力が重くなります。すべての質問が取得したチャンクを運ぶからです。約600トークンのチャンクを6つ取得し、質問と少しの履歴を加えて、入力トークンが約4,000、回答が400トークンになるとします。DeepSeek-V4-Flash では、そのような質問1回のコストは $0.0001 です。以下は同じワークロードを200問でモデル別に比較したもので、OpenRouter の列を並べています:

入力と出力を合計すると、このワークロードでは DeepSeek-V4-Flash が OpenRouter より安くなります。自分の数値についてはスライダーを動かしてください。必要なのは質問あたりのトークン数と1日あたりの質問数だけです。

送信するチャンクの数が最大のレバーです。RAG の質問にかかるコストではそれに応じて請求がどう動くかを示しており、現在の料金は料金ページにあります。

うまくいかない場合#

ほとんどの失敗は4つのうちのどれかです。症状を原因と照合してください:

GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY オプションは AnythingLLM のドキュメントに由来します。リクエスト内で制限を運ぶフィールド名を変更します。401 と 404 の詳細については、API 401 または 404: 間違ったキー、ベース URL、モデル IDを参照してください。

別のチャットクライアントを使っていますか？手順は Open WebUI、LibreChat、Cherry Studioとほぼ同じです。OpenAI 互換のベース URL 1つ、キー1つ、完全なモデル ID 1つです。