Назад в блог

Инструменты и интеграцииИнструкция

Подключение AnythingLLM к CheapTokens: Generic OpenAI

Подключите AnythingLLM к CheapTokens через провайдера Generic OpenAI: Base URL, ключ, полный id модели, окно контекста и Max Tokens.

Автор: CheapTokens TeamОпубликовано 4 мин чтения

AnythingLLM подключён к CheapTokens через провайдера Generic OpenAI
Содержание
  1. Заполните настройки провайдера
  2. Почему важны два лимита
  3. Проверьте соединение без AnythingLLM
  4. Сколько стоит вопрос к документам
  5. Если не работает

Подключить AnythingLLM к CheapTokens можно через провайдера Generic OpenAI: укажите Base URL https://api.cheaptokens.dev/v1, вставьте API-ключ, впишите полный id модели и задайте реальные окно контекста и Max Tokens. Последние два поля пропускают чаще всего, а от них зависит, поместится ли длинный документ и не оборвётся ли ответ.

В документации AnythingLLM (страница Generic OpenAI, проверена 7 ноября 2026, на ней баннер v1.19.0) этот провайдер описан как способ подключить любого OpenAI-совместимого поставщика. Там же предупреждение: провайдер для разработчиков, неверные настройки ломают работу, а id модели должен быть именно тем, что отдаёт endpoint. Поэтому всё делаем точно.

Заполните настройки провайдера#

Откройте настройки LLM в AnythingLLM и выберите провайдера Generic OpenAI. Дальше пять полей. В разных версиях подписи могут слегка отличаться, ориентируйтесь на смысл.

Шаг за шагом

Пять полей по порядку

Base URL

Укажите корень API, а не полный адрес запроса: https://api.cheaptokens.dev/v1. В примере из документации тоже корень с /v1, а /chat/completions AnythingLLM добавит сам. Если вставить путь целиком, запросы уйдут не туда.

API-ключ

Вставьте ключ CheapTokens. Если ключа ещё нет, сначала создайте его в личном кабинете. Относитесь к нему как к паролю: не оставляйте его на скриншотах и в общих заметках рабочей области.

Название модели чата

Нужен полный id, например deepseek-ai/DeepSeek-V4-Flash-0731 или zai-org/GLM-5.3-Flash. Короткие названия из таблиц цен API не принимает. Не уверены в id? Получите список моделей через GET /v1/models.

Окно контекста модели

Бюджет, из которого AnythingLLM собирает запрос: ваш вопрос, найденные куски документов и история чата. Впишите реальное окно модели: 380000 для DeepSeek-V4-Flash, 390000 для GLM-5.3-Flash.

Max Tokens

Потолок длины одного ответа. По умолчанию в AnythingLLM стоит 1024. Для DeepSeek-V4-Flash введите 32768, для GLM-5.3-Flash — 8192.

Base URL в AnythingLLM: полный путь запроса — неверно, корень API — верно
Вставляйте корень API с /v1; /chat/completions AnythingLLM добавит сам

Сохраните, откройте рабочую область и задайте вопрос. Эмбеддинги (то, что превращает ваши документы в куски для поиска) настраиваются в AnythingLLM отдельно, так что провайдер выше меняет только модель, которая пишет ответы.

Почему важны два лимита#

Представьте, что вы загрузили в рабочую область договор на 60 страниц и просите пересказать условия расторжения. С настройками по умолчанию ломаются две вещи. Окно контекста, которое вы вписали, может быть куда меньше настоящего, и AnythingLLM обрежет то, что отправляет. А Max Tokens стоит 1024, поэтому длинный пересказ оборвётся на полуслове.

Лечится это просто: скажите AnythingLLM правду о модели.

Модель (id) Окно контекста Ответ за раз
DeepSeek-V4-Flash (deepseek-ai/DeepSeek-V4-Flash-0731) 380K до 32 768 токенов
GLM-5.3-Flash (zai-org/GLM-5.3-Flash) 390K до 8 192 токенов

Полезно помнить: Max Tokens — потолок, а не план. Короткий вопрос всё равно получит короткий ответ, платите вы только за токены, которые модель реально написала. Что происходит, когда лимит достигнут, разобрано в статье почему ответ ИИ обрывается на полуслове (там finish_reason и max_tokens), а про входную сторону — в материале что такое окно контекста.

В документации AnythingLLM сказано, что значение 0 в Max Tokens убирает ограничение вывода из запроса. Явное число проще понимать, так что я бы вписал его.

Проверьте соединение без AnythingLLM#

Если в чате появилась ошибка, полезно понять: проблема в ключе и id модели или внутри AnythingLLM. Отправьте один запрос прямо в API:

bash
curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

API совместим с OpenAI Chat Completions, поэтому в рабочем ответе текст лежит в choices[0].message.content, есть finish_reason и блок usage с числом токенов этого запроса. Если всё это пришло, ключ, Base URL и id модели в порядке, а то, что вы видите в AnythingLLM, идёт от настроек выше. Подробнее про endpoint — в документации CheapTokens.

Сколько стоит вопрос к документам#

Чат с документами тяжёл на входе: с каждым вопросом уходят найденные куски. Допустим, вы берёте шесть кусков примерно по 600 токенов, добавляете вопрос и немного истории, и получается около 4000 входных токенов, а ответ — 400 токенов. На DeepSeek-V4-Flash один такой вопрос стоит $0.0001. А вот та же нагрузка на разных моделях, на 200 вопросов, рядом с колонкой OpenRouter:

Модель За запрос 200 запросов OpenRouter, 200 запросов
GLM-5.3-Flash $0.000096 $0.0192 $0.0334
DeepSeek-V4-Flash $0.0001 $0.02 $0.0672
MiniMax-M2.7 $0.00026 $0.052 $0.624

4 000 входных и 400 выходных токенов на запрос. Цены за 1M токенов актуальны и меняются вместе с нашими тарифами; столбец OpenRouter показывает справочные цены для той же нагрузки.

В сумме, с учётом входа и выхода, DeepSeek-V4-Flash на этой нагрузке выходит дешевле OpenRouter. Для своих цифр подвигайте ползунки: нужны только токены на вопрос и число вопросов в день.

Калькулятор стоимости

Один день вопросов к документам

Входные токены на запрос: 4 000 · Выходные токены на запрос: 400 · Запросов в день: 50

МодельВ деньВ месяц
GLM-5.3-Flash$0.0048$0.144
DeepSeek-V4-Flash$0.005$0.15
MiniMax-M2.7$0.013$0.39

Больше всего на счёт влияет число кусков, которые вы отправляете. В статье сколько стоит вопрос в RAG видно, как счёт меняется вместе с ним, а актуальные тарифы — на странице цен.

Если не работает#

Большинство сбоев сводится к четырём причинам. Сопоставьте симптом и причину:

Найдите пары

Сопоставьте симптом и причину

  • Провайдер отклоняет запрос и жалуется на max_tokensЗадайте GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY равным max_completion_tokens и перезапустите AnythingLLM
  • 401 UnauthorizedКлюч не указан, набран с ошибкой или вставлен с пробелом
  • 404 или «model not found»Указан короткий id вместо полного из списка моделей
  • Ответы обрываются на полусловеMax Tokens всё ещё 1024 по умолчанию

Опция GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY взята из документации AnythingLLM: она меняет название поля, в котором в запросе уходит лимит. Про 401 и 404 подробно — в статье ошибка API 401 или 404: ключ, Base URL или id модели.

Пользуетесь другим чат-клиентом? Шаги очень похожи на Open WebUI, LibreChat и Cherry Studio: один OpenAI-совместимый Base URL, один ключ, один полный id модели.

Теги: