Інструменти та інтеграціїПосібник
Підключення AnythingLLM до CheapTokens: налаштування Generic OpenAI
Спрямуйте провайдер Generic OpenAI в AnythingLLM на CheapTokens: Base URL, ключ, повний id моделі, а також контекстне вікно та Max Tokens, які треба ввести.
На цій сторінці
Ви можете підключити AnythingLLM до CheapTokens через провайдер Generic OpenAI: вкажіть Base URL https:/, вставте свій API-ключ, введіть повний ідентифікатор моделі, а потім впишіть реальне контекстне вікно моделі та Max Tokens. Останні два поля найчастіше пропускають, а саме вони визначають, чи вміститься довгий документ і чи не обірвуться відповіді.
Власна документація AnythingLLM (сторінка Generic OpenAI, перевірено 7 листопада 2026 року, з банером v1.19.0) описує цей провайдер як спосіб використовувати будь-якого LLM-провайдера, сумісного з OpenAI. Там також попереджають, що він орієнтований на розробників: неправильні налаштування можуть спричинити дивну поведінку, а ідентифікатор моделі має точно збігатися з тим, що обслуговує ендпоінт. Тож будьмо точними.
Заповніть налаштування провайдера#
Відкрийте налаштування LLM в AnythingLLM і виберіть Generic OpenAI як провайдера. Потім заповніть п'ять полів. Назви можуть трохи відрізнятися між версіями, тому орієнтуйтеся на зміст.
Крок за кроком
П'ять полів, по порядку
Base URL
Введіть корінь API, а не повний ендпоінт: https:/. У прикладі з документації корінь закінчується на /v1, а AnythingLLM сам додає /. Якщо вставити повний шлях, запити підуть на неправильну адресу.
API key
Вставте свій ключ CheapTokens. Якщо його ще немає, спершу створіть його в панелі керування. Поводьтеся з ним як із паролем: не показуйте його на скріншоті й не додавайте до спільної нотатки робочого простору.
Chat model name
Використовуйте повний ідентифікатор, наприклад deepseek- або zai-. Короткі назви з таблиць цін API не приймає. Не впевнені, який у вас ідентифікатор? Отримайте список моделей через GET /v1/models.
Model context window
Бюджет, який AnythingLLM використовує, коли будує запит із вашого питання, отриманих фрагментів документів та історії чату. Введіть реальне вікно моделі: 380000 для DeepSeek-V4-Flash, 390000 для GLM-5.3-Flash.
Max Tokens
Обмеження довжини однієї відповіді. Типове значення в AnythingLLM — 1024. Введіть 32768 для DeepSeek-V4-Flash або 8192 для GLM-5.3-Flash.
Збережіть, відкрийте робочий простір і поставте запитання. Embeddings (частина, що перетворює ваші документи на фрагменти для пошуку) — це окреме налаштування в AnythingLLM, тож провайдер вище змінює лише те, яка модель пише відповіді.
Чому ці два ліміти важливі#
Уявіть, що ви завантажуєте в робочий простір контракт на 60 сторінок і просите підсумувати положення про розірвання. З типовими налаштуваннями трапляються дві проблеми. Контекстне вікно, яке ви ввели, може бути набагато меншим за реальне вікно моделі, тож AnythingLLM обрізає те, що надсилає. А Max Tokens стоїть на 1024, тож довгий підсумок обривається на півслові.
Рішення — сказати AnythingLLM правду про модель:
Прокрутіть таблицю праворуч →
| Модель (id) | Контекстне вікно | Вивід на відповідь |
|---|---|---|
DeepSeek-V4-Flash (deepseek-) |
380K | до 32 768 токенів |
GLM-5.3-Flash (zai-) |
390K | до 8 192 токенів |
Корисна звичка: Max Tokens — це стеля, а не ціль. На коротке питання все одно буде коротка відповідь; ви платите лише за токени, які модель фактично написала. Якщо хочете зрозуміти, що відбувається, коли ліміт досягнуто, чому відповідь AI обривається на півслові розбирає finish_reason і max_tokens, а що таке контекстне вікно охоплює бік вхідних даних.
Документація AnythingLLM також каже, що значення Max Tokens, рівне 0, прибирає обмеження виводу із запиту. З явним числом простіше міркувати, тож я б вказав число.
Перевірте з'єднання поза AnythingLLM#
Якщо вікно чату показує помилку, корисно знати, чи проблема в ключі та ідентифікаторі моделі, чи в чомусь усередині AnythingLLM. Надішліть один запит безпосередньо до API:
curl https://api.cheaptokens.dev/v1/chat/completions \
-H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'API сумісний з OpenAI Chat Completions, тож робоча відповідь містить текст у choices[0]., finish_reason і блок usage з кількістю токенів для цього запиту. Якщо ви це отримали, ключ, Base URL та ідентифікатор моделі в порядку, а те, що ви бачите в AnythingLLM, походить від налаштувань вище. Більше про ендпоінт — у документації CheapTokens.
Скільки коштує запитання до ваших документів#
Чат із документами навантажений вхідними даними: кожне запитання несе отримані фрагменти. Скажімо, ви отримуєте шість фрагментів приблизно по 600 токенів кожен, додаєте запитання й трохи історії та виходите приблизно на 4000 вхідних токенів із відповіддю на 400 токенів. На DeepSeek-V4-Flash одне таке запитання коштує $0.0001. Ось те саме навантаження для різних моделей на 200 запитань, поруч із колонкою OpenRouter:
| Модель | Вхід $/1М | Вихід $/1М | За запит | 200 запитів | OpenRouter, 200 запитів |
|---|---|---|---|---|---|
| GLM-5.3-Flash | $0.02 | $0.04 | $0.000096 | $0.0192 | $0.0334 |
| DeepSeek-V4-Flash | $0.015 | $0.10 | $0.0001 | $0.02 | $0.0672 |
| MiniMax-M2.7 | $0.05 | $0.15 | $0.00026 | $0.052 | $0.624 |
4 000 вхідних і 400 вихідних токенів на запит. Ціни за 1 млн токенів актуальні та змінюються разом із нашими тарифами; стовпець OpenRouter показує довідкові ціни для того самого навантаження.
Загалом, з урахуванням вхідних і вихідних даних разом, DeepSeek-V4-Flash виходить дешевшим за OpenRouter на цьому навантаженні. Для власних цифр перетягніть повзунки: потрібні лише токени на запитання та кількість запитань на день.
Калькулятор вартості
Один день запитань до ваших документів
Вхідні токени на запит: 4 000 · Вихідні токени на запит: 400 · Запитів на день: 50
| Модель | За день | За місяць |
|---|---|---|
| GLM-5.3-Flash$0.02$0.04 | $0.0048 | $0.144 |
| DeepSeek-V4-Flash$0.015$0.10 | $0.005 | $0.15 |
| MiniMax-M2.7$0.05$0.15 | $0.013 | $0.39 |
Кількість надісланих фрагментів — найбільший важіль. Скільки коштує запитання RAG показує, як змінюється рахунок, а актуальні тарифи — на сторінці цін.
Якщо не працює#
Більшість збоїв — це одна з чотирьох причин. Зіставте симптом із причиною:
З'єднайте пари
Зіставте кожен симптом із його причиною
Торкніться елемента ліворуч, потім його пари
- Провайдер відхиляє запит і скаржиться на max_tokensЗмініть GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY на max_completion_tokens і перезапустіть AnythingLLM
- 401 UnauthorizedAPI-ключ відсутній, введений з помилкою або вставлений із пробілом
- 404 або "model not found"Ідентифікатор моделі — це коротка назва, а не повний id зі списку моделей
- Відповіді обриваються на півсловіMax Tokens досі типове значення 1024
Опція GENERIC_ походить з документації AnythingLLM: вона змінює, яке ім'я поля несе ліміт у запиті. Докладніше про 401 і 404 — у API 401 або 404: неправильний ключ, base URL чи id моделі.
Використовуєте інший клієнт чату? Кроки близькі до Open WebUI, LibreChat і Cherry Studio: один base URL, сумісний з OpenAI, один ключ, один повний id моделі.
