Connecter AnythingLLM à CheapTokens : configuration Generic OpenAI
Configurez le fournisseur Generic OpenAI d'AnythingLLM pour CheapTokens : URL de base, clé, identifiant complet du modèle, plus la fenêtre de contexte et Max Tokens à saisir.
Sur cette page
Vous pouvez connecter AnythingLLM à CheapTokens avec son fournisseur Generic OpenAI : définissez l'URL de base sur https:/, collez votre clé API, saisissez l'identifiant complet du modèle, puis renseignez la fenêtre de contexte réelle du modèle et Max Tokens. Ce sont ces deux derniers champs que l'on oublie souvent, et ils déterminent si un long document tient et si les réponses sont tronquées.
La documentation d'AnythingLLM (page Generic OpenAI, consultée le 7 novembre 2026, avec une bannière v1.19.0) présente ce fournisseur comme le moyen d'utiliser n'importe quel fournisseur de LLM compatible OpenAI. Elle prévient aussi qu'il s'adresse aux développeurs : de mauvais réglages peuvent le faire se comporter bizarrement, et l'identifiant du modèle doit correspondre exactement à ce que sert l'endpoint. Soyons donc précis.
Remplir les réglages du fournisseur#
Ouvrez les réglages LLM d'AnythingLLM et choisissez Generic OpenAI comme fournisseur. Passez ensuite en revue les cinq champs. Les libellés peuvent varier légèrement selon les versions, fiez-vous au sens.
Étape par étape
Cinq champs, dans l'ordre
URL de base
Saisissez la racine de l'API, pas l'endpoint complet : https:/. L'exemple de la documentation est une racine se terminant par /v1, et AnythingLLM ajoute / lui-même. Si vous collez le chemin complet, les requêtes partent à la mauvaise adresse.
Clé API
Collez votre clé CheapTokens. Si vous n'en avez pas encore, créez-la d'abord dans le tableau de bord. Traitez-la comme un mot de passe : ne la mettez pas dans une capture d'écran ni dans une note d'espace de travail partagée.
Nom du modèle de chat
Utilisez l'identifiant complet, par exemple deepseek- ou zai-. Les noms courts que l'on voit dans les tableaux de prix ne sont pas acceptés par l'API. Vous ne savez pas quel identifiant vous avez ? Listez les modèles avec GET /v1/models.
Fenêtre de contexte du modèle
Le budget qu'AnythingLLM utilise lorsqu'il construit un prompt à partir de votre question, des extraits de documents récupérés et de l'historique de chat. Saisissez la fenêtre réelle du modèle : 380000 pour DeepSeek-V4-Flash, 390000 pour GLM-5.3-Flash.
Max Tokens
Le plafond de longueur d'une réponse. La valeur par défaut d'AnythingLLM est 1024. Saisissez 32768 pour DeepSeek-V4-Flash ou 8192 pour GLM-5.3-Flash.
Enregistrez, ouvrez un espace de travail et posez une question. Les embeddings (la partie qui transforme vos documents en extraits interrogeables) sont un réglage distinct dans AnythingLLM, donc le fournisseur ci-dessus ne change que le modèle qui rédige les réponses.
Pourquoi les deux limites comptent#
Imaginez que vous déposiez un contrat de 60 pages dans un espace de travail et demandiez un résumé des clauses de résiliation. Avec les valeurs par défaut, deux choses vont mal tourner. La fenêtre de contexte que vous avez saisie peut être bien plus petite que la vraie, donc AnythingLLM tronque ce qu'il envoie. Et Max Tokens reste à 1024, donc un long résumé s'arrête en pleine phrase.
La solution est de dire la vérité à AnythingLLM sur le modèle :
Faites défiler le tableau vers la droite →
| Modèle (id) | Fenêtre de contexte | Sortie par réponse |
|---|---|---|
DeepSeek-V4-Flash (deepseek-) |
380K | jusqu'à 32 768 tokens |
GLM-5.3-Flash (zai-) |
390K | jusqu'à 8 192 tokens |
Une habitude à garder : Max Tokens est un plafond, pas un objectif. Une question courte reçoit toujours une réponse courte ; vous ne payez que les tokens que le modèle écrit réellement. Si vous voulez comprendre ce qui se passe quand une limite est atteinte, pourquoi une réponse d'IA s'arrête en pleine phrase détaille finish_reason et max_tokens, et ce qu'est une fenêtre de contexte couvre le côté entrée.
La documentation d'AnythingLLM indique aussi que mettre Max Tokens à 0 retire la limite de sortie de la requête. Un nombre explicite est plus facile à raisonner, donc j'en saisirais un.
Vérifier la connexion en dehors d'AnythingLLM#
Si la fenêtre de chat affiche une erreur, il est utile de savoir si le problème vient de la clé et de l'identifiant du modèle ou de quelque chose dans AnythingLLM. Envoyez une requête directement à l'API :
curl https://api.cheaptokens.dev/v1/chat/completions \
-H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'L'API est compatible avec OpenAI Chat Completions, donc une réponse fonctionnelle contient le texte dans choices[0]., un finish_reason, et un bloc usage avec les compteurs de tokens de cette requête. Si vous les obtenez, la clé, l'URL de base et l'identifiant du modèle sont bons, et ce que vous voyez dans AnythingLLM vient des réglages ci-dessus. Plus de détails sur l'endpoint dans la documentation CheapTokens.
Combien coûte une question à vos documents#
Le chat sur documents est gourmand en entrée : chaque question transporte les extraits récupérés. Disons que vous récupérez six extraits d'environ 600 tokens chacun, ajoutez la question et un peu d'historique, et arrivez près de 4 000 tokens d'entrée, avec une réponse de 400 tokens. Sur DeepSeek-V4-Flash, une telle question coûte $0.0001. Voici la même charge de travail sur plusieurs modèles pour 200 questions, avec la colonne OpenRouter à côté :
| Modèle | Entrée $/1M | Sortie $/1M | Par requête | 200 requêtes | OpenRouter, 200 requêtes |
|---|---|---|---|---|---|
| GLM-5.3-Flash | $0.02 | $0.04 | $0.000096 | $0.0192 | $0.0334 |
| DeepSeek-V4-Flash | $0.015 | $0.10 | $0.0001 | $0.02 | $0.0672 |
| MiniMax-M2.7 | $0.05 | $0.15 | $0.00026 | $0.052 | $0.624 |
4 000 tokens d'entrée et 400 tokens de sortie par requête. Les prix par million de tokens sont actuels et évoluent avec nos tarifs ; la colonne OpenRouter indique des prix de référence pour la même charge de travail.
Au total, entrée et sortie comptées ensemble, DeepSeek-V4-Flash revient moins cher qu'OpenRouter sur cette charge de travail. Pour vos propres chiffres, faites glisser les curseurs : tokens par question et questions par jour suffisent.
Calculateur de coût
Une journée de questions à vos documents
Tokens d'entrée par requête: 4 000 · Tokens de sortie par requête: 400 · Requêtes par jour: 50
| Modèle | Par jour | Par mois |
|---|---|---|
| GLM-5.3-Flash$0.02$0.04 | $0.0048 | $0.144 |
| DeepSeek-V4-Flash$0.015$0.10 | $0.005 | $0.15 |
| MiniMax-M2.7$0.05$0.15 | $0.013 | $0.39 |
Le nombre d'extraits envoyés est le plus gros levier. Combien coûte une question RAG montre comment la facture évolue avec lui, et les tarifs actuels sont sur la page de tarifs.
Si ça ne fonctionne pas#
La plupart des échecs relèvent de quatre causes. Associez le symptôme à la cause :
Associer les paires
Associez chaque symptôme à sa cause
Touchez un élément à gauche, puis sa paire
- Le fournisseur rejette la requête et se plaint de max_tokensDéfinissez GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY sur max_completion_tokens et redémarrez AnythingLLM
- 401 UnauthorizedLa clé API est absente, mal saisie ou collée avec un espace
- 404 ou « model not found »L'identifiant du modèle est le nom court, pas l'identifiant complet de la liste des modèles
- Les réponses s'arrêtent en pleine phraseMax Tokens est encore à la valeur par défaut 1024
L'option GENERIC_ vient de la documentation d'AnythingLLM : elle change le nom du champ qui porte la limite dans la requête. Pour les 401 et 404 en détail, voir API 401 ou 404 : mauvaise clé, URL de base ou identifiant de modèle.
Vous utilisez un autre client de chat ? Les étapes sont proches de Open WebUI, LibreChat et Cherry Studio : une URL de base compatible OpenAI, une clé, un identifiant de modèle complet.
