Conecte o AnythingLLM ao CheapTokens: configuração do Generic OpenAI
Aponte o provedor Generic OpenAI do AnythingLLM para o CheapTokens: Base URL, chave, id completo do modelo, além da janela de contexto e do Max Tokens a inserir.
Nesta página
Você pode conectar o AnythingLLM ao CheapTokens com o provedor Generic OpenAI: defina a Base URL como https:/, cole sua chave de API, insira o id completo do modelo e depois digite a janela de contexto real do modelo e o Max Tokens. Os dois últimos são os que as pessoas pulam, e eles decidem se um documento longo cabe e se as respostas são cortadas.
A própria documentação do AnythingLLM (página Generic OpenAI, verificada em 7 de novembro de 2026, com um banner da v1.19.0) descreve esse provedor como a forma de usar qualquer provedor de LLM compatível com OpenAI. Ela também avisa que ele é voltado para desenvolvedores: configurações erradas podem fazer com que ele se comporte de forma estranha, e o id do modelo deve ser exatamente o que o endpoint serve. Então vamos ser exatos.
Preencha as configurações do provedor#
Abra as configurações de LLM do AnythingLLM e escolha Generic OpenAI como provedor. Depois percorra os cinco campos. Os rótulos podem variar um pouco entre versões, então guie-se pelo significado.
Passo a passo
Cinco campos, em ordem
Base URL
Insira a raiz da API, não o endpoint completo: https:/. O próprio exemplo da documentação é uma raiz terminando em /v1, e o AnythingLLM adiciona / por conta própria. Se você colar o caminho completo, as requisições vão para o endereço errado.
Chave de API
Cole sua chave do CheapTokens. Se você ainda não tem uma, crie-a no dashboard primeiro. Trate-a como uma senha: não a coloque em uma captura de tela ou em uma nota de workspace compartilhada.
Nome do modelo de chat
Use o id completo, por exemplo deepseek- ou zai-. Os nomes curtos que você vê nas tabelas de preços não são aceitos pela API. Não tem certeza de qual id você tem? Liste os modelos com GET /v1/models.
Janela de contexto do modelo
O orçamento que o AnythingLLM usa quando monta um prompt a partir da sua pergunta, dos trechos de documentos recuperados e do histórico do chat. Insira a janela real do modelo: 380000 para DeepSeek-V4-Flash, 390000 para GLM-5.3-Flash.
Max Tokens
O teto para o comprimento de uma resposta. O padrão do AnythingLLM é 1024. Insira 32768 para DeepSeek-V4-Flash ou 8192 para GLM-5.3-Flash.
Salve, abra um workspace e faça uma pergunta. Embeddings (a parte que transforma seus documentos em trechos pesquisáveis) são uma configuração separada no AnythingLLM, então o provedor acima só muda qual modelo escreve as respostas.
Por que os dois limites importam#
Imagine que você coloca um contrato de 60 páginas em um workspace e pede um resumo das cláusulas de rescisão. Com os padrões, duas coisas dão errado. A janela de contexto que você digitou pode ser muito menor que a real do modelo, então o AnythingLLM corta o que envia. E o Max Tokens fica em 1024, então um resumo longo para no meio da frase.
A solução é dizer ao AnythingLLM a verdade sobre o modelo:
Role a tabela para a direita →
| Modelo (id) | Janela de contexto | Saída por resposta |
|---|---|---|
DeepSeek-V4-Flash (deepseek-) |
380K | até 32.768 tokens |
GLM-5.3-Flash (zai-) |
390K | até 8.192 tokens |
Um hábito que vale a pena manter: Max Tokens é um teto, não uma meta. Uma pergunta curta ainda recebe uma resposta curta; você só paga pelos tokens que o modelo realmente escreve. Se você quer entender o que acontece quando um limite é atingido, por que uma resposta de IA para no meio da frase explica finish_reason e max_tokens, e o que é uma janela de contexto cobre o lado da entrada.
A documentação do AnythingLLM também diz que definir Max Tokens como 0 deixa o limite de saída fora da requisição. Um número explícito é mais fácil de raciocinar, então eu digitaria um.
Verifique a conexão fora do AnythingLLM#
Se a janela de chat mostrar um erro, ajuda saber se o problema é a chave e o id do modelo ou algo dentro do AnythingLLM. Envie uma requisição direto para a API:
curl https://api.cheaptokens.dev/v1/chat/completions \
-H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'A API é compatível com OpenAI Chat Completions, então uma resposta funcional tem o texto em choices[0]., um finish_reason e um bloco usage com as contagens de tokens daquela requisição. Se você receber isso, a chave, a Base URL e o id do modelo estão corretos, e o que você vê no AnythingLLM vem das configurações acima. Mais sobre o endpoint está na documentação do CheapTokens.
Quanto custa uma pergunta aos seus documentos#
O chat com documentos é pesado na entrada: cada pergunta carrega os trechos recuperados. Digamos que você recupere seis trechos de cerca de 600 tokens cada, adicione a pergunta e um pouco de histórico, e chegue perto de 4.000 tokens de entrada, com uma resposta de 400 tokens. No DeepSeek-V4-Flash, uma pergunta dessas custa $0.0001. Aqui está a mesma carga de trabalho entre modelos para 200 perguntas, com a coluna do OpenRouter ao lado:
| Modelo | Entrada $/1M | Saída $/1M | Por solicitação | 200 solicitações | OpenRouter, 200 solicitações |
|---|---|---|---|---|---|
| GLM-5.3-Flash | $0.02 | $0.04 | $0.000096 | $0.0192 | $0.0334 |
| DeepSeek-V4-Flash | $0.015 | $0.10 | $0.0001 | $0.02 | $0.0672 |
| MiniMax-M2.7 | $0.05 | $0.15 | $0.00026 | $0.052 | $0.624 |
4.000 tokens de entrada e 400 tokens de saída por solicitação. Os preços por 1M de tokens são atuais e mudam junto com nossas tarifas; a coluna OpenRouter mostra preços de referência para a mesma carga de trabalho.
No total, com entrada e saída contadas juntas, o DeepSeek-V4-Flash sai mais barato que o OpenRouter nesta carga de trabalho. Para os seus próprios números, arraste os controles: tokens por pergunta e perguntas por dia é tudo o que ele precisa.
Calculadora de custos
Um dia de perguntas aos seus documentos
Tokens de entrada por solicitação: 4.000 · Tokens de saída por solicitação: 400 · Solicitações por dia: 50
| Modelo | Por dia | Por mês |
|---|---|---|
| GLM-5.3-Flash$0.02$0.04 | $0.0048 | $0.144 |
| DeepSeek-V4-Flash$0.015$0.10 | $0.005 | $0.15 |
| MiniMax-M2.7$0.05$0.15 | $0.013 | $0.39 |
O número de trechos que você envia é a maior alavanca. Quanto custa uma pergunta de RAG mostra como a conta se move com isso, e as tarifas atuais estão na página de preços.
Se não funcionar#
A maioria das falhas é uma de quatro coisas. Relacione o sintoma à causa:
Emparelhar os pares
Relacione cada sintoma à sua causa
Toque num item à esquerda, depois no seu par
- O provedor rejeita a requisição e reclama de max_tokensDefina GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY como max_completion_tokens e reinicie o AnythingLLM
- 401 UnauthorizedA chave de API está ausente, digitada errado ou colada com um espaço
- 404 ou "model not found"O id do modelo é o nome curto, não o id completo da lista de modelos
- As respostas param no meio da fraseO Max Tokens ainda está no padrão 1024
A opção GENERIC_ vem da documentação do AnythingLLM: ela muda qual nome de campo carrega o limite na requisição. Para 401 e 404 em detalhes, veja API 401 ou 404: chave, base URL ou id de modelo errados.
Usando outro cliente de chat? Os passos são parecidos com Open WebUI, LibreChat e Cherry Studio: uma base URL compatível com OpenAI, uma chave, um id de modelo completo.
