AnythingLLM mit CheapTokens verbinden: Generic-OpenAI-Einrichtung

Du kannst AnythingLLM über den Generic OpenAI-Provider mit CheapTokens verbinden: Setze die Base URL auf https://api.cheaptokens.dev/v1, füge deinen API-Key ein, gib die vollständige Modell-ID ein und trage dann das echte Kontextfenster und die Max Tokens des Modells ein. Die letzten beiden Felder werden oft übersprungen, und sie entscheiden darüber, ob ein langes Dokument hineinpasst und ob Antworten abgeschnitten werden.

Die eigene Dokumentation von AnythingLLM (Seite zu Generic OpenAI, geprüft am 7. November 2026, mit einem Banner zu v1.19.0) beschreibt diesen Provider als den Weg, jeden OpenAI-kompatiblen LLM-Provider zu nutzen. Sie warnt außerdem, dass er auf Entwickler ausgerichtet ist: Falsche Einstellungen können zu seltsamem Verhalten führen, und die Modell-ID muss exakt dem entsprechen, was der Endpoint ausliefert. Also machen wir es genau.

Die Provider-Einstellungen ausfüllen#

Öffne die LLM-Einstellungen von AnythingLLM und wähle Generic OpenAI als Provider. Dann gehst du die fünf Felder durch. Die Beschriftungen können zwischen Versionen leicht abweichen, richte dich also nach der Bedeutung.

Speichern, einen Workspace öffnen und eine Frage stellen. Embeddings (der Teil, der deine Dokumente in durchsuchbare Abschnitte umwandelt) sind eine separate Einstellung in AnythingLLM, der obige Provider ändert also nur, welches Modell die Antworten schreibt.

Warum die beiden Limits wichtig sind#

Stell dir vor, du lädst einen 60-seitigen Vertrag in einen Workspace und bittest um eine Zusammenfassung der Kündigungsklauseln. Mit den Standardwerten geht zweierlei schief. Das Kontextfenster, das du eingetragen hast, kann viel kleiner sein als das echte des Modells, sodass AnythingLLM kürzt, was es sendet. Und Max Tokens steht auf 1024, sodass eine lange Zusammenfassung mitten im Satz endet.

Die Lösung ist, AnythingLLM die Wahrheit über das Modell zu sagen:

Eine gute Angewohnheit: Max Tokens ist eine Obergrenze, kein Ziel. Eine kurze Frage bekommt trotzdem eine kurze Antwort; du zahlst nur für Tokens, die das Modell tatsächlich schreibt. Wenn du verstehen willst, was passiert, wenn ein Limit erreicht wird, geht warum eine KI-Antwort mitten im Satz endet auf finish_reason und max_tokens ein, und was ein Kontextfenster ist behandelt die Eingabeseite.

Die AnythingLLM-Doku sagt außerdem, dass Max Tokens auf 0 das Ausgabelimit aus der Anfrage weglässt. Eine explizite Zahl ist leichter nachzuvollziehen, also würde ich eine eintragen.

Die Verbindung außerhalb von AnythingLLM prüfen#

Wenn das Chat-Fenster einen Fehler zeigt, hilft es zu wissen, ob das Problem der Key und die Modell-ID sind oder etwas in AnythingLLM. Schick eine Anfrage direkt an die API:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

Die API ist OpenAI Chat Completions-kompatibel, eine funktionierende Antwort hat den Text in choices[0].message.content, eine finish_reason und einen usage-Block mit den Token-Zahlen für diese Anfrage. Wenn du das bekommst, sind Key, Base URL und Modell-ID in Ordnung, und was du in AnythingLLM siehst, kommt von den obigen Einstellungen. Mehr zum Endpoint steht in der CheapTokens-Doku.

Was eine Frage an deine Dokumente kostet#

Dokument-Chat ist eingabelastig: Jede Frage trägt die abgerufenen Abschnitte mit. Sagen wir, du rufst sechs Abschnitte von je etwa 600 Tokens ab, fügst die Frage und etwas Verlauf hinzu und landest bei knapp 4.000 Eingabe-Tokens, mit einer 400-Token-Antwort. Auf DeepSeek-V4-Flash kostet eine solche Frage $0.0001. Hier ist dieselbe Arbeitslast über die Modelle für 200 Fragen, mit der OpenRouter-Spalte daneben:

Insgesamt, mit Eingabe und Ausgabe zusammen gerechnet, ist DeepSeek-V4-Flash bei dieser Arbeitslast günstiger als OpenRouter. Für deine eigenen Zahlen zieh die Schieberegler: Tokens pro Frage und Fragen pro Tag sind alles, was es braucht.

Die Anzahl der Abschnitte, die du sendest, ist der größte Hebel. Was eine RAG-Frage kostet zeigt, wie sich die Rechnung damit verändert, und aktuelle Preise stehen auf der Preisseite.

Wenn es nicht funktioniert#

Die meisten Fehler sind eines von vier Dingen. Ordne das Symptom der Ursache zu:

Die Option GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY stammt aus der AnythingLLM-Doku: Sie ändert, welcher Feldname das Limit in der Anfrage trägt. Zu 401 und 404 im Detail siehe API 401 oder 404: falscher Key, falsche Base URL oder Modell-ID.

Nutzt du einen anderen Chat-Client? Die Schritte ähneln denen für Open WebUI, LibreChat und Cherry Studio: eine OpenAI-kompatible Base URL, ein Key, eine vollständige Modell-ID.