Połącz AnythingLLM z CheapTokens: konfiguracja Generic OpenAI

Możesz połączyć AnythingLLM z CheapTokens za pomocą dostawcy Generic OpenAI: ustaw Base URL na https://api.cheaptokens.dev/v1, wklej klucz API, wpisz pełny identyfikator modelu, a następnie podaj rzeczywiste okno kontekstu modelu i Max Tokens. Te dwa ostatnie pola są pomijane przez większość osób, a decydują o tym, czy długi dokument się zmieści i czy odpowiedzi nie zostaną ucięte.

Dokumentacja AnythingLLM (strona Generic OpenAI, sprawdzona 7 listopada 2026, z banerem v1.19.0) opisuje tego dostawcę jako sposób na korzystanie z dowolnego dostawcy LLM zgodnego z OpenAI. Ostrzega też, że jest on przeznaczony dla deweloperów: błędne ustawienia mogą powodować dziwne zachowanie, a identyfikator modelu musi być dokładnie tym, co serwuje endpoint. Więc bądźmy precyzyjni.

Wypełnij ustawienia dostawcy#

Otwórz ustawienia LLM w AnythingLLM i wybierz Generic OpenAI jako dostawcę. Następnie przejdź przez pięć pól. Etykiety mogą się nieco różnić między wersjami, więc kieruj się znaczeniem.

Zapisz, otwórz obszar roboczy i zadaj pytanie. Embeddings (część, która zamienia Twoje dokumenty w przeszukiwalne fragmenty) to osobne ustawienie w AnythingLLM, więc powyższy dostawca zmienia tylko to, który model pisze odpowiedzi.

Dlaczego te dwa limity mają znaczenie#

Wyobraź sobie, że wrzucasz do obszaru roboczego 60-stronicową umowę i prosisz o podsumowanie klauzul rozwiązania. Przy domyślnych ustawieniach dwie rzeczy idą źle. Wpisane okno kontekstu może być znacznie mniejsze niż rzeczywiste okno modelu, więc AnythingLLM przycina to, co wysyła. A Max Tokens wynosi 1024, więc długie podsumowanie urywa się w połowie zdania.

Rozwiązaniem jest powiedzenie AnythingLLM prawdy o modelu:

Nawyk wart zachowania: Max Tokens to górny limit, a nie cel. Krótkie pytanie nadal dostaje krótką odpowiedź; płacisz tylko za tokeny, które model faktycznie zapisze. Jeśli chcesz zrozumieć, co się dzieje po osiągnięciu limitu, dlaczego odpowiedź AI urywa się w połowie zdania omawia finish_reason i max_tokens, a czym jest okno kontekstu obejmuje stronę wejściową.

Dokumentacja AnythingLLM mówi też, że ustawienie Max Tokens na 0 pomija limit wyjścia w żądaniu. Jawny numer jest łatwiejszy do zrozumienia, więc wpisałbym jeden.

Sprawdź połączenie poza AnythingLLM#

Jeśli okno czatu pokazuje błąd, warto wiedzieć, czy problem leży w kluczu i identyfikatorze modelu, czy w samym AnythingLLM. Wyślij jedno żądanie bezpośrednio do API:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

API jest zgodne z OpenAI Chat Completions, więc działająca odpowiedź ma tekst w choices[0].message.content, finish_reason oraz blok usage z liczbą tokenów dla tego żądania. Jeśli je dostajesz, klucz, Base URL i identyfikator modelu są w porządku, a to, co widzisz w AnythingLLM, wynika z powyższych ustawień. Więcej o endpoincie znajdziesz w dokumentacji CheapTokens.

Ile kosztuje pytanie do Twoich dokumentów#

Czat z dokumentami jest obciążony wejściem: każde pytanie niesie pobrane fragmenty. Załóżmy, że pobierasz sześć fragmentów po około 600 tokenów każdy, dodajesz pytanie i trochę historii, i dochodzisz do około 4000 tokenów wejściowych, z odpowiedzią 400 tokenów. Na DeepSeek-V4-Flash jedno takie pytanie kosztuje $0.0001. Oto to samo obciążenie na różnych modelach dla 200 pytań, z kolumną OpenRouter obok:

Łącznie, licząc wejście i wyjście razem, DeepSeek-V4-Flash wypada taniej niż OpenRouter przy tym obciążeniu. Aby uzyskać własne liczby, przeciągnij suwaki: wystarczą tokeny na pytanie i pytania na dzień.

Liczba wysyłanych fragmentów to największa dźwignia. Ile kosztuje pytanie RAG pokazuje, jak zmienia się rachunek, a aktualne stawki są na stronie cen.

Jeśli nie działa#

Większość awarii to jedna z czterech rzeczy. Dopasuj objaw do przyczyny:

Opcja GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY pochodzi z dokumentacji AnythingLLM: zmienia, które pole w żądaniu niesie limit. Szczegóły dotyczące 401 i 404 znajdziesz w API 401 lub 404: zły klucz, base URL lub identyfikator modelu.

Używasz innego klienta czatu? Kroki są zbliżone do Open WebUI, LibreChat i Cherry Studio: jeden base URL zgodny z OpenAI, jeden klucz, jeden pełny identyfikator modelu.