AnythingLLM'i CheapTokens'e bağlayın: Generic OpenAI kurulumu

AnythingLLM'i Generic OpenAI sağlayıcısıyla CheapTokens'e bağlayabilirsiniz: Base URL'yi https://api.cheaptokens.dev/v1 olarak ayarlayın, API anahtarınızı yapıştırın, tam model kimliğini girin ve ardından modelin gerçek bağlam penceresini ve Max Tokens değerini yazın. Son ikisi insanların atladığı alanlardır ve uzun bir belgenin sığıp sığmayacağını ve yanıtların kesilip kesilmeyeceğini bunlar belirler.

AnythingLLM'in kendi belgeleri (Generic OpenAI sayfası, 7 Kasım 2026'da kontrol edildi, v1.19.0 banner'ıyla) bu sağlayıcıyı OpenAI uyumlu herhangi bir LLM sağlayıcısını kullanmanın yolu olarak tanımlıyor. Ayrıca geliştirici odaklı olduğu konusunda uyarıyorlar: yanlış ayarlar tuhaf davranmasına yol açabilir ve model kimliği uç noktanın sunduğu şeyle tam olarak aynı olmalıdır. O halde kesin olalım.

Sağlayıcı ayarlarını doldurun#

AnythingLLM'in LLM ayarlarını açın ve sağlayıcı olarak Generic OpenAI'ı seçin. Ardından beş alanı sırayla işleyin. Etiketler sürümler arasında biraz farklılık gösterebilir, bu yüzden anlama göre gidin.

Kaydedin, bir çalışma alanı açın ve bir soru sorun. Embedding'ler (belgelerinizi aranabilir parçalara dönüştüren kısım) AnythingLLM'de ayrı bir ayardır, bu yüzden yukarıdaki sağlayıcı yalnızca yanıtları hangi modelin yazacağını değiştirir.

İki sınır neden önemli#

Bir çalışma alanına 60 sayfalık bir sözleşme attığınızı ve fesih maddelerinin özetini istediğinizi düşünün. Varsayılanlarla iki şey ters gider. Girdiğiniz bağlam penceresi modelin gerçek penceresinden çok daha küçük olabilir, bu yüzden AnythingLLM gönderdiği şeyi kısaltır. Ve Max Tokens 1024'te durur, bu yüzden uzun bir özet cümle ortasında kesilir.

Çözüm, AnythingLLM'e model hakkında doğruyu söylemektir:

Sürdürmeye değer bir alışkanlık: Max Tokens bir üst sınırdır, hedef değil. Kısa bir soru yine kısa bir yanıt alır; yalnızca modelin gerçekten yazdığı token'lar için ödeme yaparsınız. Bir sınıra ulaşıldığında ne olduğunu anlamak isterseniz, bir AI yanıtı neden cümle ortasında durur finish_reason ve max_tokens konularını ele alır ve bağlam penceresi nedir girdi tarafını kapsar.

AnythingLLM belgeleri ayrıca Max Tokens değerini 0 yapmanın çıktı sınırını istekten çıkardığını söylüyor. Açık bir sayı hakkında akıl yürütmek daha kolaydır, bu yüzden bir sayı yazardım.

Bağlantıyı AnythingLLM dışında kontrol edin#

Sohbet penceresi bir hata gösteriyorsa, sorunun anahtar ve model kimliğinde mi yoksa AnythingLLM'in içinde mi olduğunu bilmek yardımcı olur. API'ye doğrudan bir istek gönderin:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'

API, OpenAI Chat Completions uyumludur, bu yüzden çalışan bir yanıtta metin choices[0].message.content içinde, bir finish_reason ve o istek için token sayılarını içeren bir usage bloğu bulunur. Bunları alırsanız anahtar, Base URL ve model kimliği sorunsuzdur ve AnythingLLM'de gördüğünüz her şey yukarıdaki ayarlardan kaynaklanır. Uç nokta hakkında daha fazlası CheapTokens belgelerinde.

Belgelerinize sorulan bir soru ne kadar tutar#

Belge sohbeti girdi ağırlıklıdır: her soru alınan parçaları taşır. Her biri yaklaşık 600 token olan altı parça aldığınızı, soruyu ve biraz geçmişi eklediğinizi ve yaklaşık 4.000 girdi token'ına ulaştığınızı, yanıtın da 400 token olduğunu varsayalım. DeepSeek-V4-Flash'te böyle bir soru $0.0001 tutar. İşte 200 soru için modeller arasında aynı iş yükü, yanında OpenRouter sütunuyla:

Toplamda, girdi ve çıktı birlikte sayıldığında, DeepSeek-V4-Flash bu iş yükünde OpenRouter'dan daha ucuza gelir. Kendi sayılarınız için kaydırıcıları sürükleyin: ihtiyaç duyduğu tek şey soru başına token ve günlük soru sayısıdır.

Gönderdiğiniz parça sayısı en büyük kaldıraçtır. Bir RAG sorusunun maliyeti faturanın bununla nasıl değiştiğini gösterir ve güncel ücretler fiyatlandırma sayfasında.

Çalışmazsa#

Çoğu hata dört şeyden biridir. Belirtiyi nedene eşleştirin:

GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY seçeneği AnythingLLM'in belgelerinden gelir: istekte sınırı hangi alan adının taşıyacağını değiştirir. 401 ve 404 hakkında ayrıntı için API 401 veya 404: yanlış anahtar, base URL veya model kimliği sayfasına bakın.

Başka bir sohbet istemcisi mi kullanıyorsunuz? Adımlar Open WebUI, LibreChat ve Cherry Studio ile neredeyse aynıdır: bir OpenAI uyumlu base URL, bir anahtar, bir tam model kimliği.