Alat & integrasiPanduan
Hubungkan AnythingLLM ke CheapTokens: penyiapan Generic OpenAI
Arahkan penyedia Generic OpenAI AnythingLLM ke CheapTokens: Base URL, key, id model lengkap, plus context window dan Max Tokens yang harus dimasukkan.
Di halaman ini
Anda dapat menghubungkan AnythingLLM ke CheapTokens dengan penyedia Generic OpenAI-nya: atur Base URL ke https:/, tempelkan API key Anda, masukkan id model lengkap, lalu ketik context window asli model dan Max Tokens. Dua yang terakhir adalah yang sering dilewatkan orang, dan keduanya menentukan apakah dokumen panjang muat dan apakah jawaban terpotong.
Dokumentasi AnythingLLM sendiri (halaman Generic OpenAI, diperiksa 7 November 2026, dengan banner v1.19.0) menjelaskan penyedia ini sebagai cara untuk memakai penyedia LLM apa pun yang kompatibel dengan OpenAI. Mereka juga memperingatkan bahwa ini berfokus pada developer: pengaturan yang salah dapat membuat perilakunya aneh, dan id model harus persis seperti yang disajikan endpoint. Jadi mari kita tepat.
Isi pengaturan penyedia#
Buka pengaturan LLM AnythingLLM dan pilih Generic OpenAI sebagai penyedia. Lalu isi kelima kolomnya. Label bisa sedikit berbeda antar versi, jadi ikuti maknanya.
Langkah demi langkah
Lima kolom, berurutan
Base URL
Masukkan root API, bukan endpoint lengkap: https:/. Contoh di dokumentasi sendiri adalah root yang berakhiran /v1, dan AnythingLLM menambahkan / sendiri. Jika Anda menempelkan path lengkap, permintaan akan menuju alamat yang salah.
API key
Tempelkan key CheapTokens Anda. Jika belum punya, buat dulu di dashboard. Perlakukan seperti kata sandi: jangan taruh di tangkapan layar atau catatan workspace yang dibagikan.
Chat model name
Gunakan id lengkap, misalnya deepseek- atau zai-. Nama pendek yang Anda lihat di tabel harga tidak diterima oleh API. Tidak yakin id mana yang Anda punya? Daftar model dengan GET /v1/models.
Model context window
Anggaran yang dipakai AnythingLLM saat menyusun prompt dari pertanyaan Anda, potongan dokumen yang diambil, dan riwayat chat. Masukkan window asli model: 380000 untuk DeepSeek-V4-Flash, 390000 untuk GLM-5.3-Flash.
Max Tokens
Batas atas panjang satu jawaban. Default AnythingLLM adalah 1024. Masukkan 32768 untuk DeepSeek-V4-Flash atau 8192 untuk GLM-5.3-Flash.
Simpan, buka workspace, dan ajukan pertanyaan. Embeddings (bagian yang mengubah dokumen Anda menjadi potongan yang dapat dicari) adalah pengaturan terpisah di AnythingLLM, jadi penyedia di atas hanya mengubah model mana yang menulis jawaban.
Mengapa kedua batas itu penting#
Bayangkan Anda memasukkan kontrak 60 halaman ke workspace dan meminta ringkasan klausul pengakhiran. Dengan default, dua hal salah. Context window yang Anda ketik mungkin jauh lebih kecil dari yang asli model, sehingga AnythingLLM memangkas yang dikirim. Dan Max Tokens berada di 1024, sehingga ringkasan panjang berhenti di tengah kalimat.
Solusinya adalah memberi tahu AnythingLLM kebenaran tentang model:
Gulir tabel ke kanan →
| Model (id) | Context window | Output per jawaban |
|---|---|---|
DeepSeek-V4-Flash (deepseek-) |
380K | hingga 32.768 token |
GLM-5.3-Flash (zai-) |
390K | hingga 8.192 token |
Kebiasaan yang layak dijaga: Max Tokens adalah batas atas, bukan target. Pertanyaan pendek tetap mendapat jawaban pendek; Anda hanya membayar token yang benar-benar ditulis model. Jika Anda ingin memahami apa yang terjadi saat batas tercapai, mengapa jawaban AI berhenti di tengah kalimat membahas finish_reason dan max_tokens, dan apa itu context window membahas sisi input.
Dokumentasi AnythingLLM juga menyebutkan bahwa mengatur Max Tokens ke 0 menghilangkan batas output dari permintaan. Angka eksplisit lebih mudah dipahami, jadi saya akan mengetik satu.
Periksa koneksi di luar AnythingLLM#
Jika jendela chat menampilkan error, ada gunanya mengetahui apakah masalahnya ada pada key dan id model atau sesuatu di dalam AnythingLLM. Kirim satu permintaan langsung ke API:
curl https://api.cheaptokens.dev/v1/chat/completions \
-H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Say hi in five words."}], "max_tokens": 50}'API ini kompatibel dengan OpenAI Chat Completions, jadi balasan yang berfungsi memiliki teks di choices[0]., sebuah finish_reason, dan blok usage dengan jumlah token untuk permintaan tersebut. Jika Anda mendapatkannya, key, Base URL, dan id model sudah benar, dan apa pun yang Anda lihat di AnythingLLM berasal dari pengaturan di atas. Selengkapnya tentang endpoint ada di dokumentasi CheapTokens.
Berapa biaya satu pertanyaan ke dokumen Anda#
Chat dokumen berat input: setiap pertanyaan membawa potongan yang diambil. Katakanlah Anda mengambil enam potongan sekitar 600 token masing-masing, tambahkan pertanyaan dan sedikit riwayat, dan mencapai sekitar 4.000 token input, dengan jawaban 400 token. Pada DeepSeek-V4-Flash, satu pertanyaan seperti itu berbiaya $0.0001. Berikut beban kerja yang sama di berbagai model untuk 200 pertanyaan, dengan kolom OpenRouter di sebelahnya:
| Model | Input $/1Jt | Output $/1Jt | Per permintaan | 200 permintaan | OpenRouter, 200 permintaan |
|---|---|---|---|---|---|
| GLM-5.3-Flash | $0.02 | $0.04 | $0.000096 | $0.0192 | $0.0334 |
| DeepSeek-V4-Flash | $0.015 | $0.10 | $0.0001 | $0.02 | $0.0672 |
| MiniMax-M2.7 | $0.05 | $0.15 | $0.00026 | $0.052 | $0.624 |
4.000 token input dan 400 token output per permintaan. Harga per 1 juta token adalah harga saat ini dan berubah seiring tarif kami; kolom OpenRouter menunjukkan harga referensi untuk beban kerja yang sama.
Secara total, dengan input dan output dihitung bersama, DeepSeek-V4-Flash lebih murah daripada OpenRouter pada beban kerja ini. Untuk angka Anda sendiri, geser slider: token per pertanyaan dan pertanyaan per hari adalah semua yang dibutuhkan.
Kalkulator biaya
Satu hari pertanyaan ke dokumen Anda
Token input per permintaan: 4.000 · Token output per permintaan: 400 · Permintaan per hari: 50
| Model | Per hari | Per bulan |
|---|---|---|
| GLM-5.3-Flash$0.02$0.04 | $0.0048 | $0.144 |
| DeepSeek-V4-Flash$0.015$0.10 | $0.005 | $0.15 |
| MiniMax-M2.7$0.05$0.15 | $0.013 | $0.39 |
Jumlah potongan yang Anda kirim adalah tuas terbesar. Berapa biaya pertanyaan RAG menunjukkan bagaimana tagihan bergerak mengikutinya, dan tarif terkini ada di halaman harga.
Jika tidak berhasil#
Sebagian besar kegagalan adalah salah satu dari empat hal. Cocokkan gejala dengan penyebabnya:
Cocokkan pasangan
Cocokkan setiap gejala dengan penyebabnya
Ketuk item di kiri, lalu pasangannya
- Penyedia menolak permintaan dan mengeluh tentang max_tokensAtur GENERIC_OPEN_AI_MODEL_MAX_TOKEN_KEY ke max_completion_tokens dan mulai ulang AnythingLLM
- 401 UnauthorizedAPI key hilang, salah ketik, atau ditempel dengan spasi
- 404 atau "model not found"Id model adalah nama pendek, bukan id lengkap dari daftar model
- Jawaban berhenti di tengah kalimatMax Tokens masih default 1024
Opsi GENERIC_ berasal dari dokumentasi AnythingLLM: ini mengubah nama field mana yang membawa batas dalam permintaan. Untuk 401 dan 404 secara detail, lihat API 401 atau 404: key, base URL, atau id model salah.
Memakai klien chat lain? Langkahnya mirip dengan Open WebUI, LibreChat, dan Cherry Studio: satu base URL yang kompatibel dengan OpenAI, satu key, satu id model lengkap.
