Nemotron Bolt E4B mi yoksa barındırılan bir API mi? Bağlama ve göreve göre seçin

Göreviniz 64.000 token'a sığıyorsa ve GPU'nuzda ~4 GB'lık bir model için yer varsa, NVIDIA'nın Nemotron 3.5 Bolt E4B modeli bunu kendi makinenizde çalıştırabilir. İş daha büyük bir pencere, uzun bir yanıt veya bugün bitirilmesi gereken 20.000 öğe gerektiriyorsa, barındırılan bir model daha kısa yoldur. Aşağıda görevinizi sınıflandıran bir tablo ve her satırın arkasındaki aritmetik var.

Karşılaştırmanın barındırılan tarafı, CheapTokens modeller sayfasındaki üç modeli kullanıyor: DeepSeek-V4-Flash, GLM-5.3-Flash ve MiniMax-M2.7.

NVIDIA'nın yayınladıkları ve atladıkları#

NVIDIA'nın Nemotron 3.5 Bolt E4B araştırma sayfası (23 Ekim 2026'da yayınlandı, 5 Kasım'da kontrol edildi), Gemma 4 E4B üzerine kurulu ve llama.cpp için GGUF kontrol noktası, Q4_K_M nicelemesi olarak sunulan bir modeli tanımlıyor. NVIDIA, modelin 4 GB kadar az belleğe sığdığını söylüyor; ölçtüğü VRAM 3,1 ile 5,0 GB arasındaydı (NVIDIA'nın test iş yükünde; tam 64K pencereyle bellek kullanımı daha yüksek olacaktır, bu yüzden kendi kartınızda kontrol edin). Ağırlıklar Hugging Face'te nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB olarak bulunuyor ve ayrıca Ollama, LM Studio ve Unsloth üzerinden de geliyor.

Çoğu seçimi üç gerçek belirliyor:

• Bağlam: 64K token. NVIDIA açıkça belirtiyor ki pencere her şeyi aynı anda tutuyor: sohbet geçmişi, talimatlar, araç tanımları ve getirilen metin.
• Diller: 35, 140'tan fazla dilde ön eğitilmiş bir temel modelden.
• Hız: NVIDIA'nın llama.cpp CUDA çalıştırmalarında (Q4_K_M, parti boyutu 1) 12 GB'lık bir RTX 5070, 3,5 GB VRAM kullandı ve saniyede 133,4 token üretti. 8 GB'lık bir Jetson Orin Nano, 4,2 GB kullandı ve saniyede 15,5 token üretti. Her iki sayı da NVIDIA'nın kendi test iş yükünden geliyor, bu yüzden sizinkinin farklı olmasını bekleyin.

Sayfa ayrıca araç kullanımı puanlarını (BFCL-v3 68,5, Tau2-Bench 55,1) ve 64K'da RULER'ı 87,0 olarak listeliyor. Bunlar geliştiricinin kendi kıyaslamaları: modelin ne üzerinde test edildiğini söylüyorlar, barındırılan bir modelle nasıl karşılaştırıldığını değil, bu yüzden bu makale onları yan yana koymuyor.

Sayfanın belirtmediği iki şey: tek bir yanıtın ne kadar uzun olabileceği ve lisans. Üzerine bir şey inşa etmeden önce ikisini de Hugging Face model kartında okuyun.

Bir ajan çalışmaya başladığında 64K ne kadar büyük?#

Pencereyi bir masa olarak düşünün. Model yalnızca şu anda masada duranla çalışabilir ve geçmiş, talimatlarınız, araç tanımları ve getirilen herhangi bir metin aynı masayı paylaşır. Peki 64K ne kadar masa?

Bu kısa bir roman, yani bir sohbet, bir e-posta veya bir çeviri rahatça sığar. Sıkışma ajanlardan gelir, çünkü her adım araç çıktısını masaya bırakır ve hiçbir şey masadan kalkmaz.

Gerçek ajanlar bunu eski adımları kırparak veya özetleyerek aşar. İşe yarar, ama yazılacak ve hata ayıklanacak ekstra koddur. Aynı döngünün maliyet tarafı Ajan oturumu maliyeti: GLM, DeepSeek veya MiniMax üzerinde 50 adım yazısında.

Görevinizi sınıflandırın: yerel mi barındırılan mı#

Büyük bir açık model için aynı soru DeepSeek'i yerel çalıştırın veya bir API kullanın yazısında yanıtlanıyor. 4 GB'lık bir model için yanıt göreve bağlı, bu yüzden önce görevi sınıflandırın, sonra kurun.

Barındırılan sütunlar CheapTokens model listesinden geliyor. DeepSeek-V4-Flash 380K bağlama, yanıt başına 32.768 çıktı token'ına ve her saatte tek bir fiyata sahip. GLM-5.3-Flash 390K bağlama ve 8.192 çıktı token'ına kadar. MiniMax-M2.7 180K bağlama, 8.192 çıktı token'ına kadar ve bir API üzerinden ajan ve kodlama işlerine uygun.

Tabloya sığmayan bir satır: metin makinenizden asla çıkmamalıysa, bu yerel lehine kararı verir.

Toplu işler: saatlerce GPU zamanı veya küçük bir fatura#

Diyelim ki 20.000 destek talebini etiketliyorsunuz. Her biri yaklaşık 600 token giriş ve 50 token etiket çıkışı.

Toplamlar: 20.000 × 600 = 12.000.000 giriş token'ı ve 20.000 × 50 = 1.000.000 çıktı token'ı.

Bu 1.000.000 token'ı NVIDIA'nın ölçülen hızlarında üretmek RTX 5070'te 1.000.000 ÷ 133,4 = 7.496 sn (yaklaşık 2,1 saat) ve Jetson Orin Nano'da 1.000.000 ÷ 15,5 = 64.516 sn (yaklaşık 17,9 saat) sürer. Bu yalnızca üretimi sayar: 12 milyon giriş token'ını okumak bunun üstüne gelir ve kartın tüm bu süre boyunca yaktığı elektrik de öyle.

Aynı işin barındırılan tarafı, güncel fiyatlarla:

Tablo işi her modelde fiyatlandırıyor, bir OpenRouter sütunuyla. Toplamda, giriş ve çıktı birlikte sayıldığında, her biri OpenRouter'dan daha ucuza geliyor. Örneğin DeepSeek-V4-Flash'te 1.000.000 çıktı token'ı 1M başına $0.10 olarak faturalandırılıyor.

İşiniz muhtemelen 20.000 talep değil. Kendi sayılarınızı koyun:

Artık her iki taraf da aynı birimlerde: sahip olduğunuz bir makinenin saatleri, canlı bir tablodaki dolarlara karşı.

Uzun belgeler ve uzun yanıtlar#

120.000 token'lık bir sözleşme paketi alın. 64.000'den büyük, yani yerel bir Bolt E4B paketi parçalara bölmeyi, parça parça sormayı ve yanıtları birleştirmeyi gerektirir. 380K'lık bir pencerede tek istek olarak girer: 2.000 token'lık bir yanıtla bu, güncel fiyatlarla $0.002. 100K token'lık bir belgeye hangi model uyar yazısı bağlam ve çıktı sınırlarını model model ele alıyor.

Uzun yanıtlar diğer sınır. DeepSeek-V4-Flash tek yanıtta 32.768 token'a kadar yazabilir ve aynı kaba token başına ¾ kelime (bir varsayım) ile 32.768 × 0,75 = 24.576 kelime, yani uzun bir rapor veya tüm bir kod dosyası. NVIDIA'nın sayfası Bolt E4B için maksimum vermiyor, bu yüzden yerelde 10.000 token'lık bir çıktı planlamadan önce çalışma zamanınızın gerçekte ne döndürdüğünü test edin.

Boyuta göre yönlendirin: aynı kod, iki hedef#

Sonsuza kadar birini seçmek zorunda değilsiniz. Küçük modeli küçük işler için tutun ve büyükleri barındırılan bir modele gönderin. Aracınız zaten OpenAI uyumlu bir uç noktayla konuşuyorsa, geçiş bir temel URL, bir anahtar ve tam bir model kimliğidir.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60.000 sınırı, 64K pencerenin altında talimatlar ve yanıt için yer bırakır. Çağrı çalıştığında yanıt metnini, ardından prompt_tokens ve completion_tokens içeren bir usage nesnesi görürsünüz: isteğin maliyetini bulmak için bunları fiyatlandırma sayfasındaki fiyatlarla çarpın. İlk istek adımları dokümanlarda.

Tabloda işinize uyan satırla başlayın. Yerel diyorsa, GGUF'u indirin ve kimsenin sayılarına göre plan yapmadan önce kendi saniyedeki token sayınızı ölçün.