Nemotron Bolt E4B atau API hosted? Pilih berdasarkan konteks dan tugas

Jika tugas Anda muat dalam 64.000 token dan GPU Anda punya ruang untuk model ~4 GB, Nemotron 3.5 Bolt E4B dari NVIDIA dapat menjalankannya di mesin Anda sendiri. Jika pekerjaan membutuhkan jendela yang lebih besar, jawaban panjang, atau 20.000 item selesai hari ini, model hosted adalah jalan yang lebih singkat. Di bawah ini adalah tabel yang memilah tugas Anda, dan aritmetika di balik setiap baris.

Sisi hosted dari perbandingan ini menggunakan tiga model di halaman model CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash dan MiniMax-M2.7.

Apa yang NVIDIA publikasikan, dan apa yang tidak disebutkan#

Halaman riset NVIDIA untuk Nemotron 3.5 Bolt E4B (dirilis 23 Oktober 2026, diperiksa 5 November) menjelaskan model yang dibangun di atas Gemma 4 E4B dan dikirim sebagai checkpoint GGUF, kuantisasi Q4_K_M, untuk llama.cpp. NVIDIA menyatakan model ini muat dalam hanya 4 GB; VRAM yang diukur berkisar 3,1 hingga 5,0 GB (pada beban uji NVIDIA; dengan jendela penuh 64K penggunaan memori akan lebih tinggi, jadi periksa di kartu Anda sendiri). Bobotnya ada di Hugging Face sebagai nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB dan juga tersedia melalui Ollama, LM Studio dan Unsloth.

Tiga fakta menentukan sebagian besar pilihan:

• Konteks: 64K token. NVIDIA menegaskan bahwa jendela menampung semuanya sekaligus: riwayat chat, instruksi, definisi tool dan teks yang diambil.
• Bahasa: 35, dari model dasar yang dilatih pada lebih dari 140 bahasa.
• Kecepatan: dalam uji llama.cpp CUDA NVIDIA (Q4_K_M, batch size 1) sebuah RTX 5070 dengan 12 GB menggunakan 3,5 GB VRAM dan menghasilkan 133,4 token per detik. Jetson Orin Nano dengan 8 GB menggunakan 4,2 GB dan menghasilkan 15,5 token per detik. Kedua angka berasal dari beban uji NVIDIA sendiri, jadi perkirakan hasil Anda akan berbeda.

Halaman tersebut juga mencantumkan skor penggunaan tool (BFCL-v3 68,5, Tau2-Bench 55,1) dan RULER pada 64K sebesar 87,0. Ini adalah benchmark milik pengembang sendiri: angka ini menyatakan pada apa model diuji, bukan bagaimana ia dibandingkan dengan model hosted, jadi artikel ini tidak membandingkannya.

Dua hal yang tidak disebutkan halaman tersebut: berapa panjang satu jawaban, dan lisensinya. Baca keduanya di model card Hugging Face sebelum Anda membangun apa pun di atasnya.

Seberapa besar 64K saat agen mulai bekerja?#

Bayangkan jendela sebagai meja. Model hanya dapat bekerja dengan apa yang ada di atasnya saat ini, dan riwayat, instruksi Anda, definisi tool serta teks yang diambil semuanya berbagi meja yang sama. Jadi seberapa besar meja 64K?

Itu adalah novel pendek, jadi chat, email atau terjemahan muat dengan nyaman. Tekanan datang dari agen, karena setiap langkah menaruh output tool-nya di meja dan tidak ada yang keluar.

Agen nyata mengatasi ini dengan memangkas atau meringkas langkah lama. Itu berhasil, tetapi merupakan kode tambahan untuk ditulis dan di-debug. Sisi biaya dari loop yang sama ada di Biaya sesi agen: 50 langkah pada GLM, DeepSeek atau MiniMax.

Pilah tugas Anda: lokal atau hosted#

Pertanyaan yang sama untuk model open besar dijawab di Jalankan DeepSeek secara lokal atau gunakan API. Untuk model 4 GB jawabannya bergantung pada tugas, jadi pilah tugasnya dulu dan pasang kemudian.

Kolom hosted berasal dari daftar model CheapTokens. DeepSeek-V4-Flash memiliki konteks 380K, hingga 32.768 token output per jawaban dan satu harga di jam berapa pun. GLM-5.3-Flash memiliki konteks 390K dan hingga 8.192 token output. MiniMax-M2.7 memiliki konteks 180K, hingga 8.192 token output, dan cocok untuk pekerjaan agentic dan coding melalui API.

Satu baris yang tidak dapat ditangkap tabel: jika teks tidak boleh meninggalkan mesin Anda, itu sudah memutuskan untuk memilih lokal.

Pekerjaan massal: berjam-jam waktu GPU atau tagihan kecil#

Misalkan Anda memberi tag pada 20.000 tiket dukungan. Masing-masing sekitar 600 token masuk dan 50 token label keluar.

Total: 20.000 × 600 = 12.000.000 token input dan 20.000 × 50 = 1.000.000 token output.

Menghasilkan 1.000.000 token tersebut pada kecepatan terukur NVIDIA memakan 1.000.000 ÷ 133,4 = 7.496 s (sekitar 2,1 jam) pada RTX 5070 dan 1.000.000 ÷ 15,5 = 64.516 s (sekitar 17,9 jam) pada Jetson Orin Nano. Itu hanya menghitung generasi: membaca 12 juta token input ditambahkan di atasnya, begitu juga listrik yang dibakar kartu sepanjang waktu.

Sisi hosted dari pekerjaan yang sama, pada harga saat ini:

Tabel tersebut menghitung harga pekerjaan pada setiap model, dengan kolom OpenRouter. Secara total, dengan input dan output dihitung bersama, masing-masing lebih murah daripada OpenRouter. Pada DeepSeek-V4-Flash, misalnya, 1.000.000 token output ditagih sebesar $0.10 per 1M.

Pekerjaan Anda mungkin bukan 20.000 tiket. Masukkan angka Anda sendiri:

Sekarang Anda memiliki kedua sisi dalam satuan yang sama: berjam-jam mesin milik Anda versus dolar pada tabel langsung.

Dokumen panjang dan jawaban panjang#

Ambil bundel kontrak sebesar 120.000 token. Itu lebih besar dari 64.000, jadi Bolt E4B lokal perlu memotong bundel menjadi beberapa bagian, menanyakannya bagian per bagian, dan menyambung jawabannya. Pada jendela 380K, itu masuk sebagai satu permintaan: dengan jawaban 2.000 token itu menjadi $0.002 pada harga saat ini. Model mana yang cocok untuk dokumen 100K token membahas batas konteks dan output model per model.

Jawaban panjang adalah batas lainnya. DeepSeek-V4-Flash dapat menulis hingga 32.768 token dalam satu jawaban, dan pada aturan kasar yang sama ¾ kata per token (sebuah asumsi) 32.768 × 0,75 = 24.576 kata, yang merupakan laporan panjang atau seluruh file kode. Halaman NVIDIA tidak memberikan maksimum untuk Bolt E4B, jadi sebelum Anda merencanakan output 10.000 token secara lokal, uji apa yang sebenarnya dikembalikan runtime Anda.

Rutekan berdasarkan ukuran: kode yang sama, dua tujuan#

Anda tidak harus memilih satu selamanya. Simpan model kecil untuk pekerjaan kecil dan kirim yang besar ke model hosted. Jika tool Anda sudah berbicara dengan endpoint yang kompatibel dengan OpenAI, peralihannya adalah base URL, key dan model id lengkap.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Batas 60.000 menyisakan ruang di bawah jendela 64K untuk instruksi dan jawaban. Saat panggilan berhasil Anda melihat teks jawaban, lalu objek usage dengan prompt_tokens dan completion_tokens: kalikan itu dengan harga di halaman harga untuk mendapatkan biaya permintaan tersebut. Langkah-langkah permintaan pertama ada di dokumentasi.

Mulailah dengan baris tabel yang cocok dengan pekerjaan Anda. Jika tertulis lokal, unduh GGUF dan ukur token per detik Anda sendiri sebelum Anda merencanakan berdasarkan angka siapa pun.