Nemotron Bolt E4B o hosted API? Pumili ayon sa context at gawain

Kung ang iyong gawain ay kasya sa loob ng 64,000 token at may espasyo ang iyong GPU para sa ~4 GB na modelo, kayang patakbuhin ito ng NVIDIA Nemotron 3.5 Bolt E4B sa sarili mong makina. Kung kailangan ng mas malaking window, mahabang sagot, o 20,000 item na matapos ngayon, mas maikling daan ang hosted na modelo. Nasa ibaba ang talahanayan na nag-uuri ng iyong gawain, at ang aritmetika sa likod ng bawat hilera.

Gumagamit ang hosted na bahagi ng paghahambing ng tatlong modelo sa pahina ng mga modelo ng CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash at MiniMax-M2.7.

Ano ang inilathala ng NVIDIA, at ano ang hindi nito isinama#

Inilalarawan ng research page ng NVIDIA para sa Nemotron 3.5 Bolt E4B (inilabas 23 Oktubre 2026, sinuri 5 Nobyembre) ang isang modelong nakabatay sa Gemma 4 E4B at ipinapadala bilang GGUF checkpoint, Q4_K_M quantization, para sa llama.cpp. Sinasabi ng NVIDIA na kasya ito sa kasing liit ng 4 GB; ang VRAM na sinukat nito ay mula 3.1 hanggang 5.0 GB (sa test workload ng NVIDIA; sa buong 64K window mas mataas ang paggamit ng memorya, kaya suriin sa sarili mong card). Nasa Hugging Face ang mga timbang bilang nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB at dumarating din sa pamamagitan ng Ollama, LM Studio at Unsloth.

Tatlong katotohanan ang nagtatakda ng karamihan ng pagpili:

• Context: 64K token. Malinaw ang NVIDIA na hawak ng window ang lahat nang sabay: chat history, mga instruksyon, tool definitions at retrieved text.
• Mga wika: 35, mula sa base model na pre-trained sa mahigit 140.
• Bilis: sa mga llama.cpp CUDA run ng NVIDIA (Q4_K_M, batch size 1) gumamit ang RTX 5070 na may 12 GB ng 3.5 GB VRAM at gumawa ng 133.4 token bawat segundo. Gumamit ang Jetson Orin Nano na may 8 GB ng 4.2 GB at gumawa ng 15.5 token bawat segundo. Galing sa sariling test workload ng NVIDIA ang dalawang numero, kaya asahan na iba ang sa iyo.

Naglilista rin ang pahina ng mga tool-use score (BFCL-v3 68.5, Tau2-Bench 55.1) at RULER sa 64K na 87.0. Ito ang sariling benchmark ng developer: sinasabi nila kung saan sinubukan ang modelo, hindi kung paano ito tumatayo laban sa hosted na modelo, kaya hindi ito inihahanay ng artikulong ito.

Dalawang bagay ang hindi sinasabi ng pahina: kung gaano kahaba ang isang sagot, at ang lisensya. Basahin ang dalawa sa model card sa Hugging Face bago ka magtayo ng anuman dito.

Gaano kalaki ang 64K kapag nagsimulang magtrabaho ang isang agent?#

Isipin ang window bilang isang mesa. Ang modelo ay makakagawa lamang gamit ang nakalatag dito ngayon, at ang history, ang iyong mga instruksyon, ang tool definitions at anumang retrieved text ay magkakasamang gumagamit ng iisang mesa. Kaya gaano kalaki ang mesa na 64K?

Iyon ay isang maikling nobela, kaya komportable ang isang chat, email o pagsasalin. Ang paghigpit ay nagmumula sa mga agent, dahil bawat hakbang ay naglalagay ng tool output nito sa mesa at walang umaalis.

Nilalampasan ito ng mga totoong agent sa pamamagitan ng pag-trim o pag-summarize ng lumang hakbang. Gumagana ito, pero karagdagang code na isusulat at i-debug. Ang bahagi ng gastos ng parehong loop ay nasa Gastos ng agent session: 50 hakbang sa GLM, DeepSeek o MiniMax.

I-uri ang iyong gawain: local o hosted#

Ang parehong tanong para sa malaking open model ay sinasagot sa Patakbuhin ang DeepSeek nang local o gumamit ng API. Para sa 4 GB na modelo, nakadepende ang sagot sa gawain, kaya i-uri muna ang gawain at pagkatapos mag-install.

Galing sa listahan ng modelo ng CheapTokens ang mga hosted na kolum. Ang DeepSeek-V4-Flash ay may 380K context, hanggang 32,768 output token bawat sagot at isang presyo sa anumang oras. Ang GLM-5.3-Flash ay may 390K context at hanggang 8,192 output token. Ang MiniMax-M2.7 ay may 180K context, hanggang 8,192 output token, at bagay sa agentic at coding na gawain sa pamamagitan ng API.

Isang hilera na hindi kayang saklawin ng talahanayan: kung hindi dapat umalis ang teksto sa iyong makina, iyon na ang magtatakda pabor sa local.

Bulk job: oras ng GPU o maliit na bayarin#

Sabihin nating nagta-tag ka ng 20,000 support ticket. Ang bawat isa ay mga 600 token in at 50-token label out.

Kabuuan: 20,000 × 600 = 12,000,000 input token at 20,000 × 50 = 1,000,000 output token.

Ang pag-generate ng 1,000,000 token na iyon sa sinukat na bilis ng NVIDIA ay tumatagal ng 1,000,000 ÷ 133.4 = 7,496 s (mga 2.1 oras) sa RTX 5070 at 1,000,000 ÷ 15.5 = 64,516 s (mga 17.9 oras) sa Jetson Orin Nano. Generation lang ang binibilang niyan: karagdagang pa ang pagbasa ng 12 milyong input token, at gayundin ang kuryenteng ginagamit ng card sa buong panahon.

Ang hosted na bahagi ng parehong gawain, sa kasalukuyang presyo:

Presyo ng talahanayan ang gawain sa bawat modelo, may OpenRouter na kolum. Sa kabuuan, kasama ang input at output, mas mura ang bawat isa sa kanila kaysa sa OpenRouter. Sa DeepSeek-V4-Flash, halimbawa, ang 1,000,000 output token ay sinisingil sa $0.10 bawat 1M.

Malamang hindi 20,000 ticket ang iyong gawain. Ilagay ang sarili mong numero:

Ngayon mayroon ka nang magkabilang panig sa parehong yunit: oras ng makinang pag-aari mo laban sa dolyar sa live na talahanayan.

Mahahabang dokumento at mahahabang sagot#

Kumuha ng contract bundle na 120,000 token. Mas malaki ito sa 64,000, kaya ang local na Bolt E4B ay mangangailangan ng pagputol ng bundle sa piraso, pagtatanong nang paisa-isa, at pagdugtong ng mga sagot. Sa 380K window, isang request lang ito: kasama ang 2,000-token na sagot, iyon ay $0.002 sa kasalukuyang presyo. Ang Aling modelo ang kasya sa 100K-token na dokumento ay dumadaan sa context at output limit modelo bawat modelo.

Ang mahahabang sagot ang kabilang limitasyon. Kayang magsulat ng DeepSeek-V4-Flash ng hanggang 32,768 token sa isang sagot, at sa parehong magaspang na ¾ salita bawat token (isang palagay) 32,768 × 0.75 = 24,576 salita, na isang mahabang report o buong code file. Walang ibinibigay na maximum ang pahina ng NVIDIA para sa Bolt E4B, kaya bago ka magplano ng 10,000-token output nang local, subukan kung ano talaga ang ibinabalik ng iyong runtime.

I-route ayon sa laki: parehong code, dalawang destinasyon#

Hindi mo kailangang pumili ng isa magpakailanman. Itago ang maliit na modelo para sa maliliit na gawain at ipadala ang malalaki sa hosted na modelo. Kung nakikipag-usap na ang iyong tool sa OpenAI-compatible endpoint, ang paglipat ay base URL, key at buong model id.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Ang 60,000 na limitasyon ay nag-iiwan ng espasyo sa ilalim ng 64K window para sa mga instruksyon at sagot. Kapag gumana ang call, makikita mo ang teksto ng sagot, pagkatapos ay isang usage object na may prompt_tokens at completion_tokens: i-multiply ang mga iyon sa mga presyo sa pahina ng presyo para makuha ang gastos ng request. Nasa docs ang mga hakbang para sa unang request.

Magsimula sa hilera ng talahanayan na tumutugma sa iyong gawain. Kung sinasabi nitong local, i-download ang GGUF at sukatin ang sarili mong token bawat segundo bago ka magplano batay sa numero ng iba.