Nemotron Bolt E4B czy hostowane API? Wybierz według kontekstu i zadania

Jeśli Twoje zadanie mieści się w 64 000 tokenów, a Twoja karta GPU ma miejsce na model o rozmiarze ~4 GB, Nemotron 3.5 Bolt E4B od NVIDIA może je uruchomić na Twojej własnej maszynie. Jeśli zadanie wymaga większego okna, długiej odpowiedzi albo ukończenia 20 000 elementów jeszcze dziś, model hostowany to krótsza droga. Poniżej znajduje się tabela, która porządkuje Twoje zadanie, oraz arytmetyka stojąca za każdym wierszem.

Hostowana strona porównania wykorzystuje trzy modele ze strony modeli CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash i MiniMax-M2.7.

Co NVIDIA opublikowała, a co pominęła#

Strona badawcza NVIDIA dla Nemotron 3.5 Bolt E4B (wydany 23 października 2026, sprawdzony 5 listopada) opisuje model zbudowany na Gemma 4 E4B i dostarczany jako checkpoint GGUF, kwantyzacja Q4_K_M, dla llama.cpp. NVIDIA twierdzi, że mieści się w zaledwie 4 GB; zmierzona VRAM wynosiła od 3,1 do 5,0 GB (na obciążeniu testowym NVIDIA; przy pełnym oknie 64K zużycie pamięci będzie wyższe, więc sprawdź na własnej karcie). Wagi są dostępne na Hugging Face jako nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB i są również dystrybuowane przez Ollama, LM Studio i Unsloth.

Trzy fakty decydują o większości wyborów:

• Kontekst: 64K tokenów. NVIDIA wyraźnie zaznacza, że okno mieści wszystko naraz: historię czatu, instrukcje, definicje narzędzi i pobrany tekst.
• Języki: 35, z modelu bazowego wstępnie wytrenowanego na ponad 140.
• Szybkość: w uruchomieniach NVIDIA llama.cpp CUDA (Q4_K_M, rozmiar partii 1) RTX 5070 z 12 GB używał 3,5 GB VRAM i generował 133,4 tokena na sekundę. Jetson Orin Nano z 8 GB używał 4,2 GB i generował 15,5 tokena na sekundę. Obie liczby pochodzą z obciążenia testowego NVIDIA, więc oczekuj, że Twoje będą inne.

Strona zawiera również wyniki użycia narzędzi (BFCL-v3 68,5, Tau2-Bench 55,1) i RULER przy 64K wynoszący 87,0. To są własne benchmarki dewelopera: mówią, na czym model był testowany, a nie jak wypada w porównaniu z modelem hostowanym, więc ten artykuł ich nie zestawia.

Dwie rzeczy, których strona nie podaje: jak długa może być pojedyncza odpowiedź i licencja. Przeczytaj obie na karcie modelu Hugging Face, zanim cokolwiek na nim zbudujesz.

Jak duże jest 64K, gdy agent zaczyna pracować?#

Pomyśl o oknie jak o biurku. Model może pracować tylko z tym, co leży na nim w danej chwili, a historia, Twoje instrukcje, definicje narzędzi i wszelki pobrany tekst dzielą to samo biurko. Więc jak duże biurko to 64K?

To krótka powieść, więc czat, e-mail czy tłumaczenie mieszczą się komfortowo. Problem pojawia się przy agentach, ponieważ każdy krok zrzuca wynik narzędzia na biurko i nic nie znika.

Prawdziwe agenty radzą sobie z tym, przycinając lub podsumowując stare kroki. To działa, ale to dodatkowy kod do napisania i debugowania. Strona kosztów tej samej pętli jest w Koszt sesji agenta: 50 kroków na GLM, DeepSeek lub MiniMax.

Posortuj swoje zadanie: lokalnie czy hostowane#

To samo pytanie dla dużego otwartego modelu jest omówione w Uruchom DeepSeek lokalnie lub użyj API. Dla modelu 4 GB odpowiedź zależy od zadania, więc najpierw posortuj zadanie, a potem instaluj.

Kolumny hostowane pochodzą z listy modeli CheapTokens. DeepSeek-V4-Flash ma kontekst 380K, do 32 768 tokenów wyjściowych na odpowiedź i jedną cenę o każdej porze. GLM-5.3-Flash ma kontekst 390K i do 8192 tokenów wyjściowych. MiniMax-M2.7 ma kontekst 180K, do 8192 tokenów wyjściowych i nadaje się do pracy agentowej i kodowania przez API.

Jeden wiersz, którego tabela nie obejmuje: jeśli tekst nigdy nie może opuścić Twojej maszyny, to przesądza sprawę na korzyść lokalnego rozwiązania.

Zadania masowe: godziny czasu GPU czy mały rachunek#

Załóżmy, że tagujesz 20 000 zgłoszeń do pomocy technicznej. Każde to około 600 tokenów na wejściu i 50-tokenowa etykieta na wyjściu.

Sumy: 20 000 × 600 = 12 000 000 tokenów wejściowych i 20 000 × 50 = 1 000 000 tokenów wyjściowych.

Wygenerowanie tych 1 000 000 tokenów przy zmierzonych prędkościach NVIDIA zajmuje 1 000 000 ÷ 133,4 = 7496 s (około 2,1 godziny) na RTX 5070 i 1 000 000 ÷ 15,5 = 64 516 s (około 17,9 godziny) na Jetson Orin Nano. To liczy tylko generowanie: odczyt 12 milionów tokenów wejściowych dochodzi dodatkowo, podobnie jak prąd, który karta pali przez cały czas.

Hostowana strona tego samego zadania, przy obecnych cenach:

Tabela wycenia zadanie na każdym modelu, z kolumną OpenRouter. W sumie, licząc wejście i wyjście razem, każdy z nich wypada taniej niż OpenRouter. Na przykład na DeepSeek-V4-Flash 1 000 000 tokenów wyjściowych jest rozliczane po $0.10 za 1M.

Twoje zadanie prawdopodobnie nie obejmuje 20 000 zgłoszeń. Wstaw własne liczby:

Teraz masz obie strony w tych samych jednostkach: godziny maszyny, którą posiadasz, w porównaniu z dolarami na żywej tabeli.

Długie dokumenty i długie odpowiedzi#

Weź pakiet umów o rozmiarze 120 000 tokenów. Jest większy niż 64 000, więc lokalny Bolt E4B wymagałby pocięcia pakietu na kawałki, pytania o każdy kawałek osobno i zszycia odpowiedzi. Na oknie 380K wchodzi jako jedno żądanie: przy 2000-tokenowej odpowiedzi to $0.002 przy obecnych cenach. Który model pasuje do dokumentu o 100K tokenów omawia limity kontekstu i wyjścia model po modelu.

Długie odpowiedzi to drugi limit. DeepSeek-V4-Flash może napisać do 32 768 tokenów w jednej odpowiedzi, a przy tej samej zgrubnej regule ¾ słowa na token (założenie) 32 768 × 0,75 = 24 576 słów, czyli długi raport lub cały plik kodu. Strona NVIDIA nie podaje maksimum dla Bolt E4B, więc zanim zaplanujesz lokalnie 10 000-tokenowe wyjście, przetestuj, co faktycznie zwraca Twoje środowisko uruchomieniowe.

Kieruj według rozmiaru: ten sam kod, dwa cele#

Nie musisz wybierać jednego na zawsze. Zachowaj mały model do małych zadań, a duże wysyłaj do modelu hostowanego. Jeśli Twoje narzędzie już rozmawia z endpointem zgodnym z OpenAI, przełączenie to bazowy URL, klucz i pełny identyfikator modelu.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Limit 60 000 zostawia miejsce w oknie 64K na instrukcje i odpowiedź. Gdy wywołanie zadziała, zobaczysz tekst odpowiedzi, a następnie obiekt usage z prompt_tokens i completion_tokens: pomnóż je przez ceny ze strony cen, aby uzyskać koszt żądania. Kroki pierwszego żądania są w dokumentacji.

Zacznij od wiersza tabeli, który pasuje do Twojego zadania. Jeśli wskazuje lokalnie, pobierz GGUF i zmierz własne tokeny na sekundę, zanim zaplanujesz cokolwiek na podstawie cudzych liczb.