Nemotron Bolt E4B oder eine gehostete API? Nach Kontext und Aufgabe wählen

Wenn Ihre Aufgabe in 64.000 Tokens passt und Ihre GPU Platz für ein Modell mit ~4 GB hat, kann NVIDIA's Nemotron 3.5 Bolt E4B sie auf Ihrer eigenen Maschine ausführen. Wenn der Job ein größeres Fenster, eine lange Antwort oder 20.000 Elemente noch heute erledigt braucht, ist ein gehostetes Modell der kürzere Weg. Unten steht eine Tabelle, die Ihre Aufgabe einsortiert, und die Rechnung hinter jeder Zeile.

Die gehostete Seite des Vergleichs nutzt die drei Modelle auf der CheapTokens-Modellseite: DeepSeek-V4-Flash, GLM-5.3-Flash und MiniMax-M2.7.

Was NVIDIA veröffentlicht hat und was nicht#

NVIDIAs Forschungsseite für Nemotron 3.5 Bolt E4B (veröffentlicht am 23. Oktober 2026, geprüft am 5. November) beschreibt ein Modell, das auf Gemma 4 E4B aufbaut und als GGUF-Checkpoint, Q4_K_M-Quantisierung, für llama.cpp ausgeliefert wird. NVIDIA sagt, es passt in nur 4 GB; der gemessene VRAM reichte von 3,1 bis 5,0 GB (auf NVIDIAs Test-Workload; mit einem vollen 64K-Fenster wird der Speicherbedarf höher sein, prüfen Sie das also auf Ihrer eigenen Karte). Die Gewichte liegen auf Hugging Face als nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB und kommen auch über Ollama, LM Studio und Unsloth.

Drei Fakten entscheiden die meisten Wahlentscheidungen:

• Kontext: 64K Tokens. NVIDIA stellt ausdrücklich klar, dass das Fenster alles auf einmal fasst: Chat-Verlauf, Anweisungen, Tool-Definitionen und abgerufenen Text.
• Sprachen: 35, aus einem Basismodell, das auf mehr als 140 vortrainiert wurde.
• Geschwindigkeit: in NVIDIAs llama.cpp-CUDA-Läufen (Q4_K_M, Batch-Größe 1) nutzte eine RTX 5070 mit 12 GB 3,5 GB VRAM und erzeugte 133,4 Tokens pro Sekunde. Ein Jetson Orin Nano mit 8 GB nutzte 4,2 GB und erzeugte 15,5 Tokens pro Sekunde. Beide Zahlen stammen aus NVIDIAs eigener Test-Workload, rechnen Sie also mit abweichenden Werten.

Die Seite listet außerdem Tool-Use-Werte (BFCL-v3 68,5, Tau2-Bench 55,1) und RULER bei 64K von 87,0. Das sind die eigenen Benchmarks des Entwicklers: Sie sagen, worauf das Modell getestet wurde, nicht wie es gegen ein gehostetes Modell abschneidet, deshalb stellt dieser Artikel sie nicht gegenüber.

Zwei Dinge nennt die Seite nicht: wie lang eine einzelne Antwort sein kann und die Lizenz. Lesen Sie beides auf der Hugging-Face-Modellkarte, bevor Sie etwas darauf aufbauen.

Wie groß ist 64K, wenn ein Agent loslegt?#

Stellen Sie sich das Fenster als Schreibtisch vor. Das Modell kann nur mit dem arbeiten, was gerade darauf liegt, und der Verlauf, Ihre Anweisungen, die Tool-Definitionen und jeglicher abgerufener Text teilen sich denselben Schreibtisch. Wie viel Schreibtisch sind also 64K?

Das ist ein kurzer Roman, ein Chat, eine E-Mail oder eine Übersetzung passen also bequem. Der Engpass entsteht bei Agenten, weil jeder Schritt seine Tool-Ausgabe auf den Schreibtisch legt und nichts ihn verlässt.

Echte Agenten umgehen das, indem sie alte Schritte kürzen oder zusammenfassen. Das funktioniert, ist aber zusätzlicher Code zum Schreiben und Debuggen. Die Kostenseite derselben Schleife steht in Agent-Session-Kosten: 50 Schritte auf GLM, DeepSeek oder MiniMax.

Sortieren Sie Ihre Aufgabe: lokal oder gehostet#

Dieselbe Frage für ein großes offenes Modell wird in DeepSeek lokal ausführen oder eine API nutzen beantwortet. Bei einem 4-GB-Modell hängt die Antwort von der Aufgabe ab, sortieren Sie also zuerst die Aufgabe und installieren Sie danach.

Die gehosteten Spalten stammen aus der CheapTokens-Modellliste. DeepSeek-V4-Flash hat einen 380K-Kontext, bis zu 32.768 Ausgabe-Tokens pro Antwort und einen Preis zu jeder Stunde. GLM-5.3-Flash hat einen 390K-Kontext und bis zu 8.192 Ausgabe-Tokens. MiniMax-M2.7 hat einen 180K-Kontext, bis zu 8.192 Ausgabe-Tokens und eignet sich über eine API für agentische und Coding-Aufgaben.

Eine Zeile, die die Tabelle nicht abbilden kann: Wenn der Text niemals Ihre Maschine verlassen darf, entscheidet das zugunsten von lokal.

Massenjobs: Stunden GPU-Zeit oder eine kleine Rechnung#

Sagen wir, Sie taggen 20.000 Support-Tickets. Jedes ist etwa 600 Tokens Input und ein 50-Token-Label als Output.

Summen: 20.000 × 600 = 12.000.000 Input-Tokens und 20.000 × 50 = 1.000.000 Output-Tokens.

Diese 1.000.000 Tokens zu erzeugen dauert bei NVIDIAs gemessenen Geschwindigkeiten 1.000.000 ÷ 133,4 = 7.496 s (etwa 2,1 Stunden) auf der RTX 5070 und 1.000.000 ÷ 15,5 = 64.516 s (etwa 17,9 Stunden) auf dem Jetson Orin Nano. Das zählt nur die Generierung: das Lesen der 12 Millionen Input-Tokens kommt obendrauf, ebenso der Strom, den die Karte die ganze Zeit verbraucht.

Die gehostete Seite desselben Jobs, zu aktuellen Preisen:

Die Tabelle bepreist den Job auf jedem Modell, mit einer OpenRouter-Spalte. Insgesamt, mit Input und Output zusammen gerechnet, kommt jedes von ihnen günstiger als OpenRouter. Bei DeepSeek-V4-Flash zum Beispiel werden die 1.000.000 Output-Tokens mit $0.10 pro 1M abgerechnet.

Ihr Job sind wahrscheinlich nicht 20.000 Tickets. Setzen Sie Ihre eigenen Zahlen ein:

Jetzt haben Sie beide Seiten in denselben Einheiten: Stunden einer Maschine, die Ihnen gehört, gegen Dollar auf einer Live-Tabelle.

Lange Dokumente und lange Antworten#

Nehmen Sie ein Vertragspaket von 120.000 Tokens. Es ist größer als 64.000, ein lokales Bolt E4B müsste das Paket also in Stücke schneiden, Stück für Stück abfragen und die Antworten zusammensetzen. Bei einem 380K-Fenster geht es als eine Anfrage hinein: mit einer 2.000-Token-Antwort sind das $0.002 zu aktuellen Preisen. Welches Modell passt zu einem 100K-Token-Dokument geht die Kontext- und Ausgabelimits Modell für Modell durch.

Lange Antworten sind die andere Grenze. DeepSeek-V4-Flash kann bis zu 32.768 Tokens in einer Antwort schreiben, und bei derselben groben ¾ Wort pro Token (eine Annahme) sind das 32.768 × 0,75 = 24.576 Wörter, also ein langer Bericht oder eine ganze Codedatei. NVIDIAs Seite nennt kein Maximum für Bolt E4B, testen Sie also, was Ihre Runtime tatsächlich zurückgibt, bevor Sie lokal eine 10.000-Token-Ausgabe planen.

Nach Größe routen: derselbe Code, zwei Ziele#

Sie müssen sich nicht für immer festlegen. Behalten Sie das kleine Modell für die kleinen Jobs und schicken Sie die großen an ein gehostetes Modell. Wenn Ihr Tool bereits mit einem OpenAI-kompatiblen Endpoint spricht, ist der Wechsel eine Base-URL, ein Key und eine vollständige Modell-ID.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Das Limit von 60.000 lässt unter dem 64K-Fenster Platz für Anweisungen und die Antwort. Wenn der Aufruf funktioniert, sehen Sie den Antworttext, dann ein usage-Objekt mit prompt_tokens und completion_tokens: multiplizieren Sie diese mit den Preisen auf der Preisseite, um zu erhalten, was die Anfrage gekostet hat. Die Schritte für die erste Anfrage stehen in der Dokumentation.

Beginnen Sie mit der Zeile der Tabelle, die zu Ihrem Job passt. Steht dort lokal, laden Sie das GGUF herunter und messen Sie Ihre eigenen Tokens pro Sekunde, bevor Sie mit den Zahlen anderer planen.