Nemotron Bolt E4Bかホスト型APIか？コンテキストとタスクで選ぶ

タスクが64,000トークン以内に収まり、GPUに約4 GBのモデルを載せる余裕があれば、NVIDIAのNemotron 3.5 Bolt E4Bを自分のマシンで動かせます。より大きなウィンドウ、長い回答、あるいは今日中に20,000件を終わらせる必要があるなら、ホスト型モデルのほうが近道です。以下はタスクを振り分ける表と、各行の背後にある計算です。

比較のホスト側では、CheapTokensのモデルページにある3つのモデル、DeepSeek-V4-Flash、GLM-5.3-Flash、MiniMax-M2.7を使います。

NVIDIAが公開したこと、省いたこと#

Nemotron 3.5 Bolt E4BのNVIDIAの研究ページ（2026年10月23日公開、11月5日確認）には、Gemma 4 E4Bをベースに構築され、llama.cpp向けにGGUFチェックポイント、Q4_K_M量子化で提供されるモデルが説明されています。NVIDIAは最小4 GBに収まると述べており、計測したVRAMは3.1〜5.0 GBでした（NVIDIAのテストワークロードでの値。64Kウィンドウをフルに使うとメモリ使用量は増えるため、自分のカードで確認してください）。重みはHugging Faceにnvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GBとしてあり、Ollama、LM Studio、Unslothからも入手できます。

ほとんどの選択を決める3つの事実:

• コンテキスト: 64Kトークン。 NVIDIAはウィンドウがすべてを同時に保持すると明言しています。チャット履歴、指示、ツール定義、取得したテキストです。
• 言語: 35、140以上で事前学習されたベースモデルから。
• 速度: NVIDIAのllama.cpp CUDA実行（Q4_K_M、バッチサイズ1）では、12 GBのRTX 5070が3.5 GBのVRAMを使い、毎秒133.4トークンを生成しました。8 GBのJetson Orin Nanoは4.2 GBを使い、毎秒15.5トークンでした。どちらの数値もNVIDIA自身のテストワークロードによるものなので、自分の環境では異なると考えてください。

このページにはツール使用のスコア（BFCL-v3 68.5、Tau2-Bench 55.1）と64KでのRULER 87.0も記載されています。これらは開発者自身のベンチマークであり、モデルが何でテストされたかを示すもので、ホスト型モデルとの比較を示すものではないため、この記事では並べません。

ページに記載されていない2つのこと: 1回の回答がどれだけ長くできるか、そしてライセンスです。何かを構築する前に、両方ともHugging Faceのモデルカードで確認してください。

エージェントが動き始めると64Kはどれくらいか？#

ウィンドウを机と考えてください。モデルは今机の上にあるものだけで作業でき、履歴、指示、ツール定義、取得したテキストはすべて同じ机を共有します。では64Kはどれくらいの机でしょうか？

これは短編小説ほどの量なので、チャット、メール、翻訳は余裕で収まります。厳しくなるのはエージェントの場合です。各ステップがツール出力を机に置き、何も片付けられないからです。

実際のエージェントは古いステップを削除したり要約したりしてこれを回避します。機能はしますが、書いてデバッグする追加コードが必要です。同じループのコスト面はエージェントセッションのコスト: GLM、DeepSeek、MiniMaxで50ステップにあります。

タスクを振り分ける: ローカルかホスト型か#

大きなオープンモデルについての同じ問いはDeepSeekをローカルで動かすかAPIを使うかで答えています。4 GBモデルの場合、答えはタスク次第なので、まずタスクを振り分け、次にインストールしてください。

ホスト型の列はCheapTokensのモデル一覧によるものです。DeepSeek-V4-Flashは380Kコンテキスト、1回答あたり最大32,768出力トークン、時間帯を問わず単一価格です。GLM-5.3-Flashは390Kコンテキスト、最大8,192出力トークンです。MiniMax-M2.7は180Kコンテキスト、最大8,192出力トークンで、API経由のエージェント的・コーディング作業に適しています。

表では捉えられない行が1つあります。テキストが決して自分のマシンから出てはいけない場合、それはローカルに軍配が上がります。

大量ジョブ: GPU時間数時間か、小さな請求か#

20,000件のサポートチケットにタグを付けるとします。各チケットは入力約600トークン、出力は50トークンのラベルです。

合計: 20,000 × 600 = 12,000,000入力トークン、20,000 × 50 = 1,000,000出力トークン。

NVIDIAの計測速度でその1,000,000トークンを生成すると、RTX 5070では1,000,000 ÷ 133.4 = 7,496秒（約2.1時間）、Jetson Orin Nanoでは1,000,000 ÷ 15.5 = 64,516秒（約17.9時間）かかります。これは生成のみの計算です。1,200万入力トークンの読み込みはこれに加算され、その間カードが消費する電力も同様です。

同じジョブのホスト側を現在の価格で:

この表は各モデルでのジョブの価格を、OpenRouterの列とともに示しています。入力と出力を合計すると、全体としてどれもOpenRouterより安くなります。たとえばDeepSeek-V4-Flashでは、1,000,000出力トークンは1Mあたり$0.10で課金されます。

あなたのジョブはおそらく20,000チケットではないでしょう。自分の数値を入れてください:

これで両側を同じ単位で比較できます。所有するマシンの時間数と、ライブの価格表のドルです。

長い文書と長い回答#

120,000トークンの契約書一式を考えます。これは64,000より大きいので、ローカルのBolt E4Bでは一式を分割し、部分ごとに問い合わせ、回答をつなぎ合わせる必要があります。380Kウィンドウなら1リクエストで収まります。2,000トークンの回答を含めて現在の価格で$0.002です。100Kトークンの文書に合うモデルでは、コンテキストと出力の上限をモデルごとに確認しています。

長い回答はもう1つの制約です。DeepSeek-V4-Flashは1回答で最大32,768トークンを書け、同じ大まかなトークンあたり単語¾（仮定）で32,768 × 0.75 = 24,576語となり、長いレポートやコードファイル全体に相当します。NVIDIAのページにはBolt E4Bの最大値がないため、ローカルで10,000トークンの出力を計画する前に、自分のランタイムが実際に何を返すかテストしてください。

サイズで振り分ける: 同じコード、2つの行き先#

永遠に1つを選ぶ必要はありません。小さなモデルは小さなジョブに残し、大きなジョブはホスト型モデルに送ってください。ツールがすでにOpenAI互換エンドポイントと通信しているなら、切り替えはベースURL、キー、完全なモデルIDだけです。

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60,000の上限は、64Kウィンドウの下に指示と回答のための余裕を残します。呼び出しが成功すると、回答テキストの後にusageオブジェクトがprompt_tokensとcompletion_tokensとともに表示されます。これらに価格ページの価格を掛けると、リクエストのコストがわかります。初回リクエストの手順はドキュメントにあります。

自分のジョブに合う表の行から始めてください。ローカルと書かれていれば、GGUFをダウンロードし、誰かの数値を前提に計画する前に自分のトークン毎秒を計測してください。