Nemotron Bolt E4B 还是托管 API？按上下文和任务选择

如果你的任务能放进 64,000 个 token 以内，并且你的 GPU 有足够空间容纳一个约 4 GB 的模型，那么 NVIDIA 的 Nemotron 3.5 Bolt E4B 可以在你自己的机器上运行它。如果任务需要更大的窗口、更长的回答，或者要在今天完成 20,000 个条目，那么托管模型是更短的路。下面是一张按任务分类的表格，以及每一行背后的算术。

对比中托管模型一侧使用的是 CheapTokens 模型页面上的三个模型：DeepSeek-V4-Flash、GLM-5.3-Flash 和 MiniMax-M2.7。

NVIDIA 公布了什么，又遗漏了什么#

NVIDIA 关于 Nemotron 3.5 Bolt E4B 的研究页面（发布于 2026 年 10 月 23 日，2026 年 11 月 5 日核查）描述了一个基于 Gemma 4 E4B 构建的模型，以 GGUF 检查点形式发布，采用 Q4_K_M 量化，面向 llama.cpp。NVIDIA 称它最低只需 4 GB；其测得的显存占用为 3.1 到 5.0 GB（基于 NVIDIA 的测试工作负载；在完整的 64K 窗口下内存占用会更高，所以请在你自己的显卡上核实）。权重在 Hugging Face 上以 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB 提供，也可以通过 Ollama、LM Studio 和 Unsloth 获取。

三个事实决定了大多数选择：

• 上下文：64K token。 NVIDIA 明确指出，窗口一次性容纳所有内容：聊天历史、指令、工具定义和检索到的文本。
• 语言：35 种，来自一个在 140 多种语言上预训练的基础模型。
• 速度： 在 NVIDIA 的 llama.cpp CUDA 运行中（Q4_K_M，批大小为 1），一块 12 GB 的 RTX 5070 使用了 3.5 GB 显存，每秒生成 133.4 个 token。一块 8 GB 的 Jetson Orin Nano 使用了 4.2 GB，每秒生成 15.5 个 token。这两个数字都来自 NVIDIA 自己的测试工作负载，所以你的结果会有所不同。

该页面还列出了工具使用得分（BFCL-v3 68.5，Tau2-Bench 55.1）以及 64K 下的 RULER 得分 87.0。这些是开发者自己的基准测试：它们说明模型在什么上测试过，而不是它与托管模型相比如何，所以本文不会将它们并列比较。

页面没有说明两件事：单个回答可以有多长，以及许可证。在基于它构建任何东西之前，请阅读 Hugging Face 模型卡上的这两项内容。

当智能体开始工作时，64K 有多大？#

把窗口想象成一张桌子。模型只能处理此刻摆在桌上的东西，而历史、你的指令、工具定义以及任何检索到的文本都共用同一张桌子。那么 64K 的桌子有多大？

这相当于一部短篇小说，所以聊天、邮件或翻译可以轻松容纳。压力来自智能体，因为每一步都会把工具输出放到桌上，而且什么都不会离开。

真实智能体通过裁剪或总结旧步骤来绕过这个问题。这有效，但需要额外编写和调试代码。同一循环的成本方面见 智能体会话成本：GLM、DeepSeek 或 MiniMax 上的 50 步。

分类你的任务：本地还是托管#

对于大型开放模型，同样的问题在 本地运行 DeepSeek 还是使用 API 中得到了回答。对于 4 GB 的模型，答案取决于任务，所以先分类任务，再安装。

托管列来自 CheapTokens 模型列表。DeepSeek-V4-Flash 有 380K 上下文，每次回答最多 32,768 个输出 token，并且任何时段价格相同。GLM-5.3-Flash 有 390K 上下文和最多 8,192 个输出 token。MiniMax-M2.7 有 180K 上下文，最多 8,192 个输出 token，适合通过 API 进行智能体和编码工作。

表格无法体现的一行：如果文本绝不能离开你的机器，那就决定了选择本地。

批量任务：数小时的 GPU 时间还是一笔小账单#

假设你给 20,000 张支持工单打标签。每张大约输入 600 个 token，输出 50 个 token 的标签。

总计：20,000 × 600 = 12,000,000 个输入 token，20,000 × 50 = 1,000,000 个输出 token。

按 NVIDIA 测得的速度生成这 1,000,000 个 token，在 RTX 5070 上需要 1,000,000 ÷ 133.4 = 7,496 秒（约 2.1 小时），在 Jetson Orin Nano 上需要 1,000,000 ÷ 15.5 = 64,516 秒（约 17.9 小时）。这仅计算生成：读取 1200 万输入 token 还要加上，显卡全程消耗的电费也要加上。

同一任务的托管一侧，按当前价格：

该表列出了每个模型上该任务的价格，并有一列 OpenRouter。总计，将输入和输出一起计算，每一个都比 OpenRouter 便宜。例如，在 DeepSeek-V4-Flash 上，1,000,000 个输出 token 按每 1M $0.10 计费。

你的任务可能不是 20,000 张工单。填入你自己的数字：

现在你有了同一单位下的两边：你拥有的机器的数小时对比实时表格上的美元。

长文档和长回答#

拿一个 120,000 token 的合同包。它大于 64,000，所以本地的 Bolt E4B 需要把包切成片段，逐片提问，再把答案拼接起来。在 380K 窗口上，它可以作为一次请求放入：加上 2,000 token 的回答，按当前价格是 $0.002。哪个模型适合 100K token 的文档 逐个模型梳理了上下文和输出限制。

长回答是另一个限制。DeepSeek-V4-Flash 一次回答最多可写 32,768 个 token，按同样粗略的每 token ¾ 个单词（一个假设），32,768 × 0.75 = 24,576 个单词，这是一份长报告或整个代码文件。NVIDIA 的页面没有给出 Bolt E4B 的最大值，所以在本地计划 10,000 token 的输出之前，请测试你的运行时实际返回什么。

按规模路由：同一份代码，两个目的地#

你不必永远只选一个。把小任务留给小模型，把大任务发给托管模型。如果你的工具已经与 OpenAI 兼容的端点通信，切换只需一个基础 URL、一个密钥和一个完整的模型 id。

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60,000 的限制在 64K 窗口下为指令和回答留出了空间。调用成功时，你会看到回答文本，然后是一个 usage 对象，包含 prompt_tokens 和 completion_tokens：将这些乘以 定价页面 上的价格，就得到该请求的成本。首次请求的步骤见 文档。

从表格中与你任务匹配的那一行开始。如果它说本地，下载 GGUF 并测量你自己的每秒 token 数，然后再围绕任何人的数字做计划。