Nemotron Bolt E4B или API: выбираем по контексту и задаче

Если ваша задача укладывается в 64 000 токенов и на видеокарте хватает места для модели на ~4 ГБ, Nemotron 3.5 Bolt E4B от NVIDIA справится с ней прямо на вашем компьютере. Если нужны окно побольше, длинный ответ или 20 000 записей, обработанных сегодня, короче путь через API. Ниже таблица, которая раскладывает задачи по полкам, и арифметика за каждой строкой.

В сравнении участвуют три модели со страницы моделей CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash и MiniMax-M2.7.

Что опубликовала NVIDIA и о чём умолчала#

Исследовательская страница NVIDIA о Nemotron 3.5 Bolt E4B (выход 23 октября 2026, сверено 5 ноября) описывает модель на базе Gemma 4 E4B в виде GGUF-чекпоинта с квантованием Q4_K_M для llama.cpp. NVIDIA пишет, что она помещается примерно в 4 ГБ; измеренная видеопамять — от 3,1 до 5,0 ГБ (на тестовой нагрузке NVIDIA; на полном окне 64K памяти понадобится больше, проверьте на своей карте). Веса лежат на Hugging Face (nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB), есть и в Ollama, LM Studio и Unsloth.

Большинство решений определяют три факта:

• Контекст — 64K токенов. NVIDIA прямо пишет, что в окно помещается всё сразу: история чата, инструкции, описания инструментов и найденные тексты.
• Языков — 35, при базовой модели, обученной больше чем на 140.
• Скорость. В прогонах NVIDIA на llama.cpp с CUDA (Q4_K_M, batch size 1) RTX 5070 на 12 ГБ заняла 3,5 ГБ видеопамяти и выдавала 133,4 токена в секунду. Jetson Orin Nano на 8 ГБ занял 4,2 ГБ и выдавал 15,5 токена в секунду. Цифры получены на тестовой нагрузке NVIDIA, у вас они будут другими.

На странице есть и оценки работы с инструментами (BFCL-v3 68,5, Tau2-Bench 55,1) и RULER на 64K — 87,0. Это собственные бенчмарки разработчика: они показывают, на чём модель проверяли, а не как она выглядит рядом с моделью по API, поэтому в статье мы их ни с чем не сопоставляем.

Две вещи страница не называет: максимальную длину одного ответа и лицензию. Прочитайте обе на карточке Hugging Face, прежде чем что-то на этом строить.

Много ли 64K, когда за дело берётся агент?#

Представьте окно как рабочий стол. Модель работает только с тем, что лежит на нём прямо сейчас, а история, ваши инструкции, описания инструментов и найденные тексты делят один и тот же стол. Так сколько же места в 64K?

Это небольшой роман, так что чат, письмо или перевод помещаются свободно. Тесно становится с агентами: каждый шаг кладёт на стол вывод инструмента, и ничего оттуда не уходит.

Настоящие агенты выкручиваются, обрезая или сжимая старые шаги. Работает, но это лишний код, который надо писать и отлаживать. О цене такого же цикла — в статье Стоимость сессии агента: 50 шагов на GLM, DeepSeek или MiniMax.

Сначала задача: локально или через API#

Тот же вопрос для большой открытой модели разобран в статье Запускать DeepSeek локально или брать API. Для модели на 4 ГБ ответ зависит от задачи: сначала разложите задачу, потом ставьте.

Столбец про API взят из списка моделей CheapTokens. У DeepSeek-V4-Flash контекст 380K, до 32 768 токенов в одном ответе и одна цена в любое время суток. У GLM-5.3-Flash контекст 390K и до 8 192 токенов ответа. У MiniMax-M2.7 контекст 180K, до 8 192 токенов ответа, и он подходит для агентных задач и кода через API.

Одну строку таблица не вместит: если текст нельзя выпускать с вашего компьютера, выбор в пользу локальной модели сделан сам собой.

Пакетные задачи: часы работы видеокарты или небольшой счёт#

Допустим, вы размечаете 20 000 обращений в поддержку. На каждое уходит около 600 токенов на входе и метка в 50 токенов на выходе.

Итого: 20 000 × 600 = 12 000 000 входных токенов и 20 000 × 50 = 1 000 000 выходных.

На измеренных NVIDIA скоростях генерация этих 1 000 000 токенов занимает 1 000 000 ÷ 133,4 = 7 496 с (около 2,1 часа) на RTX 5070 и 1 000 000 ÷ 15,5 = 64 516 с (около 17,9 часа) на Jetson Orin Nano. Это только генерация: чтение 12 миллионов входных токенов добавляется сверху, как и электричество, которое карта тратит всё это время.

А так выглядит та же работа через API по текущим ценам:

Таблица считает задачу для каждой модели и показывает столбец OpenRouter. В сумме, с учётом входа и выхода, каждая из них выходит дешевле OpenRouter. У DeepSeek-V4-Flash, например, 1 000 000 выходных токенов оплачиваются по $0.10 за 1M.

Скорее всего, у вас не 20 000 обращений. Подставьте свои числа:

Теперь обе стороны в одних единицах: часы машины, которая у вас уже есть, против долларов в живой таблице.

Длинные документы и длинные ответы#

Возьмём пакет договоров на 120 000 токенов. Это больше 64 000, и локальной Bolt E4B пришлось бы резать пакет на куски, спрашивать по каждому и склеивать ответы. В окне 380K он уходит одним запросом: с ответом на 2 000 токенов это $0.002 по текущим ценам. Контекст и лимиты ответа по каждой модели разобраны в статье Какая модель подходит для документа на 100K токенов.

Длинные ответы — второй предел. DeepSeek-V4-Flash пишет до 32 768 токенов за один ответ, а при том же грубом допущении ¾ слова на токен 32 768 × 0,75 = 24 576 слов: это длинный отчёт или целый файл кода. Максимум для Bolt E4B на странице NVIDIA не назван, поэтому, прежде чем планировать локально вывод на 10 000 токенов, проверьте, что на самом деле отдаёт ваш рантайм.

Маршрутизация по размеру: один код, два адреса#

Выбирать что-то одно навсегда не нужно. Мелкие задачи оставьте маленькой модели, крупные отправляйте в модель по API. Если ваш инструмент уже умеет работать с OpenAI-совместимым адресом, переключение — это базовый URL, ключ и полный id модели.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Лимит 60 000 оставляет под окном 64K место для инструкций и ответа. Когда вызов сработает, вы увидите текст ответа, а затем объект usage с полями prompt_tokens и completion_tokens: умножьте их на цены со страницы цен, и получится стоимость запроса. Шаги первого запроса — в документации.

Начните со строки таблицы, которая совпадает с вашей задачей. Если там написано «локально», скачайте GGUF и сами измерьте токены в секунду, прежде чем опираться на чужие цифры.