Nemotron Bolt E4B чи хостинговий API? Обирайте за контекстом і завданням

Якщо ваше завдання вкладається в 64 000 токенів і на вашій GPU є місце для моделі обсягом ~4 ГБ, Nemotron 3.5 Bolt E4B від NVIDIA може виконувати його на вашій власній машині. Якщо роботі потрібне більше вікно, довга відповідь або 20 000 елементів, оброблених сьогодні, хостинговий сервіс — коротший шлях. Нижче наведено таблицю, яка сортує ваші завдання, та арифметику, що стоїть за кожним рядком.

У порівнянні хостингова сторона використовує три моделі зі сторінки моделей CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash і MiniMax-M2.7.

Що опублікувала NVIDIA і що вона залишила поза увагою#

Дослідницька сторінка NVIDIA для Nemotron 3.5 Bolt E4B (випущено 23 жовтня 2026 року, перевірено 5 листопада) описує модель, побудовану на Gemma 4 E4B і випущену як контрольна точка GGUF, квантизація Q4_K_M, для llama.cpp. NVIDIA каже, що вона вміщується всього в 4 ГБ; виміряний нею обсяг VRAM становив від 3,1 до 5,0 ГБ (на тестовому навантаженні NVIDIA; з повним вікном 64K використання пам'яті буде вищим, тож перевіряйте на власній карті). Ваги доступні на Hugging Face як nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB, а також через Ollama, LM Studio і Unsloth.

Три факти визначають більшість виборів:

• Контекст: 64K токенів. NVIDIA прямо зазначає, що вікно вміщує все одразу: історію чату, інструкції, визначення інструментів і отриманий текст.
• Мови: 35, від базової моделі, попередньо навченої на понад 140.
• Швидкість: у запусках NVIDIA llama.cpp CUDA (Q4_K_M, розмір пакета 1) RTX 5070 з 12 ГБ використовувала 3,5 ГБ VRAM і видавала 133,4 токена за секунду. Jetson Orin Nano з 8 ГБ використовував 4,2 ГБ і видавав 15,5 токена за секунду. Обидва числа походять із власного тестового навантаження NVIDIA, тож очікуйте, що ваші відрізнятимуться.

Сторінка також наводить оцінки використання інструментів (BFCL-v3 68,5, Tau2-Bench 55,1) і RULER на 64K — 87,0. Це власні бенчмарки розробника: вони кажуть, на чому тестували модель, а не як вона виглядає порівняно з хостинговою моделлю, тож ця стаття їх не зіставляє.

Дві речі, яких сторінка не вказує: якою може бути довжина однієї відповіді та ліцензія. Прочитайте обидві на картці моделі Hugging Face, перш ніж щось на ній будувати.

Наскільки велике 64K, коли агент починає працювати?#

Уявіть вікно як стіл. Модель може працювати лише з тим, що лежить на ньому прямо зараз, а історія, ваші інструкції, визначення інструментів і будь-який отриманий текст ділять той самий стіл. То наскільки великий стіл у 64K?

Це короткий роман, тож чат, електронний лист або переклад вміщуються комфортно. Вузьким місцем стають агенти, бо кожен крок кладе вивід інструмента на стіл, і нічого не зникає.

Реальні агенти обходять це, обрізаючи або підсумовуючи старі кроки. Це працює, але це додатковий код, який треба писати й налагоджувати. Сторона витрат того самого циклу — у Вартість сесії агента: 50 кроків на GLM, DeepSeek або MiniMax.

Відсортуйте завдання: локально чи хостинг#

Те саме питання для великої відкритої моделі розглянуто в Запуск DeepSeek локально чи через API. Для моделі обсягом 4 ГБ відповідь залежить від завдання, тож спершу відсортуйте завдання, а встановлюйте потім.

Стовпці хостингу походять зі списку моделей CheapTokens. DeepSeek-V4-Flash має контекст 380K, до 32 768 вихідних токенів на відповідь і одну ціну в будь-яку годину. GLM-5.3-Flash має контекст 390K і до 8 192 вихідних токенів. MiniMax-M2.7 має контекст 180K, до 8 192 вихідних токенів і підходить для агентних та програмних завдань через API.

Один рядок, який таблиця не може охопити: якщо текст ніколи не повинен залишати вашу машину, це вирішує питання на користь локального варіанту.

Масові завдання: години часу GPU чи невеликий рахунок#

Скажімо, ви розмічуєте 20 000 звернень до підтримки. Кожне — це близько 600 токенів на вході та 50-токенна мітка на виході.

Підсумки: 20 000 × 600 = 12 000 000 вхідних токенів і 20 000 × 50 = 1 000 000 вихідних токенів.

Генерація цих 1 000 000 токенів із виміряними NVIDIA швидкостями займає 1 000 000 ÷ 133,4 = 7 496 с (близько 2,1 години) на RTX 5070 і 1 000 000 ÷ 15,5 = 64 516 с (близько 17,9 години) на Jetson Orin Nano. Це враховує лише генерацію: читання 12 мільйонів вхідних токенів додається зверху, як і електроенергія, яку карта споживає весь цей час.

Хостингова сторона того самого завдання за поточними цінами:

Таблиця оцінює вартість завдання на кожній моделі, зі стовпцем OpenRouter. Загалом, з урахуванням входу й виходу разом, кожна з них виходить дешевшою за OpenRouter. На DeepSeek-V4-Flash, наприклад, 1 000 000 вихідних токенів оплачуються за $0.10 за 1M.

Ваше завдання, ймовірно, не 20 000 звернень. Підставте власні числа:

Тепер у вас обидві сторони в однакових одиницях: години машини, якою ви володієте, проти доларів у живій таблиці.

Довгі документи та довгі відповіді#

Візьміть пакет контрактів на 120 000 токенів. Він більший за 64 000, тож локальному Bolt E4B довелося б різати пакет на частини, запитувати частину за частиною й зшивати відповіді. На вікні 380K він іде одним запитом: із 2 000-токенною відповіддю це $0.002 за поточними цінами. Яка модель підходить для документа на 100K токенів розглядає обмеження контексту й виводу модель за моделлю.

Довгі відповіді — інша межа. DeepSeek-V4-Flash може писати до 32 768 токенів в одній відповіді, а за тим самим грубим правилом ¾ слова на токен (припущення) 32 768 × 0,75 = 24 576 слів, що є довгим звітом або цілим файлом коду. Сторінка NVIDIA не дає максимуму для Bolt E4B, тож перш ніж планувати 10 000-токенний вивід локально, перевірте, що насправді повертає ваше середовище виконання.

Маршрутизація за розміром: той самий код, два призначення#

Вам не обов'язково обирати одне назавжди. Залиште малу модель для малих завдань і надсилайте великі до хостингової моделі. Якщо ваш інструмент уже спілкується з OpenAI-сумісним ендпоінтом, перемикання — це базова URL-адреса, ключ і повний ідентифікатор моделі.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Ліміт 60 000 залишає місце під вікном 64K для інструкцій і відповіді. Коли виклик працює, ви бачите текст відповіді, потім об'єкт usage з prompt_tokens і completion_tokens: помножте їх на ціни зі сторінки цін, щоб отримати вартість запиту. Кроки першого запиту — у документації.

Почніть із рядка таблиці, що відповідає вашому завданню. Якщо там сказано «локально», завантажте GGUF і виміряйте власні токени за секунду, перш ніж планувати на основі чиїхось чисел.