Nemotron Bolt E4B hay API được lưu trữ? Chọn theo ngữ cảnh và tác vụ

Nếu tác vụ của bạn nằm trong 64.000 token và GPU của bạn có đủ chỗ cho một mô hình ~4 GB, Nemotron 3.5 Bolt E4B của NVIDIA có thể chạy nó trên máy của chính bạn. Nếu công việc cần cửa sổ lớn hơn, câu trả lời dài, hoặc 20.000 mục hoàn thành trong hôm nay, một mô hình được lưu trữ là con đường ngắn hơn. Dưới đây là bảng phân loại tác vụ của bạn, và phép tính đằng sau mỗi dòng.

Phía được lưu trữ của so sánh sử dụng ba mô hình trên trang mô hình CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash và MiniMax-M2.7.

NVIDIA đã công bố gì, và bỏ sót gì#

Trang nghiên cứu của NVIDIA cho Nemotron 3.5 Bolt E4B (phát hành 23 tháng 10 năm 2026, kiểm tra ngày 5 tháng 11) mô tả một mô hình xây dựng trên Gemma 4 E4B và phát hành dưới dạng checkpoint GGUF, lượng tử hóa Q4_K_M, cho llama.cpp. NVIDIA nói nó vừa trong chỉ 4 GB; VRAM mà họ đo được dao động từ 3,1 đến 5,0 GB (trên khối lượng công việc thử nghiệm của NVIDIA; với cửa sổ đầy đủ 64K, mức sử dụng bộ nhớ sẽ cao hơn, vì vậy hãy kiểm tra trên card của bạn). Trọng số có trên Hugging Face dưới dạng nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB và cũng có qua Ollama, LM Studio và Unsloth.

Ba sự thật quyết định hầu hết các lựa chọn:

• Ngữ cảnh: 64K token. NVIDIA nói rõ rằng cửa sổ chứa mọi thứ cùng một lúc: lịch sử trò chuyện, hướng dẫn, định nghĩa công cụ và văn bản truy xuất.
• Ngôn ngữ: 35, từ một mô hình cơ sở được huấn luyện trước trên hơn 140.
• Tốc độ: trong các lần chạy llama.cpp CUDA của NVIDIA (Q4_K_M, kích thước lô 1), một RTX 5070 với 12 GB dùng 3,5 GB VRAM và tạo ra 133,4 token mỗi giây. Một Jetson Orin Nano với 8 GB dùng 4,2 GB và tạo ra 15,5 token mỗi giây. Cả hai con số đến từ khối lượng công việc thử nghiệm của chính NVIDIA, nên hãy mong đợi con số của bạn khác đi.

Trang cũng liệt kê điểm sử dụng công cụ (BFCL-v3 68,5, Tau2-Bench 55,1) và RULER ở 64K là 87,0. Đây là các benchmark của chính nhà phát triển: chúng cho biết mô hình được thử nghiệm trên gì, không phải cách nó xếp hạng so với một mô hình được lưu trữ, vì vậy bài viết này không so sánh chúng.

Hai điều trang không nêu: một câu trả lời đơn có thể dài bao nhiêu, và giấy phép. Hãy đọc cả hai trên thẻ mô hình Hugging Face trước khi bạn xây dựng bất cứ thứ gì trên đó.

64K lớn đến mức nào khi một agent bắt đầu làm việc?#

Hãy nghĩ về cửa sổ như một cái bàn. Mô hình chỉ có thể làm việc với những gì đang nằm trên đó ngay lúc này, và lịch sử, hướng dẫn của bạn, định nghĩa công cụ và bất kỳ văn bản truy xuất nào đều chia sẻ cùng một cái bàn. Vậy 64K là bao nhiêu bàn?

Đó là một cuốn tiểu thuyết ngắn, vì vậy một cuộc trò chuyện, email hoặc bản dịch nằm thoải mái. Sự chật vật đến từ các agent, vì mỗi bước thả đầu ra công cụ của nó lên bàn và không có gì rời đi.

Các agent thực tế vượt qua điều này bằng cách cắt bớt hoặc tóm tắt các bước cũ. Nó hoạt động, nhưng là mã thêm để viết và gỡ lỗi. Phía chi phí của cùng vòng lặp nằm trong Chi phí phiên agent: 50 bước trên GLM, DeepSeek hoặc MiniMax.

Phân loại tác vụ của bạn: cục bộ hay được lưu trữ#

Câu hỏi tương tự cho một mô hình mở lớn được trả lời trong Chạy DeepSeek cục bộ hay dùng API. Với một mô hình 4 GB, câu trả lời phụ thuộc vào tác vụ, vì vậy hãy phân loại tác vụ trước và cài đặt sau.

Các cột được lưu trữ đến từ danh sách mô hình CheapTokens. DeepSeek-V4-Flash có ngữ cảnh 380K, tối đa 32.768 token đầu ra mỗi câu trả lời và một mức giá bất kể giờ nào. GLM-5.3-Flash có ngữ cảnh 390K và tối đa 8.192 token đầu ra. MiniMax-M2.7 có ngữ cảnh 180K, tối đa 8.192 token đầu ra, và phù hợp với công việc agentic và lập trình qua API.

Một dòng bảng không thể nắm bắt: nếu văn bản không bao giờ được rời khỏi máy của bạn, điều đó quyết định ủng hộ cục bộ.

Công việc hàng loạt: hàng giờ GPU hay một hóa đơn nhỏ#

Giả sử bạn gắn thẻ 20.000 phiếu hỗ trợ. Mỗi phiếu khoảng 600 token vào và 50 token nhãn ra.

Tổng: 20.000 × 600 = 12.000.000 token đầu vào và 20.000 × 50 = 1.000.000 token đầu ra.

Tạo 1.000.000 token đó ở tốc độ đo được của NVIDIA mất 1.000.000 ÷ 133,4 = 7.496 giây (khoảng 2,1 giờ) trên RTX 5070 và 1.000.000 ÷ 15,5 = 64.516 giây (khoảng 17,9 giờ) trên Jetson Orin Nano. Đó chỉ tính sinh: đọc 12 triệu token đầu vào đến thêm, và cả điện năng card tiêu thụ suốt thời gian đó.

Phía được lưu trữ của cùng công việc, ở giá hiện tại:

Bảng định giá công việc trên mỗi mô hình, với một cột OpenRouter. Tổng cộng, tính cả đầu vào và đầu ra, mỗi mô hình đều rẻ hơn OpenRouter. Trên DeepSeek-V4-Flash, ví dụ, 1.000.000 token đầu ra được tính ở $0.10 mỗi 1M.

Công việc của bạn có lẽ không phải 20.000 phiếu. Hãy đưa số của riêng bạn vào:

Bây giờ bạn có cả hai phía trong cùng đơn vị: giờ của một máy bạn sở hữu so với đô la trên một bảng trực tiếp.

Tài liệu dài và câu trả lời dài#

Lấy một bộ hợp đồng 120.000 token. Nó lớn hơn 64.000, vì vậy một Bolt E4B cục bộ sẽ cần cắt bộ này thành từng mảnh, hỏi từng mảnh, và ghép các câu trả lời lại. Trên cửa sổ 380K, nó đi vào như một yêu cầu: với câu trả lời 2.000 token, đó là $0.002 ở giá hiện tại. Mô hình nào phù hợp với tài liệu 100K token đi qua các giới hạn ngữ cảnh và đầu ra theo từng mô hình.

Câu trả lời dài là giới hạn khác. DeepSeek-V4-Flash có thể viết tối đa 32.768 token trong một câu trả lời, và ở cùng quy tắc thô ¾ từ mỗi token (một giả định) 32.768 × 0,75 = 24.576 từ, đó là một báo cáo dài hoặc toàn bộ một tệp mã. Trang của NVIDIA không đưa ra mức tối đa cho Bolt E4B, vì vậy trước khi bạn lên kế hoạch cho đầu ra 10.000 token cục bộ, hãy kiểm tra những gì runtime của bạn thực sự trả về.

Định tuyến theo kích thước: cùng một mã, hai đích đến#

Bạn không cần phải chọn một mãi mãi. Giữ mô hình nhỏ cho các công việc nhỏ và gửi những công việc lớn đến một mô hình được lưu trữ. Nếu công cụ của bạn đã nói chuyện với một endpoint tương thích OpenAI, việc chuyển đổi là một base URL, một khóa và một ID mô hình đầy đủ.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

Giới hạn 60.000 để lại chỗ dưới cửa sổ 64K cho hướng dẫn và câu trả lời. Khi cuộc gọi hoạt động, bạn thấy văn bản câu trả lời, sau đó là một đối tượng usage với prompt_tokens và completion_tokens: nhân chúng với giá trên trang định giá để biết yêu cầu tốn bao nhiêu. Các bước yêu cầu đầu tiên có trong tài liệu.

Bắt đầu với dòng của bảng khớp với công việc của bạn. Nếu nó nói cục bộ, hãy tải GGUF và đo token mỗi giây của riêng bạn trước khi bạn lên kế hoạch dựa trên con số của bất kỳ ai.