Nemotron Bolt E4B 또는 호스팅 API? 컨텍스트와 작업으로 선택하기

작업이 64,000 토큰 안에 들어가고 GPU에 약 4 GB 모델을 올릴 여유가 있다면, NVIDIA의 Nemotron 3.5 Bolt E4B를 직접 머신에서 실행할 수 있습니다. 더 큰 윈도우, 긴 답변, 또는 오늘 안에 20,000개 항목을 끝내야 한다면 호스팅 모델이 더 빠른 길입니다. 아래 표는 작업을 분류한 것이고, 각 행의 근거가 되는 계산도 함께 있습니다.

비교의 호스팅 쪽은 CheapTokens 모델 페이지의 세 모델, DeepSeek-V4-Flash, GLM-5.3-Flash, MiniMax-M2.7을 사용합니다.

NVIDIA가 공개한 것과 빠뜨린 것#

Nemotron 3.5 Bolt E4B의 NVIDIA 연구 페이지(2026년 10월 23일 공개, 11월 5일 확인)는 Gemma 4 E4B 기반으로 만들어진 모델을 설명하며, llama.cpp용 GGUF 체크포인트, Q4_K_M 양자화로 배포된다고 밝힙니다. NVIDIA는 최소 4 GB에 들어간다고 하며, 측정한 VRAM은 3.1~5.0 GB였습니다(NVIDIA의 테스트 워크로드 기준이며, 64K 윈도우를 가득 채우면 메모리 사용량은 더 높아지므로 자신의 카드에서 확인하세요). 가중치는 Hugging Face에 nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB로 있으며 Ollama, LM Studio, Unsloth를 통해서도 제공됩니다.

대부분의 선택을 결정하는 세 가지 사실:

• 컨텍스트: 64K 토큰. NVIDIA는 윈도우가 모든 것을 한 번에 담는다고 명시합니다: 채팅 기록, 지시문, 도구 정의, 검색된 텍스트.
• 언어: 35개, 140개 이상으로 사전 학습된 베이스 모델에서 출발.
• 속도: NVIDIA의 llama.cpp CUDA 실행(Q4_K_M, 배치 크기 1)에서 12 GB의 RTX 5070은 VRAM 3.5 GB를 사용하고 초당 133.4 토큰을 생성했습니다. 8 GB의 Jetson Orin Nano는 4.2 GB를 사용하고 초당 15.5 토큰을 생성했습니다. 두 수치 모두 NVIDIA 자체 테스트 워크로드에서 나온 것이므로 자신의 결과는 다를 수 있습니다.

이 페이지에는 도구 사용 점수(BFCL-v3 68.5, Tau2-Bench 55.1)와 64K에서의 RULER 87.0도 나와 있습니다. 이는 개발자 자신의 벤치마크로, 모델이 무엇으로 테스트되었는지를 말해줄 뿐 호스팅 모델과 어떻게 비교되는지는 말해주지 않으므로 이 글에서는 나란히 비교하지 않습니다.

페이지에 명시되지 않은 두 가지: 단일 답변의 최대 길이와 라이선스입니다. 이 위에 무언가를 만들기 전에 Hugging Face 모델 카드에서 둘 다 확인하세요.

에이전트가 작업을 시작하면 64K는 얼마나 클까?#

윈도우를 책상이라고 생각해 보세요. 모델은 지금 책상 위에 놓인 것만 가지고 작업할 수 있고, 기록, 지시문, 도구 정의, 검색된 텍스트가 모두 같은 책상을 공유합니다. 그렇다면 64K는 책상이 얼마나 큰 걸까요?

이는 짧은 소설 한 편 분량이라 채팅, 이메일, 번역은 여유롭게 들어갑니다. 압박은 에이전트에서 옵니다. 매 단계마다 도구 출력이 책상 위에 쌓이고 아무것도 빠져나가지 않기 때문입니다.

실제 에이전트는 오래된 단계를 잘라내거나 요약하여 이 문제를 우회합니다. 효과는 있지만 작성하고 디버깅할 코드가 늘어납니다. 같은 루프의 비용 측면은 에이전트 세션 비용: GLM, DeepSeek, MiniMax에서 50단계에서 다룹니다.

작업 분류: 로컬 또는 호스팅#

큰 오픈 모델에 대한 같은 질문은 DeepSeek를 로컬에서 실행할까, API를 쓸까에서 답합니다. 4 GB 모델의 답은 작업에 따라 다르므로, 먼저 작업을 분류하고 그다음에 설치하세요.

호스팅 열은 CheapTokens 모델 목록에서 가져왔습니다. DeepSeek-V4-Flash는 380K 컨텍스트, 답변당 최대 32,768 출력 토큰, 시간대와 무관한 단일 가격입니다. GLM-5.3-Flash는 390K 컨텍스트와 최대 8,192 출력 토큰입니다. MiniMax-M2.7은 180K 컨텍스트, 최대 8,192 출력 토큰이며 API를 통한 에이전트 및 코딩 작업에 적합합니다.

표가 담지 못하는 한 행: 텍스트가 절대 머신을 떠나서는 안 된다면, 그것만으로 로컬이 선택됩니다.

대량 작업: 몇 시간의 GPU 시간 또는 작은 청구서#

20,000개의 지원 티켓에 태그를 단다고 합시다. 각각 약 600 토큰 입력, 50 토큰 라벨 출력입니다.

합계: 20,000 × 600 = 12,000,000 입력 토큰, 20,000 × 50 = 1,000,000 출력 토큰.

NVIDIA가 측정한 속도로 이 1,000,000 토큰을 생성하는 데 RTX 5070에서는 1,000,000 ÷ 133.4 = 7,496초(약 2.1시간), Jetson Orin Nano에서는 1,000,000 ÷ 15.5 = 64,516초(약 17.9시간)가 걸립니다. 이는 생성만 계산한 것입니다: 1,200만 입력 토큰을 읽는 시간이 그 위에 더해지고, 그동안 카드가 소비하는 전력도 더해집니다.

같은 작업의 호스팅 쪽, 현재 가격 기준:

표는 각 모델에서의 작업 비용을 OpenRouter 열과 함께 보여줍니다. 입력과 출력을 합친 총액에서 각 모델 모두 OpenRouter보다 저렴합니다. 예를 들어 DeepSeek-V4-Flash에서는 1,000,000 출력 토큰이 1M당 $0.10로 청구됩니다.

당신의 작업은 아마 20,000개 티켓이 아닐 것입니다. 자신의 숫자를 넣어 보세요:

이제 양쪽을 같은 단위로 비교할 수 있습니다: 소유한 머신의 시간 대 실시간 표의 달러.

긴 문서와 긴 답변#

120,000 토큰의 계약 묶음을 생각해 봅시다. 64,000보다 크므로 로컬 Bolt E4B는 묶음을 조각내어 조각별로 질문하고 답변을 이어 붙여야 합니다. 380K 윈도우에서는 한 요청으로 들어갑니다: 2,000 토큰 답변과 함께 현재 가격으로 $0.002입니다. 100K 토큰 문서에 맞는 모델은 모델별로 컨텍스트와 출력 한도를 짚어봅니다.

긴 답변은 또 다른 한계입니다. DeepSeek-V4-Flash는 한 답변에 최대 32,768 토큰을 쓸 수 있고, 같은 대략적인 토큰당 단어 ¾(가정)로 32,768 × 0.75 = 24,576 단어이며, 이는 긴 보고서나 코드 파일 전체에 해당합니다. NVIDIA 페이지는 Bolt E4B의 최대치를 제시하지 않으므로, 로컬에서 10,000 토큰 출력을 계획하기 전에 런타임이 실제로 무엇을 반환하는지 테스트하세요.

크기로 라우팅: 같은 코드, 두 목적지#

하나를 영원히 고를 필요는 없습니다. 작은 작업에는 작은 모델을 유지하고 큰 작업은 호스팅 모델로 보내세요. 도구가 이미 OpenAI 호환 엔드포인트와 통신한다면, 전환은 base URL, 키, 전체 모델 id뿐입니다.

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

60,000 한도는 64K 윈도우 아래에 지시문과 답변을 위한 여유를 남깁니다. 호출이 성공하면 답변 텍스트가 보이고, 그다음 usage 객체에 prompt_tokens과 completion_tokens가 표시됩니다: 이를 가격 페이지의 가격과 곱하면 요청 비용을 알 수 있습니다. 첫 요청 단계는 문서에 있습니다.

작업에 맞는 표의 행부터 시작하세요. 로컬이라고 나오면 GGUF를 내려받고, 누군가의 수치를 기준으로 계획하기 전에 자신의 초당 토큰을 측정하세요.