Nemotron Bolt E4B หรือ API แบบโฮสต์? เลือกตามบริบทและงาน

หากงานของคุณพอดีภายใน 64,000 โทเค็น และ GPU ของคุณมีที่พอสำหรับโมเดลขนาด ~4 GB แล้ว Nemotron 3.5 Bolt E4B ของ NVIDIA ก็รันบนเครื่องของคุณเองได้ หากงานต้องใช้หน้าต่างที่ใหญ่กว่า คำตอบยาว หรือต้องทำ 20,000 รายการให้เสร็จวันนี้ โมเดลแบบโฮสต์คือทางที่สั้นกว่า ด้านล่างคือตารางที่ช่วยจัดประเภทงานของคุณ พร้อมการคำนวณเบื้องหลังแต่ละแถว

ฝั่งโฮสต์ของการเปรียบเทียบใช้สามโมเดลจากหน้ารายการโมเดล CheapTokens: DeepSeek-V4-Flash, GLM-5.3-Flash และ MiniMax-M2.7

NVIDIA เผยแพร่อะไร และละอะไรไว้#

หน้างานวิจัยของ NVIDIA สำหรับ Nemotron 3.5 Bolt E4B (เผยแพร่ 23 ตุลาคม 2026 ตรวจสอบ 5 พฤศจิกายน) อธิบายโมเดลที่สร้างบน Gemma 4 E4B และจัดส่งเป็นเช็กพอยต์ GGUF, ควอนไทซ์ Q4_K_M สำหรับ llama.cpp NVIDIA ระบุว่ามันพอดีในหน่วยความจำเพียง 4 GB; VRAM ที่วัดได้อยู่ในช่วง 3.1 ถึง 5.0 GB (บนเวิร์กโหลดทดสอบของ NVIDIA; เมื่อใช้หน้าต่างเต็ม 64K การใช้หน่วยความจำจะสูงขึ้น ดังนั้นตรวจสอบบนการ์ดของคุณเอง) เวตอยู่บน Hugging Face ในชื่อ nvidia/NVIDIA-Nemotron-3.5-Bolt-E4B-4GB และยังมีผ่าน Ollama, LM Studio และ Unsloth

สามข้อเท็จจริงตัดสินใจตัวเลือกส่วนใหญ่:

• บริบท: 64K โทเค็น NVIDIA ระบุชัดเจนว่าหน้าต่างเก็บทุกอย่างไว้พร้อมกัน: ประวัติแชท คำสั่ง นิยามเครื่องมือ และข้อความที่ดึงมา
• ภาษา: 35 จากโมเดลฐานที่ผ่านการพรีเทรนบนภาษามากกว่า 140 ภาษา
• ความเร็ว: ในการรัน llama.cpp CUDA ของ NVIDIA (Q4_K_M, ขนาดแบตช์ 1) RTX 5070 ขนาด 12 GB ใช้ VRAM 3.5 GB และสร้าง 133.4 โทเค็นต่อวินาที Jetson Orin Nano ขนาด 8 GB ใช้ 4.2 GB และสร้าง 15.5 โทเค็นต่อวินาที ตัวเลขทั้งสองมาจากเวิร์กโหลดทดสอบของ NVIDIA เอง ดังนั้นคาดว่าของคุณจะต่างออกไป

หน้านี้ยังระบุคะแนนการใช้เครื่องมือ (BFCL-v3 68.5, Tau2-Bench 55.1) และ RULER ที่ 64K เท่ากับ 87.0 สิ่งเหล่านี้คือเบนช์มาร์กของผู้พัฒนาเอง: บอกว่าทดสอบโมเดลบนอะไร ไม่ได้บอกว่ามันเทียบกับโมเดลแบบโฮสต์ได้อย่างไร บทความนี้จึงไม่นำมาเทียบกัน

สองสิ่งที่หน้านี้ไม่ได้ระบุ: คำตอบเดียวจะยาวได้แค่ไหน และสัญญาอนุญาต อ่านทั้งสองอย่างบนโมเดลการ์ดของ Hugging Face ก่อนสร้างอะไรบนมัน

64K ใหญ่แค่ไหนเมื่อเอเจนต์เริ่มทำงาน?#

ลองคิดว่าหน้าต่างคือโต๊ะ โมเดลทำงานได้เฉพาะกับสิ่งที่วางอยู่บนโต๊ะตอนนี้เท่านั้น และประวัติ คำสั่งของคุณ นิยามเครื่องมือ และข้อความที่ดึงมาทั้งหมดใช้โต๊ะเดียวกัน แล้ว 64K คือโต๊ะขนาดไหน?

นั่นคือขนาดนิยายสั้น แชท อีเมล หรือการแปลจึงพอดีสบายๆ จุดที่ตึงคือเอเจนต์ เพราะทุกขั้นตอนทิ้งเอาต์พุตของเครื่องมือลงบนโต๊ะและไม่มีอะไรถูกนำออก

เอเจนต์จริงหลีกเลี่ยงเรื่องนี้ด้วยการตัดหรือสรุปขั้นตอนเก่า มันได้ผล แต่นั่นคือโค้ดเพิ่มที่ต้องเขียนและดีบัก ด้านต้นทุนของลูปเดียวกันอยู่ใน ต้นทุนเซสชันเอเจนต์: 50 ขั้นตอนบน GLM, DeepSeek หรือ MiniMax

จัดประเภทงานของคุณ: โลคัลหรือโฮสต์#

คำถามเดียวกันสำหรับโมเดลเปิดขนาดใหญ่มีคำตอบใน รัน DeepSeek บนเครื่องหรือใช้ API สำหรับโมเดล 4 GB คำตอบขึ้นอยู่กับงาน ดังนั้นจัดประเภทงานก่อนแล้วค่อยติดตั้ง

คอลัมน์โฮสต์มาจากรายการโมเดล CheapTokens DeepSeek-V4-Flash มีบริบท 380K เอาต์พุตสูงสุด 32,768 โทเค็นต่อคำตอบ และราคาเดียวทุกชั่วโมง GLM-5.3-Flash มีบริบท 390K และเอาต์พุตสูงสุด 8,192 โทเค็น MiniMax-M2.7 มีบริบท 180K เอาต์พุตสูงสุด 8,192 โทเค็น และเหมาะกับงานเอเจนต์และการเขียนโค้ดผ่าน API

แถวหนึ่งที่ตารางจับไม่ได้: หากข้อความต้องไม่ออกจากเครื่องคุณเลย นั่นตัดสินให้เลือกโลคัล

งานจำนวนมาก: ชั่วโมง GPU หรือบิลเล็กๆ#

สมมติคุณติดแท็กทิกเก็ตซัพพอร์ต 20,000 ใบ แต่ละใบประมาณ 600 โทเค็นเข้า และป้าย 50 โทเค็นออก

รวม: 20,000 × 600 = 12,000,000 โทเค็นอินพุต และ 20,000 × 50 = 1,000,000 โทเค็นเอาต์พุต

การสร้าง 1,000,000 โทเค็นนั้นด้วยความเร็วที่ NVIDIA วัดได้ใช้เวลา 1,000,000 ÷ 133.4 = 7,496 วินาที (ประมาณ 2.1 ชั่วโมง) บน RTX 5070 และ 1,000,000 ÷ 15.5 = 64,516 วินาที (ประมาณ 17.9 ชั่วโมง) บน Jetson Orin Nano นั่นนับเฉพาะการสร้าง: การอ่านอินพุต 12 ล้านโทเค็นเพิ่มเข้ามา และรวมถึงไฟฟ้าที่การ์ดใช้ตลอดเวลา

ฝั่งโฮสต์ของงานเดียวกัน ตามราคาปัจจุบัน:

ตารางคิดราคางานบนแต่ละโมเดล พร้อมคอลัมน์ OpenRouter โดยรวม เมื่อนับอินพุตและเอาต์พุตรวมกัน แต่ละตัวถูกกว่า OpenRouter ตัวอย่างเช่น บน DeepSeek-V4-Flash เอาต์พุต 1,000,000 โทเค็นคิดที่ $0.10 ต่อ 1M

งานของคุณคงไม่ใช่ 20,000 ทิกเก็ต ใส่ตัวเลขของคุณเอง:

ตอนนี้คุณมีทั้งสองฝั่งในหน่วยเดียวกัน: ชั่วโมงของเครื่องที่คุณเป็นเจ้าของ เทียบกับดอลลาร์บนตารางสด

เอกสารยาวและคำตอบยาว#

ลองใช้ชุดสัญญา 120,000 โทเค็น มันใหญ่กว่า 64,000 ดังนั้น Bolt E4B แบบโลคัลต้องตัดชุดเป็นชิ้นๆ ถามทีละชิ้น แล้วเย็บคำตอบเข้าด้วยกัน บนหน้าต่าง 380K มันเข้าเป็นคำขอเดียว: ด้วยคำตอบ 2,000 โทเค็น นั่นคือ $0.002 ตามราคาปัจจุบัน โมเดลไหนพอดีกับเอกสาร 100K โทเค็น ไล่ดูขีดจำกัดบริบทและเอาต์พุตทีละโมเดล

คำตอบยาวคือขีดจำกัดอีกด้าน DeepSeek-V4-Flash เขียนได้สูงสุด 32,768 โทเค็นในคำตอบเดียว และด้วยกฎคร่าวๆ ¾ คำต่อโทเค็นเดียวกัน (เป็นสมมติฐาน) 32,768 × 0.75 = 24,576 คำ ซึ่งเป็นรายงานยาวหรือไฟล์โค้ดทั้งไฟล์ หน้าของ NVIDIA ไม่ได้ระบุค่าสูงสุดสำหรับ Bolt E4B ดังนั้นก่อนวางแผนเอาต์พุต 10,000 โทเค็นบนเครื่อง ให้ทดสอบว่ารันไทม์ของคุณคืนค่าอะไรจริงๆ

เส้นทางตามขนาด: โค้ดเดียวกัน สองปลายทาง#

คุณไม่จำเป็นต้องเลือกอย่างใดอย่างหนึ่งตลอดไป เก็บโมเดลเล็กไว้สำหรับงานเล็ก และส่งงานใหญ่ไปยังโมเดลแบบโฮสต์ หากเครื่องมือของคุณคุยกับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI อยู่แล้ว การสลับคือ base URL, คีย์ และ model id แบบเต็ม

import os
from openai import OpenAI

hosted = OpenAI(
    base_url='https://api.cheaptokens.dev/v1',
    api_key=os.environ['CHEAPTOKENS_API_KEY'],
)

def too_big_for_local(text: str, limit: int = 60_000) -> bool:
    return len(text) // 4 > limit  # rough: about 4 characters per token in English

document = open('contract.txt', encoding='utf-8').read()
if too_big_for_local(document):
    resp = hosted.chat.completions.create(
        model='deepseek-ai/DeepSeek-V4-Flash-0731',
        messages=[{'role': 'user', 'content': 'List the termination clauses:\n\n' + document}],
        max_tokens=2000,
    )
    print(resp.choices[0].message.content)
    print(resp.usage)

ขีดจำกัด 60,000 เหลือที่ใต้หน้าต่าง 64K สำหรับคำสั่งและคำตอบ เมื่อการเรียกทำงาน คุณจะเห็นข้อความคำตอบ แล้วออบเจ็กต์ usage ที่มี prompt_tokens และ completion_tokens: คูณค่าเหล่านั้นด้วยราคาบนหน้าราคา เพื่อดูว่าคำขอนั้นมีต้นทุนเท่าไร ขั้นตอนคำขอแรกอยู่ในเอกสาร

เริ่มจากแถวของตารางที่ตรงกับงานของคุณ หากระบุว่าโลคัล ให้ดาวน์โหลด GGUF และวัดโทเค็นต่อวินาทีของคุณเองก่อนวางแผนตามตัวเลขของใคร