LLM cục bộ hết VRAM? Xem trọng số so với KV cache với gputaskman

Mô hình cục bộ của bạn tải ổn hôm qua, hôm nay lại sập khi tải hoặc chạy chậm như rùa, và thứ duy nhất bạn thay đổi là độ dài ngữ cảnh. Thủ phạm phổ biến là KV cache, và một công cụ terminal miễn phí tên là gputaskman có thể chỉ ra điều đó thay vì để bạn đoán mò.

Một trình giám sát GPU điển hình cho bạn biết VRAM đầy đến đâu. Đó là "cái gì", không phải "tại sao". README của gputaskman (kiểm tra ngày 5 tháng 11 năm 2026) tự mô tả là "Một htop cho những gì bên trong GPU của bạn, không chỉ mức độ đầy." Đây là một dự án non trẻ, thử nghiệm, giấy phép MIT, nên hãy coi nó như một lăng kính tiện dụng, không phải phán quyết cuối cùng.

Thứ thực sự lấp đầy VRAM của bạn#

Hãy nghĩ VRAM như một chiếc vali. Có ba thứ được nhét vào:

• Trọng số: bản thân mô hình. Kích thước cố định với một mô hình và mức lượng tử hóa nhất định.
• KV cache: bộ nhớ ngắn hạn của mô hình về cuộc hội thoại của bạn. Nó tăng lên khi ngữ cảnh tăng.
• Bộ đệm tính toán: không gian tạm thời runtime cần trong khi làm việc.

Khi người ta nói "mô hình không vừa", họ thường có ý là trọng số vừa nhưng cache bạn yêu cầu thêm vào thì không. Sự phân biệt đó quyết định cách khắc phục, và đó chính xác là thứ một trình giám sát thông thường che giấu.

Cài gputaskman và xem theo từng tiến trình#

README liệt kê ba cách vào: một ZIP Windows di động, một bản clone chạy bằng uv run --locked gputaskman, hoặc pip trong môi trường ảo Python 3.11+. Các nền tảng, như README mô tả:

• Windows 10/11 64-bit với GPU NVIDIA hoặc AMD (ZIP x64 và ARM64 trên trang Releases);
• Linux và WSL với GPU NVIDIA (glibc 2.35+; WSL có thể đọc bộ đếm của máy chủ Windows);
• macOS trên Apple Silicon chỉ từ bản clone mã nguồn, không có bản dựng di động.

Các ZIP Windows không được ký. Chỉ tải chúng từ trang Releases của kho chính thức, github.com/shanselman/gputaskman. Sao chép lệnh chính xác từ README: dự án còn non trẻ và các tùy chọn có thể thay đổi.

Khi nó đang chạy, hai chế độ xem quan trọng cho vấn đề này:

1. Chế độ xem thiết bị: mức dùng VRAM, hoạt động GPU, PCIe, nhiệt độ, công suất, xung nhịp và biểu đồ lịch sử. Tốt cho câu hỏi "có gì đó tăng vọt không?"
2. Chế độ xem tiến trình: bộ nhớ GPU cục bộ theo từng tiến trình, RAM hệ thống truy cập được bởi GPU, hoạt động engine và runtime được phát hiện (CUDA, HIP, Vulkan, Direct3D, ggml, ONNX Runtime).

Trong chế độ xem tiến trình, tìm máy chủ mô hình của bạn (với Ollama, là runner đi kèm). Sau đó kiểm tra phần còn lại của danh sách. Nếu một trình duyệt hoặc game đang giữ vài gigabyte, bạn đã có câu trả lời mà không cần động vào mô hình.

Trọng số, KV cache, bộ đệm: các con số đến từ đâu#

Trình kiểm tra mô hình hiển thị kiến trúc, lượng tử hóa và kích thước bộ đệm khi có sẵn. Một lưu ý quan trọng: theo README, trọng số, KV cache và bộ đệm tính toán đến từ log tải của runtime khi bật ghi log tương thích. Với llama.cpp, hãy khởi động llama-server của riêng bạn với ghi log (--log-file server.log -lv 4; README nói cần mức 4 để có kích thước bộ đệm). Với Ollama, gputaskman dùng server.log của Ollama nếu có. Nếu không, chúng là ước tính từ metadata GGUF và kích thước ngữ cảnh, giả định cách bố trí kiểu llama.cpp. Việc hạch toán KV theo từng mô hình trong một tiến trình chưa được hỗ trợ.

Vậy hãy đọc phân tách ước tính là "khoảng chừng", và phân tách dựa trên log là "những gì runtime báo cáo". Với Ollama, README nói các runner đi kèm được phát hiện, các blob GGUF được đặt tên từ manifest của Ollama, và server.log được dùng khi có sẵn. Hỗ trợ LM Studio là một phần: mô hình được đặt tên từ thư mục của nó và được thăm dò qua API cục bộ, nhưng điều này được kiểm thử với phản hồi giả lập, không phải đầu-cuối.

Bạn cũng có thể lưu hai ảnh chụp nhanh dưới dạng JSON và so sánh chúng bằng lệnh diff. Đó là cách gọn gàng để trả lời "điều gì đã thay đổi khi tôi đi từ ngữ cảnh 4K lên 16K?": chụp một ảnh, đổi cài đặt, tải lại, chụp ảnh khác.

Nên vặn nút nào#

Đọc phân tách cho bạn một quyết định, không chỉ một bức tranh.

Trọng số là phần lớn. Chuyển sang lượng tử hóa nhỏ hơn hoặc mô hình nhỏ hơn. Đây là đòn bẩy duy nhất thu nhỏ trọng số. Nếu bạn muốn phép toán bộ nhớ đằng sau nó, xem Một mô hình 125B có chạy được trên GPU 16 GB không?

KV cache là phần lớn. Rút ngắn ngữ cảnh. Trong Ollama bạn có thể thử ngay trong phiên:

ollama run <your-model>
>>> /set parameter num_ctx 8192

8192 chỉ là giá trị ví dụ; hãy chọn thứ tác vụ của bạn thực sự cần (lệnh theo tài liệu của Ollama, kiểm tra ngày 5 tháng 11 năm 2026).

Nếu sau đó bạn thấy chậm lạ thường khi xử lý prompt với cache lượng tử hóa trong llama.cpp, bản sửa này cho KV cache q5_1 là điểm dừng tiếp theo. Về việc cửa sổ ngữ cảnh chứa gì ngay từ đầu, hãy đọc Cửa sổ ngữ cảnh là gì?

Một tiến trình khác là phần lớn. Đóng nó, hoặc chạy nó trên GPU tích hợp. Không cần thay đổi gì về mô hình.

Nếu nó không hoạt động#

• Phân tách trông sai. Kiểm tra xem đó có phải là ước tính không (không có log tải tương thích). Với llama.cpp, chạy llama-server của bạn với --log-file server.log -lv 4 và tải lại mô hình. Với Ollama, gputaskman dùng server.log nếu nó tồn tại; nhãn ước tính là bình thường ở đó.
• LM Studio hiển thị ít chi tiết hơn. Hỗ trợ là một phần, như trên.
• Không có GPU NVIDIA hoặc AMD. Công cụ chỉ bao phủ khối lượng công việc GPU cục bộ; khối lượng công việc chỉ CPU, chỉ NPU và trên đám mây nằm ngoài phạm vi.
• macOS. Chạy từ bản clone mã nguồn; không có bản dựng di động.

Khi một mô hình được lưu trữ là cách khắc phục đơn giản hơn#

Giả sử bạn cần ngữ cảnh dài cho một tác vụ, chẳng hạn tóm tắt một tài liệu lớn, và GPU của bạn chỉ vừa mô hình với ngữ cảnh ngắn. Bạn có thể tiếp tục tinh chỉnh, hoặc đưa VRAM ra khỏi bức tranh. Với những tác vụ như vậy, CheapTokens cung cấp DeepSeek-V4-Flash: ngữ cảnh 380K, tối đa 32.768 token đầu ra mỗi câu trả lời, một mức giá bất kể thời điểm trong ngày, qua API tương thích OpenAI. GLM-5.3-Flash có ngữ cảnh 390K và tối đa 8.192 token đầu ra.

Lệnh gọi theo định dạng OpenAI thông thường (đặt khóa của bạn trong một biến môi trường):

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "Summarize this document: ..."}]}'

Chi tiết thiết lập có trong tài liệu. Một quy tắc ngón tay cái để quyết định: nếu một tác vụ liên tục cần nhiều ngữ cảnh hơn hoặc mô hình lớn hơn so với card của bạn, và chế độ xem tiến trình cho thấy VRAM của bạn đã được dùng nhiều, hãy gửi tác vụ đó lên API và giữ các công việc nhỏ, nhanh ở cục bộ. Chạy DeepSeek cục bộ hay dùng API? đi sâu hơn vào sự đánh đổi.

Giả sử bạn tóm tắt 100 tài liệu lớn, mỗi tài liệu 60.000 token đầu vào và 1.000 token đầu ra (nằm gọn trong cửa sổ 380K). Đây là chi phí hôm nay:

Theo những con số đó, $0.001 mỗi tài liệu là giá hiện hành cho một lệnh gọi như vậy, và tổng cộng, tính cả đầu vào và đầu ra, nó thấp hơn OpenRouter.