DeepSeek mở mã nguồn DeepInfer: nó là gì và ai nên tự lưu trữ

Ngày 20 tháng 10 năm 2026, DeepSeek đã công bố DeepInfer trên GitHub (deepseek-ai/DeepInfer) theo Apache License 2.0. Đây là framework suy luận cho các mô hình DeepSeek. Theo README, nó vận hành các dịch vụ production quy mô lớn của DeepSeek. Ngày phát hành lấy từ bài đăng của @deepseek_ai được một bản tin tổng hợp Telegram dẫn lại; bản thân README không ghi ngày.

DeepInfer là gì#

DeepInfer là mã chạy mô hình trên GPU hoặc NPU một cách nhanh chóng. Nó không phải là mô hình và cũng không phải dịch vụ được lưu trữ. Mô hình duy nhất được hỗ trợ là DeepSeek-V4.1-Flash. Mặc định, lần chạy đầu tiên nó tải checkpoint deepseek-ai/DeepSeek-V4.1-Flash-1017 vào cache Hugging Face. Nếu bạn đã có trọng số, hãy đặt DEEPINFER_HF_MODEL_DIR để dùng bản sao cục bộ.

Những gì có sẵn#

README liệt kê các tính năng sau:

• kernel được tối ưu;
• song song dữ liệu, ngữ cảnh và chuyên gia kèm cân bằng tải;
• giải mã suy đoán với xác minh dựa trên độ tin cậy;
• phát lại cửa sổ trượt có giới hạn cho prefill;
• lập lịch bất đồng bộ;
• suy luận bất biến theo lô và lấy mẫu tất định;
• đầu ra có cấu trúc: regex, JSON schema và grammar.

Một số tính năng trong đó chỉ dành cho NVIDIA.

Những gì không có#

Bản phát hành này chỉ cung cấp suy luận ngoại tuyến. README nói rằng một dịch vụ suy luận đầy đủ còn cần hệ thống KV cache, tách rời prefill/decode và cân bằng tải, và những thứ này không nằm trong bản phát hành. Vậy là bạn có engine, chứ không phải toàn bộ stack production. Việc đưa nó ra sau một API cho người dùng là công việc bạn phải tự làm.

Phần cứng và thiết lập#

Các benchmark được công bố (biểu đồ Pareto cho prefill và decode) được đo trên 4 GPU SM100 cho prefill và 64 GPU cho decode, mỗi phép đo nằm trong một miền scale-up. Các biểu đồ là hình ảnh, nên chúng tôi không trích dẫn số liệu thông lượng hay độ trễ. Chúng tôi cũng không có dữ liệu về việc DeepInfer có làm thay đổi giá API của ai hay không, nên không đưa ra khẳng định nào như vậy.

Bạn có nên tự chạy nó không?#

Tự lưu trữ là hợp lý nếu bạn đã vận hành phần cứng SM100 hoặc Ascend 950, cần toàn quyền kiểm soát trọng số và hành vi tất định hoặc bất biến theo lô, hoặc muốn tự xây lớp phục vụ của riêng mình. Thiết lập benchmark (hàng chục GPU cho decode) cho thấy framework được tinh chỉnh cho điều gì: phục vụ quy mô lớn.

Nếu bạn chỉ cần đầu ra thuộc họ DeepSeek trong ứng dụng của mình, framework này là một khối hạ tầng quá lớn để gánh vác. Gọi API đơn giản hơn: không GPU, không phải khớp phiên bản CUDA hay CANN.

Một lựa chọn API cho cùng loại tác vụ#

Nếu bạn không muốn tự chạy cụm GPU, MiniMax-M2.7 trên CheapTokens xử lý tác vụ trò chuyện, lập trình và agent qua API, với:

• một số dư cho mọi mô hình và API tương thích OpenAI lẫn Anthropic;
• tối đa 8.192 token đầu ra mỗi câu trả lời và ngữ cảnh 180K;
• giá cố định theo mô hình, không có giờ cao điểm;
• tổng chi phí rẻ hơn OpenRouter, với đầu vào và đầu ra được tính gộp.

Giá hiện tại trên 1M token: đầu vào $0.05, đầu ra $0.15. Ví dụ khối lượng công việc 2.000 token đầu vào và 500 token đầu ra mỗi yêu cầu, 1.000 yêu cầu:

Xem bài viết về DeepSeek-V4.1-Flash-1017 để biết mô hình thay đổi những gì.

Kết luận#

DeepInfer là một bản phát hành mã nguồn mở thực sự của mã suy luận production, nhưng chỉ hỗ trợ ngoại tuyến và gắn với phần cứng cụ thể (NVIDIA SM100 hoặc Ascend 950). Các nhóm có phần cứng đó và có đội phục vụ sẽ thấy nó thú vị. Hầu hết lập trình viên sẽ tiếp tục gọi API và so sánh chi phí theo tỷ lệ token của riêng mình.