Trọng số mở là gì? Giải thích lượng tử hóa 2-bit và 4-bit

Bạn mở một thông báo ra mắt mô hình và thấy “open weights” bên cạnh một tệp có tên UD-Q2_K_XL. Trả lời ngắn gọn: open weights nghĩa là nhà phát triển đã công bố các tệp của mô hình, nên bất kỳ ai cũng có thể tải về và chạy chúng. 2-bit nghĩa là mỗi số bên trong chỉ được lưu bằng hai bit: tệp nhỏ đi rất nhiều và mô hình trở nên hơi mờ hơn. Nếu bạn muốn bỏ qua việc tải xuống, bạn có thể gọi mô hình qua API; tài liệu CheapTokens hướng dẫn yêu cầu đầu tiên.

Ví dụ dưới đây là thật. Trang mô hình của Unsloth cho MiniMax-M3.1-Flash (không ghi ngày; kiểm tra ngày 27 tháng 10 năm 2026) liệt kê các tệp GGUF từ 129,4 GB đến 259,1 GB cho một mô hình mà chúng tôi đã đề cập trong bài đăng ra mắt M3.1 Flash. Mọi kích thước và số liệu bộ nhớ ở đây đều lấy từ trang đó.

Những từ bạn liên tục gặp#

Hãy hình dung một bàn trộn âm thanh với 428 tỷ núm xoay. Quá trình huấn luyện tinh chỉnh từng núm cho đến khi đầu ra nghe đúng. Vị trí cuối cùng của tất cả các núm chính là trọng số của mô hình. Công bố danh sách đó và bạn có một mô hình open-weight; giữ nó trên máy chủ của riêng bạn và cách duy nhất để truy cập là qua API.

Hai cái bẫy cho người mới. “Open-weight” không tự động có nghĩa là “miễn phí cho mọi mục đích sử dụng”: giấy phép quyết định, và trang của Unsloth không nêu rõ, nên hãy đọc thẻ mô hình (MiniMaxAI/MiniMax-M3.1-Flash trên Hugging Face) trước khi xây dựng bất cứ thứ gì thương mại. Và “miễn phí tải về” không phải là “miễn phí chạy”, điều mà các phần tiếp theo sẽ chỉ ra.

Tại sao một mô hình lại là bản tải xuống 130–260 GB#

Mỗi một trong 428 tỷ trọng số đó là một con số, và các con số chiếm không gian. Quy tắc ngón tay cái là số lượng × bit ÷ 8 = byte. Hãy thử trước khi đọc tiếp.

Giờ hãy nhân lên. Ngay cả ở 2 bit mỗi trọng số, 428 × 2 ÷ 8 = 107 GB là mức sàn cho toàn bộ mô hình. Tệp 2-bit thực tế là 143,9 GB, cao hơn một chút so với mức sàn, nên con số bit trong tên tệp là một nhãn chứ không phải số đếm chính xác.

Con số “23B hoạt động” nói về tốc độ, không phải dung lượng lưu trữ. Chỉ một phần nhỏ của mô hình xử lý mỗi token, điều này khiến nó nhanh, nhưng phần đó thay đổi theo từng token, nên tất cả 428B trọng số đều phải được tải và sẵn sàng.

2-bit và 4-bit thực sự làm gì#

Hãy nghĩ đến một cây thước. Số bit quyết định nó có bao nhiêu vạch: 2 bit cho 4 vạch, 4 bit cho 16, 8 bit cho 256, và 16 bit thông thường cho 65.536. Lượng tử hóa làm tròn mọi trọng số đến vạch gần nhất. Ít vạch hơn nghĩa là tệp nhỏ hơn và sai số làm tròn lớn hơn trên mỗi con số.

Dưới đây là danh sách của Unsloth cho mô hình, cùng bộ nhớ (RAM cộng VRAM) cần thiết ở ngữ cảnh 16K cho một phiên. Kích thước là GB thập phân.

Cách đọc một tên: UD-Q2_K_XL là bản dựng Unsloth Dynamic ở khoảng 2 bit; chữ số là mức và các chữ cái là biến thể. Đừng làm phép tính với chữ số đó. Tệp 8-bit chỉ lớn khoảng 1,8 lần tệp 2-bit (259,1 ÷ 143,9 ≈ 1,8), không phải 4 lần. Hãy đọc kích thước trên trang tải xuống.

Bạn mất gì ở 2 bit#

Hãy so sánh với việc lưu một bức ảnh dưới dạng JPEG nhỏ hơn: phần lớn bức ảnh vẫn còn, và hư hại thể hiện ở chi tiết nhỏ. Unsloth báo cáo rằng tệp 2-bit của họ (143,9 GB) đạt mức đồng thuận có trọng số 91,5% với mô hình gốc trên bảy hạng mục: lập trình, toán, trò chuyện, công cụ, đa ngôn ngữ, suy luận và tác nhân.

Hãy đọc con số đó cẩn thận. Đó là thước đo của chính Unsloth, và trang không nêu rõ đường cơ sở hay cách tính trọng số, nên hãy coi đó là hướng dẫn thô chứ không phải một bài kiểm tra độc lập. Đồng thuận cũng không phải là độ chính xác: nó cho biết tệp nhỏ hoạt động giống tệp lớn đến mức nào, chứ không phải tần suất cả hai đúng. Những khác biệt nhỏ có thể cộng dồn qua một chuỗi bước dài, chẳng hạn một tác nhân thực hiện hai mươi lệnh gọi công cụ, nên hãy thử một bản lượng tử trên tác vụ của riêng bạn trước khi dựa vào nó. Các mức cao hơn giữ gần với bản gốc hơn và tốn nhiều bộ nhớ hơn.

Tải xuống hay gọi API?#

Giả sử bạn muốn thử mô hình sau khi đọc thông báo. Hãy chọn dòng giống với bạn.

Với dòng thứ ba, một yêu cầu là đủ để cảm nhận. Yêu cầu này gửi đến DeepSeek-V4-Flash, có cửa sổ ngữ cảnh 380K và trả lời dài tối đa 32.768 token, với một mức giá vào bất kỳ giờ nào trong ngày:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "In two sentences: what does open-weight mean?"}], "max_tokens": 200}'

Câu trả lời trả về trong choices[0].message.content, và trường usage cho bạn biết bạn đã trả tiền cho bao nhiêu token. Chưa rõ token là gì? Giải thích bằng ngôn ngữ đơn giản mất năm phút. MiniMax-M2.7 cũng có sẵn theo cách tương tự, với cửa sổ ngữ cảnh 180K và tối đa 8.192 token mỗi câu trả lời. Cả hai đều dùng API tương thích OpenAI/Anthropic, và một số dư bao trùm mọi mô hình.

Điều đó trông thế nào trên hóa đơn? Giả sử một bot hỗ trợ nhỏ gửi 2.000 yêu cầu mỗi ngày, mỗi yêu cầu có 1.500 token đầu vào và 500 token đầu ra. Một yêu cầu như vậy tốn $0.00015 trên MiniMax-M2.7. Đây là cả ngày cho mỗi mô hình, bên cạnh OpenRouter:

Tổng cộng, khi tính cả đầu vào và đầu ra, CheapTokens rẻ hơn OpenRouter. Giá hiện tại cho mọi mô hình có trên trang giá.

Nếu bạn có phần cứng và muốn so sánh tốc độ và chi phí chạy, Chạy DeepSeek cục bộ hoặc dùng API sẽ đi qua điều đó. Và hãy mong gặp lại những từ này sớm: trọng số mở cho Kimi K3.1 Pro dự kiến vào ngày 4 tháng 11, như bài đăng ra mắt của chúng tôi giải thích.