Що таке відкриті ваги? Пояснення 2-бітної та 4-бітної квантизації

Ви відкриваєте анонс моделі й бачите «open weights» поруч із файлом під назвою UD-Q2_K_XL. Коротка відповідь: open weights означає, що розробник опублікував файли моделі, тож будь-хто може їх завантажити й запустити. 2-bit означає, що кожне число всередині зберігається лише двома бітами: файл стає значно меншим, а модель трохи розмитішою. Якщо ви волієте уникнути завантаження, можете викликати моделі через API; документація CheapTokens показує перший запит.

Наведений нижче приклад реальний. Сторінка моделі MiniMax-M3.1-Flash від Unsloth (без дати; перевірено 27 жовтня 2026 року) перелічує файли GGUF від 129,4 ГБ до 259,1 ГБ для моделі, яку ми висвітлювали в пості про запуск M3.1 Flash. Кожен розмір і показник пам’яті тут узято з тієї сторінки.

Слова, які ви постійно зустрічаєте#

Уявіть мікшерний пульт із 428 мільярдами регуляторів. Тренування підкручує кожен регулятор, доки вихід не звучатиме правильно. Остаточне положення всіх регуляторів — це ваги моделі. Опублікуйте цей список — і маєте модель з відкритими вагами; залиште його на своїх серверах — і єдиний вхід буде через API.

Дві пастки для початківців. «Open-weight» не означає автоматично «безкоштовно для будь-якого використання»: це вирішує ліцензія, а сторінка Unsloth її не вказує, тож прочитайте картку моделі (MiniMaxAI/MiniMax-M3.1-Flash на Hugging Face), перш ніж будувати щось комерційне. І «безкоштовно завантажити» не означає «безкоштовно запускати», що показують наступні розділи.

Чому одна модель — це завантаження на 130–260 ГБ#

Кожна з тих 428 мільярдів ваг — це число, а числа займають місце. Орієнтовне правило: кількість × біти ÷ 8 = байти. Спробуйте, перш ніж читати далі.

Тепер масштабуймо. Навіть за 2 біти на вагу, 428 × 2 ÷ 8 = 107 ГБ — це мінімум для всієї моделі. Реальний 2-бітний файл має 143,9 ГБ, трохи вище мінімуму, тож число бітів у назві файлу — це радше мітка, ніж точний підрахунок.

Показник «23B активних» стосується швидкості, а не зберігання. Лише частина моделі працює над кожним токеном, що робить її швидкою, але ця частина змінюється від токена до токена, тож усі 428B ваг мають бути завантажені й чекати.

Що насправді роблять 2-біт і 4-біт#

Уявіть лінійку. Біти визначають, скільки на ній поділок: 2 біти дають 4 поділки, 4 біти — 16, 8 бітів — 256, а звичайні 16 бітів — 65 536. Квантизація округлює кожну вагу до найближчої поділки. Менше поділок означає менший файл і більшу похибку округлення для кожного числа.

Ось лінійка Unsloth для моделі з пам’яттю (RAM плюс VRAM), потрібною за контексту 16K для однієї сесії. Розміри в десяткових ГБ.

Як читати назву: UD-Q2_K_XL — це збірка Unsloth Dynamic приблизно на 2 бітах; цифра — це рівень, а літери — варіанти. Не робіть арифметику з цифрою. 8-бітний файл лише приблизно у 1,8 раза більший за 2-бітний (259,1 ÷ 143,9 ≈ 1,8), а не в 4 рази. Читайте розмір зі сторінки завантаження.

Чим ви жертвуєте на 2 бітах#

Порівняйте це зі збереженням фото як меншого JPEG: більшість зображення зберігається, а пошкодження проявляється в дрібних деталях. Unsloth повідомляє, що його 2-бітний файл (143,9 ГБ) досягає 91,5% зваженої узгодженості з оригінальною моделлю за сімома категоріями: програмування, математика, чат, інструменти, багатомовність, міркування та агентність.

Читайте це число уважно. Це власний показник Unsloth, і сторінка не уточнює базову лінію чи зважування, тож сприймайте його як приблизний орієнтир, а не незалежний тест. Узгодженість також не є точністю: вона каже, наскільки малий файл поводиться подібно до великого, а не як часто кожен із них правий. Малі відмінності можуть накопичуватися протягом довгого ланцюжка кроків, наприклад коли агент виконує двадцять викликів інструментів, тож спробуйте квантизацію на власному завданні, перш ніж покладатися на неї. Вищі рівні залишаються ближчими до оригіналу й коштують більше пам’яті.

Завантажити чи викликати API?#

Скажімо, ви хочете спробувати модель після прочитання анонсу. Виберіть рядок, який звучить як ви.

Для третього рядка достатньо одного запиту, щоб відчути, як це працює. Цей іде до DeepSeek-V4-Flash, який має контекстне вікно 380K і відповідає довжиною до 32 768 токенів, за однією ціною в будь-яку годину дня:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "In two sentences: what does open-weight mean?"}], "max_tokens": 200}'

Відповідь повертається в choices[0].message.content, а поле usage каже, за скільки токенів ви заплатили. Не впевнені, що таке токен? Пояснення простою мовою займе п’ять хвилин. MiniMax-M2.7 доступний так само, з контекстним вікном 180K і до 8 192 токенів на відповідь. Обидва використовують API, сумісний з OpenAI/Anthropic, і один баланс покриває кожну модель.

Як це виглядає в рахунку? Скажімо, маленький бот підтримки надсилає 2 000 запитів на день, кожен із 1 500 токенів на вході та 500 на виході. Один такий запит коштує $0.00015 на MiniMax-M2.7. Ось увесь день для кожної моделі поруч з OpenRouter:

Загалом, з урахуванням входу й виходу разом, CheapTokens виходить дешевшим за OpenRouter. Актуальні ціни для кожної моделі — на сторінці цін.

Якщо у вас є обладнання й ви хочете порівняти швидкість і витрати на запуск, Запуск DeepSeek локально або через API розбирає це. І очікуйте ці слова знову скоро: відкриті ваги для Kimi K3.1 Pro мають з’явитися 4 листопада, як пояснює наш пост про запуск.