Açık ağırlıklar nedir? 2-bit ve 4-bit niceleme açıklandı

Bir model duyurusunu açıyorsunuz ve UD-Q2_K_XL adlı bir dosyanın yanında “açık ağırlıklar” ifadesini görüyorsunuz. Kısa cevap: açık ağırlıklar, geliştiricinin modelin dosyalarını yayımladığı anlamına gelir; böylece herkes bunları indirip çalıştırabilir. 2-bit ise içindeki her sayının yalnızca iki bit ile saklandığı anlamına gelir: dosya çok daha küçülür ve model biraz daha bulanıklaşır. İndirmeyi atlamayı tercih ederseniz, modelleri bunun yerine bir API üzerinden çağırabilirsiniz; CheapTokens belgeleri ilk isteği gösterir.

Aşağıdaki örnek gerçektir. MiniMax-M3.1-Flash için Unsloth’un model sayfası (tarihsiz; 27 Ekim 2026’da kontrol edildi), M3.1 Flash lansman yazısında ele aldığımız bir model için 129,4 GB ile 259,1 GB arasında GGUF dosyaları listeler. Buradaki her boyut ve bellek rakamı o sayfadan gelir.

Sürekli karşılaştığınız kelimeler#

428 milyar kadranlı bir miksere sahip olduğunuzu hayal edin. Eğitim, çıktı doğru ses çıkana kadar her kadranı iter. Tüm kadranların son konumu modelin ağırlıklarıdır. Bu listeyi yayımlarsanız açık ağırlıklı bir modeliniz olur; kendi sunucularınızda tutarsanız tek giriş yolu bir API’dir.

Yeni başlayanlar için iki tuzak. “Açık ağırlık” otomatik olarak “her kullanım için ücretsiz” değildir: lisans belirler ve Unsloth’un sayfası bunu belirtmez, bu yüzden ticari bir şey inşa etmeden önce model kartını (Hugging Face’te MiniMaxAI/MiniMax-M3.1-Flash) okuyun. Ve “indirmesi ücretsiz” demek “çalıştırması ücretsiz” demek değildir; bunu sonraki bölümler gösterir.

Bir model neden 130–260 GB’lık bir indirme?#

Bu 428 milyar ağırlığın her biri bir sayıdır ve sayılar yer kaplar. Kural şudur: adet × bit ÷ 8 = bayt. Devamını okumadan önce deneyin.

Şimdi ölçeği büyütün. Ağırlık başına 2 bitte bile, 428 × 2 ÷ 8 = 107 GB tüm model için alt sınırdır. Gerçek 2-bit dosya 143,9 GB’dır, yani alt sınırın biraz üzerindedir; bu nedenle bir dosya adındaki bit sayısı kesin bir sayıdan çok bir etikettir.

“23B aktif” rakamı depolamayla değil hızla ilgilidir. Her token üzerinde modelin yalnızca bir dilimi çalışır, bu da onu hızlı kılar; ancak dilim tokendan tokene değişir, bu yüzden 428B ağırlığın tamamı yüklenmiş ve bekliyor olmalıdır.

2-bit ve 4-bit gerçekte ne yapar#

Bir cetvel düşünün. Bitler kaç işareti olduğunu belirler: 2 bit 4 işaret verir, 4 bit 16, 8 bit 256 ve olağan 16 bit 65.536. Niceleme her ağırlığı en yakın işarete yuvarlar. Daha az işaret, daha küçük bir dosya ve her sayıda daha büyük bir yuvarlama hatası demektir.

İşte model için Unsloth’un ürün yelpazesi; tek bir oturum için 16K bağlamda ihtiyaç duyduğu bellekle (RAM artı VRAM) birlikte. Boyutlar ondalık GB’dır.

Bir adı okumak: UD-Q2_K_XL yaklaşık 2 bitte bir Unsloth Dynamic derlemesidir; rakam seviyedir ve harfler varyantlardır. Rakamla aritmetik yapmayın. 8-bit dosya 2-bit olanın yalnızca yaklaşık 1,8 katıdır (259,1 ÷ 143,9 ≈ 1,8), 4 katı değil. Boyutu indirme sayfasından okuyun.

2 bitte nelerden vazgeçersiniz#

Bunu bir fotoğrafı daha küçük bir JPEG olarak kaydetmekle karşılaştırın: resmin çoğu hayatta kalır ve hasar ince ayrıntılarda ortaya çıkar. Unsloth, 2-bit dosyasının (143,9 GB) yedi kategoride (kodlama, matematik, sohbet, araçlar, çok dilli, akıl yürütme ve ajan tabanlı) orijinal modelle %91,5 ağırlıklı uyum sağladığını bildirir.

Bu rakamı dikkatle okuyun. Bu Unsloth’un kendi ölçümüdür ve sayfa temel çizgiyi veya ağırlıklandırmayı açıkça belirtmez, bu yüzden bunu kaba bir kılavuz olarak görün, bağımsız bir test olarak değil. Uyum aynı zamanda doğruluk değildir: küçük dosyanın büyük olana ne kadar benzer davrandığını söyler, ikisinin de ne sıklıkla doğru olduğunu değil. Küçük farklar uzun bir adım zinciri boyunca birikebilir; örneğin yirmi araç çağrısı yapan bir ajan gibi. Bu yüzden bir niceleme sürümüne güvenmeden önce kendi görevinizde deneyin. Daha yüksek seviyeler orijinale daha yakın kalır ve daha fazla belleğe mal olur.

İndirmeli mi, API mi çağırmalı?#

Duyuruyu okuduktan sonra modeli denemek istediğinizi varsayalım. Size benzeyen satırı seçin.

Üçüncü satır için, nasıl hissettirdiğini görmek adına bir istek yeterlidir. Bu istek, 380K bağlam penceresine sahip ve günün her saatinde tek fiyatla 32.768 token’a kadar yanıt veren DeepSeek-V4-Flash’e gider:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "deepseek-ai/DeepSeek-V4-Flash-0731", "messages": [{"role": "user", "content": "In two sentences: what does open-weight mean?"}], "max_tokens": 200}'

Yanıt choices[0].message.content içinde döner ve usage alanı kaç token için ödeme yaptığınızı söyler. Token’ın ne olduğundan emin değil misiniz? Sade İngilizce açıklama beş dakika sürer. MiniMax-M2.7 de aynı şekilde kullanılabilir; 180K bağlam penceresi ve yanıt başına 8.192 token’a kadar. Her ikisi de OpenAI/Anthropic uyumlu bir API kullanır ve tek bir bakiye her modeli kapsar.

Bu bir faturada nasıl görünür? Küçük bir destek botunun günde 2.000 istek gönderdiğini, her birinde 1.500 giriş ve 500 çıkış token’ı olduğunu varsayalım. Böyle bir istek MiniMax-M2.7’de $0.00015 tutar. İşte her model için tüm gün, OpenRouter’ın yanında:

Toplamda, giriş ve çıkış birlikte sayıldığında CheapTokens OpenRouter’dan daha ucuz çıkar. Her model için güncel fiyatlar fiyatlandırma sayfasında bulunur.

Donanımınız varsa ve hız ile çalıştırma maliyetlerini karşılaştırmak istiyorsanız, DeepSeek’i yerel olarak çalıştırın veya bir API kullanın bunu ele alır. Ve bu kelimelerle yakında tekrar karşılaşmayı bekleyin: Kimi K3.1 Pro’nun açık ağırlıklarının 4 Kasım’da gelmesi bekleniyor; lansman yazımız bunu açıklıyor.