DeepSeek, DeepInfer'ı açık kaynak yaptı: nedir ve kimler kendi barındırmalı

20 Ekim 2026'da DeepSeek, DeepInfer'ı GitHub'da (deepseek-ai/DeepInfer) Apache License 2.0 altında yayımladı. Bu, DeepSeek modelleri için çıkarım (inference) çerçevesidir. README'ye göre DeepSeek'in büyük ölçekli üretim hizmetlerini çalıştırıyor. Yayın tarihi, bir Telegram özeti aracılığıyla aktarılan @deepseek_ai gönderisinden geliyor; README'nin kendisinde tarih yok.

DeepInfer nedir#

DeepInfer, bir modeli GPU veya NPU'larda hızlı çalıştıran koddur. Ne bir model ne de barındırılan bir hizmettir. Desteklenen tek model DeepSeek-V4.1-Flash'tir. Varsayılan olarak ilk çalıştırmada deepseek-ai/DeepSeek-V4.1-Flash-1017 kontrol noktasını Hugging Face önbelleğine indirir. Ağırlıklar zaten elinizdeyse, yerel bir kopya kullanmak için DEEPINFER_HF_MODEL_DIR değişkenini ayarlayın.

Kutunun içinde neler var#

README şu özellikleri listeliyor:

• optimize edilmiş çekirdekler;
• yük dengelemeli veri, bağlam ve uzman paralelliği;
• güven tabanlı doğrulamayla spekülatif kod çözme;
• prefill için sınırlı kayan pencere yeniden oynatma;
• eşzamansız zamanlama;
• toplu değişmez çıkarım ve deterministik örnekleme;
• yapılandırılmış çıktılar: regex, JSON şeması ve dilbilgisi.

Bu özelliklerin birçoğu yalnızca NVIDIA'ya özgüdür.

Neler dahil değil#

Bu sürüm yalnızca çevrimdışı çıkarım sunar. README, tam bir çıkarım hizmetinin ayrıca bir KV önbellek sistemi, prefill/decode ayrıştırması ve yük dengeleme gerektirdiğini ve bunların sürüme dahil olmadığını belirtiyor. Yani motoru alırsınız, tüm üretim yığınını değil. Kullanıcılar için bunu bir API'nin arkasına koymak, kendinizin yapacağı bir iştir.

Donanım ve kurulum#

Yayımlanan kıyaslamalar (prefill ve decode Pareto grafikleri) prefill için 4 SM100 GPU'da, decode için 64 GPU'da ölçüldü; her biri tek bir ölçeklendirme alanı içinde. Grafikler görsel olduğundan, işlem hacmi veya gecikme sayıları vermiyoruz. Ayrıca DeepInfer'ın herhangi birinin API fiyatını değiştirip değiştirmediğine dair verimiz yok, bu yüzden böyle bir iddiada bulunmuyoruz.

Kendiniz çalıştırmalı mısınız?#

Zaten SM100 veya Ascend 950 donanımı işletiyorsanız, ağırlıklar üzerinde tam kontrole ya da deterministik veya toplu değişmez davranışa ihtiyaç duyuyorsanız veya kendi sunum katmanınızı oluşturmak istiyorsanız, kendi barındırma mantıklıdır. Kıyaslama kurulumu (decode için düzinelerce GPU), çerçevenin neye göre ayarlandığını gösteriyor: büyük ölçekli sunum.

Uygulamanızda yalnızca DeepSeek ailesi çıktısına ihtiyacınız varsa, çerçeve üstlenmek için çok fazla altyapı demektir. Bir API çağırmak daha basittir: GPU yok, eşleştirilecek CUDA veya CANN sürümü yok.

Aynı tür görev için bir API seçeneği#

Kendi GPU kümenizi çalıştırmak istemiyorsanız, CheapTokens üzerindeki MiniMax-M2.7 sohbet, kodlama ve ajan görevlerini bir API üzerinden şu özelliklerle yürütür:

• tüm modeller için tek bakiye ve OpenAI ile Anthropic uyumlu bir API;
• yanıt başına 8.192'ye kadar çıktı token'ı ve 180K bağlam;
• yoğun saatler olmadan model başına sabit fiyat;
• giriş ve çıktı birlikte sayıldığında toplamda OpenRouter'dan daha ucuz.

1M token başına güncel fiyatlar: giriş $0.05, çıktı $0.15. İstek başına 2.000 giriş ve 500 çıktı token'ından oluşan örnek bir iş yükü, 1.000 istek:

Modelin kendisinde nelerin değiştiğini görmek için DeepSeek-V4.1-Flash-1017 makalesine bakın.

Sonuç#

DeepInfer, üretim çıkarım kodunun gerçek bir açık sürümü, ancak yalnızca çevrimdışı ve belirli donanıma (NVIDIA SM100 veya Ascend 950) bağlı. Bu donanıma ve bir sunum ekibine sahip ekipler bunu ilginç bulacaktır. Çoğu geliştirici bir API çağırmaya devam edecek ve kendi token karışımları için maliyetleri karşılaştıracaktır.