Bir AI yanıtı neden cümle ortasında durur? max_tokens, bağlam penceresi ve finish_reason açıklandı

Cümle ortasında kesilen bir yanıt neredeyse her zaman bir sınır tarafından kesilmiştir. Model düşünce akışını kaybetmedi; istek için yer kalmadı. Yanıt hangi sınır olduğunu söyler: finish_reason alanını okuyun. length bir sınıra ulaşıldığı anlamına gelir. stop modelin kendi kendine bitirdiği anlamına gelir.

Bir yanıtın ne kadar uzun olabileceğine üç şey karar verir. Hangisinin sizi etkilediğini bildiğinizde düzeltme bir dakika sürer.

Bir yanıtı kesen üç sınır#

• max_tokens istekte sizin belirlediğiniz bir üst sınırdır. Yanıt buna ulaştığında, kelimenin ortasında bile olsa üretim durur. DeepSeek'in API referansı bunu tamamlamada üretilen maksimum token sayısı olarak tanımlar.
• Modelin çıktı sınırı o modelden tek bir yanıt için üst sınırdır. Modele ait olduğundan max_tokens değerini bu sınırda veya altında tutun. Modellerimizin sayıları aşağıdaki tabloda.
• Bağlam penceresi tüm alışveriş için ayrılan yerdir: girdiniz ve yanıt birlikte. DeepSeek'in referansı, girdi ve üretilen token'ların birlikte modelin bağlam uzunluğuyla sınırlandığını söyler.

Token hâlâ belirsiz bir kavramsa, What is a token in AI? ile başlayın. Bu sayfa ne olduğunu bildiğinizi varsayar.

Önce finish_reason alanını okuyun#

Bir sohbet yanıtındaki her seçim bir finish_reason taşır. Yanında usage kaç token girdiğini ve çıktığını söyler.

Kesilmiş bir yanıtın tamamlanmış bir yanıtın yanında nasıl göründüğü aşağıda. İstek "In one short sentence, what is a token?" diye sordu, önce max_tokens 16 olarak, sonra 200 olarak ayarlandı.

Örnek amaçlı, kaydedilmiş bir yanıt değil: sayılarınız ve ek alanlarınız farklı olacaktır.

{
  "choices": [
    {
      "message": { "role": "assistant", "content": "A token is a small piece of text that a model reads and writes, usu" },
      "finish_reason": "length"
    }
  ],
  "usage": { "prompt_tokens": 21, "completion_tokens": 16, "total_tokens": 37 }
}

{
  "choices": [
    {
      "message": { "role": "assistant", "content": "A token is a small piece of text that a model reads and writes, usually a word or part of a word." },
      "finish_reason": "stop"
    }
  ],
  "usage": { "prompt_tokens": 21, "completion_tokens": 24, "total_tokens": 45 }
}

İlk yanıtta completion_tokens 16, tam olarak üst sınır ve metin "usu" ile bitiyor. İkincisinde model 24 token'da durdu, 200'lük üst sınırın çok altında, çünkü işi bitmişti.

Ne olduğunu anlamak için şu sırayla ilerleyin:

1. finish_reason alanına bakın. stop ise yanıt tamamdır. Model bitirmeyi seçti ya da sizin belirlediğiniz bir durdurma dizisine ulaştı. length ise bir sınır yanıtı kesti ve sonraki adım hangisi olduğunu söyler. content_filter ve tool_calls gibi başka değerler de vardır; ikisi de uzunluk sorunu değildir.
2. completion_tokens değerini gönderdiğiniz max_tokens ile karşılaştırın. Eşit veya neredeyse eşitse max_tokens sınırına ulaştınız.
3. completion_tokens değeri max_tokens değerinin çok altındaysa ve prompt_tokens büyükse, bağlam penceresi büyük olasılıkla dolmuştur. DeepSeek'in referansı her iki durum için de length kullanır, bu yüzden alan tek başına bunları ayıramaz; 2. adımdaki karşılaştırma ayırt etme yolunuzdur. Anthropic'in ve Z.ai'nin belgeleri ikinci durumu ayrı olarak model_context_window_exceeded diye adlandırır. Hangi adı aldığınızı görmek için kendi yanıtlarınızdaki alana bakın.

Üç açıklamanın tümü geliştiricilerin belgelerinden alınmıştır, 20 Ekim 2026'da kontrol edildi: DeepSeek, Anthropic ve Z.ai.

Düzeltme 1: max_tokens değerini artırın#

En yaygın neden aynı zamanda düzeltmesi en kolay olanıdır. max_tokens değerini kendiniz ayarlayın, böylece hangi üst sınırın geçerli olduğunu bilirsiniz. Varsayılana güvenmeyin.

from openai import OpenAI

client = OpenAI(base_url="https://api.cheaptokens.dev/v1", api_key="YOUR_API_KEY")

resp = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    messages=[{"role": "user", "content": "Write a detailed guide to setting up a home network."}],
    max_tokens=16000,  # example value: stay at or below the model's output limit
)

choice = resp.choices[0]
print(choice.finish_reason, resp.usage.completion_tokens)

Bu, çağrının şeklini gösterir. Anahtar burada YOUR_API_KEY olarak girilir; gerçek bir anahtarı paylaştığınız koddan uzak tutun.

Sayıyı artırmak yalnızca modelin kendi sınırına kadar yardımcı olur. CheapTokens üzerindeki sınırlar aşağıda, 20 Ekim 2026'da CheapTokens model listesine göre kontrol edildi:

Geliştiriciler kendi API'leri için kendi sınırlarını yayımlar. Örneğin Z.ai, GLM-5 serisi için 128K'ya kadar çıktı listeler. Bunlar GLM-5.3-Flash'in CheapTokens üzerindeki sınırları değildir, o yanıt başına 8.192 token'dır. CheapTokens üzerinde geliştirdiğiniz her şey için yukarıdaki tabloyu kullanın.

Düzeltme 2: bağlam penceresi dolduğunda#

Bir sohbette tüm geçmiş her mesajla birlikte yeniden gönderilir, bu yüzden girdi her turda büyür. Bağlam penceresi bu geçmişi artı yeni yanıtı tutmalıdır. Geçmiş tek başına neredeyse tamamını kaplıyorsa yanıt için neredeyse hiç yer kalmaz.

Bu pencereler büyüktür ve kısa bir soru onları doldurmaz. Uzun sohbetler ve yapıştırılan belgeler doldurur. Yardımcı olanlar:

• Eski bir sohbeti sürdürmek yerine yeni bir görev için yeni bir sohbet başlatın.
• Modelden şimdiye kadarki konuşmayı özetlemesini isteyin ve yalnızca özeti ileri taşıyın.
• Artık ihtiyaç duymadığınız eski mesajları ve ekleri kesin.
• Girdinin kendisi çok büyükse en büyük pencereli modeli seçin. Bizimkiler arasında bu, 390K ile GLM-5.3-Flash'tir. Çıktı sınırı 8.192 token'dır, bu yüzden uzun bir sonucu parçalar halinde isteyin.

Düzeltme 3: uzun bir yanıtı parçalar halinde alın#

İstediğiniz yanıt modelin çıktı sınırından uzunsa hiçbir ayar onu tek bir yanıta sığdırmaz. Parçalar halinde isteyin: finish_reason değeri length olduğunda kısmi yanıtı geri gönderin ve modelden devam etmesini isteyin.

messages = [{"role": "user", "content": "Write a detailed guide to setting up a home network."}]
parts = []

for _ in range(4):  # example limit: at most 4 rounds
    resp = client.chat.completions.create(
        model="zai-org/GLM-5.3-Flash",
        messages=messages,
        max_tokens=8000,  # example value: below this model's output limit
    )
    choice = resp.choices[0]
    parts.append(choice.message.content)
    if choice.finish_reason != "length":
        break
    messages.append({"role": "assistant", "content": choice.message.content})
    messages.append({"role": "user", "content": "Continue exactly where you stopped. Don't repeat anything."})

text = "".join(parts)

Aynı uyarı: desenin bir örneği, kaydedilmiş bir çalıştırma değil. Parçalar arasındaki dikişleri okuyun. Bir model bazen bir cümleyi tekrarlar ya da birleşme noktasında bir listeyi baştan başlatır.

Her tur şimdiye kadarki her şeyi girdi olarak yeniden gönderir ve her çıktı token'ı faturalandırılır. Uzun bir yanıt kısa olandan daha pahalıdır. İşte 2.000 token girdi üzerinde sekiz bin token'lık bir yanıt, bu tablodaki her modele sığar:

finish_reason stop olduğunda#

stop modelin yanıtı bitirdiği anlamına gelir. İstediğinizden erken bitirdiyse bu bir sınır sorunu değildir ve daha büyük bir max_tokens hiçbir şeyi değiştirmez. Ne istediğinizi söyleyin: uzunluğu, bölümleri, ayrıntı düzeyini. Ayrıca isteğin bir stop parametresi ayarlayıp ayarlamadığını kontrol edin; yanıtta görünen bir durdurma dizisi onu anında bitirir.

Yanıt uzunluğuna göre model seçmek#

İhtiyacınız olan yanıttan başlayın. 8.192 token'a sığıyorsa MiniMax-M2.7 (MiniMaxAI/MiniMax-M2.7) bunu CheapTokens üzerinde halleder. Çıktısı OpenRouter referans fiyatından daha ucuzdur ve $0.15 üzerinden faturalandırılır (1M çıktı token'ı başına). Fiyat her saatte aynıdır, yoğun saatler yoktur ve API OpenAI ve Anthropic uyumludur.

Her model için güncel fiyat listesi aşağıda:

Henüz bir istek göndermediyseniz, Your first API request with CheapTokens süreci adım adım anlatır. Token'ın ne olduğu ve girdi ile çıktının neden ayrı sayıldığı için What is a token in AI? sayfasına bakın.

Her model için uç noktalar, model kimlikleri ve sınırlar CheapTokens docs içinde.