Ogranicz tokeny wyjściowe: długość odpowiedzi, max_tokens, sekwencje stop

Twój bot odpowiada w 400 tokenach, gdy wystarczyłoby 100, a Ty płacisz za każdy z nich. Rozwiązanie tkwi głównie w prompcie: poproś o ograniczony format, traktuj max_tokens jako bezpiecznik, a nie pokrętło długości, i sprawdzaj usage.completion_tokens, aby zobaczyć, co faktycznie wróciło.

Ma to znaczenie, ponieważ wyjście jest droższą stroną w każdym modelu, który oferujemy: zobacz aktualne ceny na stronie cennika. To samo pytanie, krótsza odpowiedź, mniejszy rachunek.

Zacznij od promptu, nie od limitu#

Załóżmy, że prowadzisz bota wsparcia z 2000 zgłoszeń dziennie. Każde zgłoszenie wymaga kategorii i jednego zdania uzasadnienia. Model pozostawiony sam sobie pisze przyjazny akapit, listę zastrzeżeń i ofertę dalszej pomocy. To tam trafia 400 tokenów.

Sztuczka polega na tym, że opisujesz kształt odpowiedzi: liczbę linii, zamkniętą listę etykiet, limit słów. "Bądź zwięzły" działa gorzej niż "dwie linie, 15 słów", ponieważ model ma coś konkretnego do policzenia. Jeśli potrzebujesz tylko etykiety, poproś o etykietę i nic więcej. Klasyfikator, który musi zwrócić billing, nie powinien mieć możliwości się tłumaczyć.

To samo dotyczy ekstrakcji JSON. Gdy model opakowuje Twój JSON w prozę, proza jest wyjściem, za które płacisz, a potem wyrzucasz. Umieść "Zwróć tylko obiekt JSON, bez tekstu przed nim ani po nim" w wiadomości systemowej. Aby sparsować to, co wraca, zobacz jak wyodrębnić JSON z odpowiedzi LLM.

max_tokens to pas bezpieczeństwa#

Kusi, aby ustawić max_tokens: 100 i uznać sprawę za załatwioną. Nie oczekuj od tego krótkich odpowiedzi. Dokumentacja API DeepSeek (sprawdzona 2 listopada 2026) opisuje max_tokens jako maksymalną liczbę tokenów, które mogą zostać wygenerowane w uzupełnieniu, przy czym wejście plus wyjście są ograniczone długością kontekstu modelu. To zatrzymuje generowanie. Nie sprawia, że model planuje krótszą odpowiedź.

Więc model, który chciał napisać 400 tokenów, a dostał 100, wręcza Ci zdanie, które kończy się w połowie, finish_reason ustawione na length, i rachunek za wszystkie 100 tokenów. Zapłaciłeś za odpowiedź, której nie możesz użyć. Dlaczego tak się dzieje i jak to naprawić, opisano w dlaczego odpowiedź AI urywa się w połowie zdania i poprawka finish_reason "length". Nie będę tego tutaj powtarzać.

Działający podział jest prosty:

• prompt decyduje, jak długa jest dobra odpowiedź;
• max_tokens znajduje się nieco powyżej najdłuższej dobrej odpowiedzi, więc wymykająca się odpowiedź zostanie ucięta, zamiast rosnąć do limitu wyjścia modelu (do 32 768 tokenów w DeepSeek-V4-Flash).

Dla dwuliniowej odpowiedzi na zgłoszenie 150 to aż nadto. Dla jedno słownej etykiety 20.

Sekwencje stop kończą odpowiedź na znaczniku#

W dokumentacji DeepSeek stop przyjmuje do 16 sekwencji, a generowanie zatrzymuje się, gdy model miałby wyprodukować jedną z nich. Gdy to nastąpi, finish_reason wynosi stop, tak samo jak przy naturalnym zakończeniu. Jest to przydatne, gdy Twój format ma znacznik końca. Poproś o odpowiedź, potem linię z END, i umieść END w stop. Przetestuj to raz na własnej konfiguracji: wykonaj jedno wywołanie i sprawdź, że finish_reason to stop, a tekst kończy się przed znacznikiem.

Jedna zasada: tekst stop musi być czymś, co nie może pojawić się wewnątrz dobrej odpowiedzi. Stop na \n\n ucina dwuakapitową odpowiedź po pierwszym akapicie.

Żądanie, które możesz uruchomić i zmierzyć#

Oto ograniczone wywołanie zgłoszenia. Identyfikator modelu to pełny gateway_id z dokumentacji CheapTokens, a bazowy URL to https://api.cheaptokens.dev/v1. Dokumentacja pokazuje, jak utworzyć klucz; umieść go w zmiennej środowiskowej.

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 150,
    "messages": [
      {"role": "system", "content": "Reply with exactly two lines. Line 1: the category, one of billing, bug, other. Line 2: a reason in at most 15 words. No greeting."},
      {"role": "user", "content": "My card was charged twice for order 1182."}
    ]
  }'

W odpowiedzi liczą się dwie rzeczy: choices[0].finish_reason oraz obiekt usage z prompt_tokens i completion_tokens. W Pythonie z pakietem openai wygląda to tak:

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)

r = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V4-Flash-0731",
    max_tokens=150,
    messages=[
        {"role": "system", "content": "Reply with exactly two lines. Line 1: the category, one of billing, bug, other. Line 2: a reason in at most 15 words. No greeting."},
        {"role": "user", "content": "My card was charged twice for order 1182."},
    ],
)

print(r.choices[0].message.content)
print(r.choices[0].finish_reason, r.usage.completion_tokens)

Uruchom to na dziesięciu prawdziwych zgłoszeniach, zanim zaufasz formatowi. Jeśli completion_tokens pozostaje małe, a finish_reason zawsze wynosi stop, to prompt wykonuje robotę. Jeśli widzisz length, Twój limit jest poniżej tego, czego potrzebuje dobra odpowiedź: podnieś go lub zaostrz prompt, ale nie oba na ślepo.

Jeśli finish_reason nie jest stop, najpierw spójrz na limit.

Ile to oszczędza na 1000 żądań#

Teraz rachunek. Załóżmy, że zgłoszenie plus instrukcje to 300 tokenów wejściowych, otwarta odpowiedź to 400 tokenów wyjściowych, a ograniczona to 100. To założenia do przykładu; podmień liczby z własnego usage. Na 1000 żądań to 300 × 1000 = 300 000 tokenów wejściowych w obu przypadkach oraz 400 × 1000 = 400 000 tokenów wyjściowych w porównaniu do 100 × 1000 = 100 000.

Otwarte odpowiedzi, 1000 żądań:

Ograniczone odpowiedzi, 1000 żądań:

Strona wejściowa się nie zmienia i to jest sedno: tylko część, którą skróciłeś, staje się tańsza, a to ta część z wyższą ceną. Na model, te same 1000 zgłoszeń kosztuje $0.0445 w wersji otwartej i $0.0145 w wersji ograniczonej na DeepSeek-V4-Flash. W sumie, licząc wejście i wyjście razem, wszystkie trzy modele z tabel wychodzą taniej niż cena referencyjna OpenRouter. Dla krótkich odpowiedzi wybierz model z powyższych tabel: porównaj wiersze dla własnego wejścia i wyjścia. GLM-5.3-Flash ($0.04 za 1 mln tokenów wyjściowych) pasuje tam, gdzie odpowiedzi pozostają dłuższe, do 8192 tokenów; strona DeepSeek ma resztę.

Kolejność, w jakiej bym to zastosował#

Krok 4 to ten, który ludzie pomijają. Bez niego nie wiesz, czy zmiana promptu zadziałała, czy kilka długich odpowiedzi zawyża średnią. Jeśli już śledzisz wydatki, podejście do liczenia tokenów w Pythonie i tokeny wejściowe vs wyjściowe to dobry punkt do kontynuacji.