Багатоходовий чат з API: повторно надсилайте масив messages

Ваше друге запитання отримує дивну відповідь, бо API ніколи не бачив першого. Модель нічого не зберігає між запитами, тож чат — це те, що ви будуєте: після кожної відповіді ви додаєте її до списку під назвою messages і надсилаєте весь список знову. Ось і весь трюк, а нижче — робочий цикл на Python для нього проти OpenAI-сумісного API CheapTokens.

Дві офіційні документації описують те саме. Довідка Anthropic Messages API (перевірено 30 жовтня 2026) називає API stateless і багатоходовим: попередні ходи передаються в параметрі messages. Посібник OpenAI з генерації тексту (перевірено 30 жовтня 2026) радить зберігати контекст, надсилаючи попередні ходи як повідомлення з ролями та додаючи кожну відповідь перед наступним запитом.

Чому друге запитання отримує порожній погляд#

Скажімо, ви вводите What is a token?, читаєте відповідь, а потім вводите Explain it shorter. Для вас "воно" очевидне. Для API запит номер два — це однорядкове повідомлення від незнайомця: немає ніякого "воно", нема чого скорочувати. Ви отримаєте здогадку або зустрічне запитання, а не коротше пояснення.

Рішення — зробити так, щоб запит два ніс усе, що мав запит один, плюс відповідь, плюс нове запитання. Порівняйте два payload'и:

messages = [
    {"role": "user", "content": "Explain it shorter"},
]

messages = [
    {"role": "user", "content": "What is a token?"},
    {"role": "assistant", "content": "<the first answer>"},
    {"role": "user", "content": "Explain it shorter"},
]

Три ролі роблять усю роботу. system задає правила один раз (тон, довжина, для чого бот). user — це те, що ввела людина. assistant — це те, що модель сказала раніше. Модель читає список згори донизу і пише наступне повідомлення assistant.

Цикл чату в кілька рядків#

Встановіть SDK командою pip install openai і тримайте ключ у змінній середовища, як описано в як безпечно зберігати API-ключ. Базовий URL і id моделі беруться з документації CheapTokens та GET /v1/models (докладніше в перелік моделей, щоб знайти точний id). Для навчального циклу GLM-5.3-Flash — гарний вибір: контекст 390K і до 8 192 вихідних токенів на відповідь.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)
MODEL = "zai-org/GLM-5.3-Flash"

messages = [
    {"role": "system", "content": "You are a patient tutor. Keep answers under 80 words."},
]

while True:
    question = input("you> ").strip()
    if question in ("", "exit"):
        break
    messages.append({"role": "user", "content": question})

    response = client.chat.completions.create(
        model=MODEL,
        messages=messages,
        max_tokens=400,
    )
    answer = response.choices[0].message.content
    messages.append({"role": "assistant", "content": answer})

    print(answer)
    print(f"[input tokens this turn: {response.usage.prompt_tokens}]")

Запустіть його, запитайте What is a token?, потім Explain it shorter. Друга відповідь тепер посилається на першу. Останній рядок друкує usage.prompt_tokens — вхідну частину рахунку за цей хід; спостерігайте, як вона зростає з кожним запитанням.

Порядок усередині циклу має значення, і саме тут початківці найчастіше помиляються:

Пропустіть крок 4 — і модель забуде власні відповіді, тож "поясни коротше" спрацює один раз, а потім знову зламається на третьому запитанні.

Як виглядає список після двох ходів#

Після What is a token? та Explain it shorter список, який тримає ваш код, має п'ять елементів: системне правило, перше запитання, перша відповідь, друге запитання, друга відповідь. Наступний запит надішле всі п'ять плюс третє запитання.

Системне повідомлення надсилається щоразу. API не "зберігає" його на своєму боці; це просто перший елемент списку. Посібник OpenAI (перевірено 30 жовтня 2026) зазначає, що інструкції застосовуються лише до поточного запиту, — це та сама ідея з іншого боку. Якщо хочете налаштувати це перше повідомлення, дивіться системний промпт і temperature пояснено.

Що відбувається з вхідними токенами, коли чат зростає#

Кожен запит знову платить за весь список як за вхід. Хід 1 надсилає системне правило й одне запитання; хід 10 надсилає правило, дев'ять попередніх пар запитання-відповідь і нове запитання. Тож вхід зростає з кожним ходом, навіть якщо кожне ваше повідомлення коротке.

Скажімо, чат на 10 ходів із такими припущеннями: системне правило — близько 50 токенів, кожне запитання — близько 150, кожна відповідь — близько 250. Хід 1 надсилає 50 + 150 = 200 вхідних токенів. Кожен наступний хід додає ще одну пару на 400 токенів (150 + 250 = 400), тож загальний вхід за десять ходів становить 200 × 10 + 400 × 45 = 20 000 токенів, де 45 — це 0 + 1 + … + 9. Вихід — 250 × 10 = 2 500 токенів. Десять повідомлень від вас, а вхід у вісім разів більший за вихід.

Ось увесь цей чат, оцінений за живими тарифами, 20 000 токенів на вході та 2 500 на виході:

У підсумку, з урахуванням входу й виходу разом, GLM-5.3-Flash і DeepSeek-V4-Flash коштують тут менше, ніж в OpenRouter, і обидві тримають одну ціну в будь-яку годину. Якщо хочете відповіді довші за 8 192 токени в тому самому циклі чату, DeepSeek-V4-Flash дозволяє до 32 768 вихідних токенів на відповідь із контекстом 380K; замініть id моделі на deepseek-ai/DeepSeek-V4-Flash-0731 — і більше нічого в циклі не зміниться.

Глибша історія про витрати — в чому довгий AI-чат коштує дорожче; вхідні vs вихідні токени пояснює, чому ці дві сторони тарифікуються окремо.

Як тримати довгий чат під контролем#

Список не може рости вічно: він має вміщатися у вікно контексту моделі (див. що таке вікно контексту), і кожен зайвий хід коштує входу. Дві звички тримають його розумним для прототипу:

• Обрізайте найстаріші ходи. Зберігайте системне повідомлення й останні кілька пар, наприклад messages = messages[:1] + messages[-8:] перед кожним запитом. Відкидайте пари разом, щоб запитання ніколи не втрачало своєї відповіді.
• Починайте новий список для нової теми. Нове завдання не потребує історії старого.

Бот підтримки з довготривалим набором правил — це той самий цикл: системне повідомлення задає правила один раз, кожен хід користувача й відповідь додаються, а ви обрізаєте, коли список стає важким. Щодо самого першого запиту дивіться ваш перший API-запит із CheapTokens; перелік моделей і ціни — на сторінці цін.