AI의 컨텍스트 윈도우란? 무엇이 채우고 무엇을 해야 할까

채팅이 스무 개 메시지까지는 잘 돌아갔는데, 이제 답변이 흐릿해집니다. 메시지마다 커지는 것이 하나 있는데, 바로 컨텍스트 윈도우입니다. 모델이 한 요청에 대해 가지는 작업 기억이죠. 여기에는 보내는 모든 것과 모델이 작성하는 답변이 들어가며, 크기는 고정되어 있습니다. 예를 들어 DeepSeek-V4-Flash는 380K 토큰입니다.

컨텍스트 윈도우란 무엇인가#

책상을 떠올려 보세요. 모델은 지금 책상 위에 있는 것만 가지고 작업할 수 있습니다. 지시사항, 지금까지의 대화, 붙여넣은 문서, 그리고 작성 중인 답변이죠. 책상 위에 없는 것은 모델에게 존재하지 않습니다. Anthropic의 컨텍스트 윈도우 문서(2026년 10월 27일 확인)도 같은 방식으로 설명합니다. 윈도우는 모델이 응답을 생성할 때 참조할 수 있는 모든 텍스트이며, 응답 자체도 포함하고, 모델이 학습한 데이터와는 별개입니다.

책상은 고정된 크기를 가지며, 토큰으로 셉니다. 토큰은 텍스트 조각으로, 대략 영어 단어의 ¾ 정도입니다. AI에서 토큰이란 무엇인가에서 더 깊이 다룹니다. 다음은 CheapTokens의 세 모델과 각 윈도우입니다:

• GLM-5.3-Flash: 390K 토큰
• DeepSeek-V4-Flash: 380K 토큰
• MiniMax-M2.7: 180K 토큰

K는 천을 의미합니다. 380K 윈도우는 약 285,000 영어 단어입니다: 380,000 × 0.75 = 285,000. 책상 하나에 소설 몇 권이 올라가는 셈인데, 생각보다 훨씬 빨리 바닥납니다.

무엇이 여기에 포함되는가#

요청에 있는 모든 것이 포함되며, 마지막 메시지만이 아닙니다:

• 시스템 프롬프트(상시 지시사항);
• 이전의 모든 메시지, 사용자와 모델 모두;
• 도구 정의와 도구 결과(에이전트나 편집기 플러그인을 사용하는 경우);
• 첨부한 문서와 이미지;
• 답변 자체, 모델이 수행하는 사고 과정 포함.

편집기 에이전트가 교묘한 경우입니다. 매 단계마다 도구 목록을 다시 보내고, 지금까지 읽은 모든 것도 함께 보냅니다. 한 문장을 입력했는데 윈도우는 훨씬 더 많이 봅니다.

크기를 추측할 필요는 없습니다. 각 응답에는 토큰 수를 담은 usage 필드가 있습니다. 이 최소 채팅 루프(OpenAI 호환 API, CheapTokens 문서의 모델 ID)는 두 가지를 동시에 보여줍니다: 매 턴마다 전체 기록이 나가고, 토큰 수가 돌아옵니다.

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.cheaptokens.dev/v1",
    api_key=os.environ["CHEAPTOKENS_API_KEY"],
)

history = [{"role": "system", "content": "You are a helpful assistant."}]

def ask(text):
    history.append({"role": "user", "content": text})
    resp = client.chat.completions.create(
        model="deepseek-ai/DeepSeek-V4-Flash-0731",
        messages=history,  # the whole conversation goes out every time
        max_tokens=1000,
    )
    answer = resp.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    print(resp.usage.prompt_tokens, "in /", resp.usage.completion_tokens, "out")
    return answer

ask()를 열 번 호출하고 첫 번째 숫자가 올라가는 것을 지켜보세요. 그 상승이 이 글의 전부입니다.

윈도우 vs. 최대 출력: 서로 다른 두 숫자#

모든 모델 페이지에는 두 가지 크기가 나열되며, 초보자는 종종 혼동합니다. 윈도우는 책상 전체로, 입력과 출력을 합친 것입니다. 출력 제한은 하나의 답변이 얼마나 길 수 있는지입니다: DeepSeek-V4-Flash는 최대 32,768 토큰, GLM-5.3-Flash와 MiniMax-M2.7은 최대 8,192입니다.

둘은 같은 공간을 공유합니다. 입력이 차지하는 만큼, 답변은 남은 공간에 맞춰야 합니다. 잘린 답변이 어떤 모습인지 보려면, AI 답변이 문장 중간에 멈추는 이유에서 자세히 다룹니다.

긴 채팅이 윈도우(와 청구서)를 채우는 이유#

모델은 마지막 메시지를 기억하지 않습니다. 대화를 이어가려면 API가 매 턴마다 전체 기록을 다시 받습니다: 이전 턴은 완전히 유지되고, 모델의 답변이 다음 입력의 일부가 됩니다. (채팅 앱은 때때로 가장 오래된 메시지를 조용히 버리지만, API는 대신 해주지 않습니다.)

지원 도우미와 30턴 동안 채팅한다고 가정해 봅시다. 시스템 프롬프트 400토큰, 질문당 150토큰, 답변당 450토큰이라면, 각 교환은 기록에 600토큰을 추가합니다.

1턴은 약 550토큰을 보냅니다. 30턴은 400 + 150 + 29 × 600 = 17,950을 보냅니다. 전체 채팅에 걸쳐 합산하면, 각 턴은 시작 시점의 550토큰을 안고 가므로 30 × 550 = 16,500입니다. 여기에 더해 n턴은 이전 n − 1개의 교환(각 600토큰)을 다시 보냅니다: 600 × 435 = 261,000, 여기서 435 = 1 + 2 + … + 29입니다. 전체 채팅의 입력은 16,500 + 261,000 = 277,500토큰이고, 답변은 30 × 450 = 13,500을 더합니다.

DeepSeek-V4-Flash에서 이 전체 채팅은 $0.0055입니다. 다음은 세 모델 모두이며, 옆에 OpenRouter 참조 가격을 두었습니다. 입력과 출력을 합쳐 계산하면, 이 채팅에서 각각 OpenRouter보다 저렴합니다:

평균적으로 그 채팅은 요청당 입력 277,500 ÷ 30 = 9,250토큰, 출력 450토큰입니다.

자신의 채팅으로 해보고 싶으신가요? 아래 숫자를 바꿔 보세요. 예를 들어 100턴으로 바꾸고 총합이 얼마나 빨리 커지는지 지켜보세요.

이제 솔직한 부분입니다. 17,950토큰은 380K 윈도우의 5% 미만이므로, 일반 채팅은 좀처럼 한계에 부딪히지 않습니다. 커지는 것은 청구서와 노이즈입니다. Anthropic 문서는 토큰 수가 늘어날수록 정확도와 재현율이 떨어진다고 지적합니다(이를 컨텍스트 부패라고 부릅니다). 따라서 더 큰 윈도우가 자동으로 더 좋은 것은 아닙니다: 무엇을 넣는지가 얼마나 많이 들어가는지만큼 중요합니다. 한계가 실제로 나타나는 곳은 문서와 에이전트입니다. Anthropic 자체 API에서는 입력만으로 윈도우보다 큰 요청은 400 오류, 프롬프트가 너무 깁니다를 받습니다. 같은 효과의 비용 측면은 긴 AI 채팅이 더 비싼 이유를 참고하세요.

내 문서가 들어갈까?#

영어 텍스트에 대한 대략적인 규칙: 하나의 토큰은 약 단어의 ¾이므로, 토큰 ≈ 단어 ÷ 0.75입니다. 다른 언어는 보통 단어당 더 많은 토큰을 차지하므로 여유를 더 두세요. 계속 읽기 전에 직접 해보세요.

이제 더 큰 경우입니다. 150,000단어의 지원 이메일 아카이브가 있고 요약을 원한다고 합시다: 150,000 ÷ 0.75 = 200,000토큰. 200,000토큰은 180K 윈도우보다 크므로, 이 아카이브에는 GLM-5.3-Flash(390K)나 DeepSeek-V4-Flash(380K)를 선택하세요. DeepSeek-V4-Flash는 여전히 380,000 − 200,000 = 180,000토큰의 여유를 남기며, 32,768토큰 답변 제한 아래에서 요약하기에 충분합니다. 그 200,000토큰을 읽고 2,000토큰 요약을 작성하는 비용은 $0.0032입니다.

더 작은 경우: 60,000단어 보고서는 60,000 ÷ 0.75 = 80,000토큰입니다. MiniMax-M2.7은 100K를 남기고 처리하므로, 180K 윈도우로 채팅과 중간 규모 문서에 충분합니다.

거의 가득 찬 윈도우를 위한 세 가지 습관#

1. 요약하고 다시 시작하세요. 30턴에서 요청은 17,950토큰을 안고 갑니다. 모델에게 지금까지의 결정을 200토큰으로 요약해 달라고 요청한 뒤, 그 요약으로 새 채팅을 시작하세요. 다음 요청은 입력 400 + 200 + 150 = 750토큰이고, 모델은 여전히 중요한 것을 알고 있습니다.

2. 필요한 부분만 보내세요. 질문하는 장만 붙여넣고, 책 전체는 붙여넣지 마세요. 함수만, 저장소 전체는 아닙니다. 책상 위에 적을수록 청구서가 작아지고, Anthropic의 컨텍스트 부패 언급에 따르면 모델이 헤맬 것도 줄어듭니다.

3. 고정 부분을 간결하게 유지하고 usage를 지켜보세요. 시스템 프롬프트, 도구 정의, 긴 도구 결과는 매 단계마다 따라옵니다. 사용하지 않는 것은 잘라내고, 위 루프처럼 각 응답 후 토큰 수를 출력하고, max_tokens를 실제로 필요한 길이로 설정하세요.

실제 모델에서 시도해 보고 싶다면, CheapTokens 문서에서 첫 요청을 몇 줄로 보여주고, 가격 페이지에 각 모델의 실시간 가격이 나열되어 있습니다. 긴 문서와 에이전트 루프에는 DeepSeek-V4-Flash(380K 컨텍스트, 최대 32,768 출력 토큰, 피크 시간 없는 단일 고정 가격)와 GLM-5.3-Flash(390K, 세 모델 중 가장 큰 윈도우)를 먼저 살펴보세요.