Thinking tokens trong một công việc hàng loạt: effort, giới hạn, ngân sách theo giai đoạn

Thinking tokens được tính như output tokens và chúng được tính vào max_tokens ngay cả khi bạn không bao giờ thấy chúng. Vì vậy, hóa đơn của một công việc lớn phụ thuộc vào việc mô hình suy nghĩ bao nhiêu, chứ không chỉ vào độ dài câu trả lời hiển thị của nó. Hai đòn bẩy quan trọng là giới hạn output và chia nhỏ công việc: một mô hình rẻ cho lượt xử lý hàng loạt, một mô hình mạnh hơn chỉ cho bước lắp ghép.

Nếu agent của bạn chạy mười phút và hóa đơn lớn hơn nhiệm vụ, đây là nơi đầu tiên cần xem xét.

Một thinking token trông như thế nào trên hóa đơn#

Lấy một bộ phân loại trả lời keep hoặc drop cho mỗi bình luận. Câu trả lời hiển thị là một từ duy nhất; hãy dự trù khoảng 20 output tokens cho nó. Giả sử mô hình lý luận trước và dành 600 tokens để làm việc đó. Bạn thấy 20 tokens trên màn hình và trả tiền cho 620.

Trang effort của Anthropic (kiểm tra ngày 5 tháng 11 năm 2026) nói rõ điều này: thinking được tính vào max_tokens ngay cả khi nội dung thinking không được trả về, và max_tokens là giới hạn cứng cho tổng output, thinking cộng với văn bản phản hồi. Phía output cũng là phía có giá cao hơn trên mỗi token, đó là lý do điều này gây đau.

Nhân điều đó với 40.000 bình luận và phần vô hình là phần lớn của hóa đơn. Để biết những điều cơ bản về hai phía của một yêu cầu, xem input vs output tokens.

Effort: một núm vặn, không phải ngân sách#

API Messages của Anthropic đặt effort bằng output_config.effort. Không có giá trị, mặc định của mô hình sẽ được áp dụng. Các mức là max, xhigh, high, medium và low. Mặc định là high trên hầu hết các mô hình; Claude Opus 5.5 và Claude Haiku 5.5 mặc định là medium.

Ba chi tiết từ cùng trang đó đáng ghi nhớ:

• Effort áp dụng cho mọi output token, dù có thinking hay không. Effort thấp hơn cũng có nghĩa là ít lệnh gọi công cụ hơn và ngắn gọn hơn, điều này quan trọng với agent.
• low phù hợp với các tác vụ đơn giản hơn và subagent.
• Effort là một tín hiệu hành vi, không phải ngân sách token nghiêm ngặt. Nó thúc đẩy mô hình; nó không hứa hẹn một con số. Giới hạn cứng là max_tokens.

Vì vậy effort là núm vặn cho việc mô hình cố gắng đến mức nào, và giới hạn output là hàng rào. Bạn muốn cả hai ở nơi chúng có sẵn. Để có câu chuyện đơn giản về lý do thinking tốn kém hơn, có một phiên bản dành cho người mới: reasoning effort and thinking tokens explained.

Một pipeline thực tế: một mô hình chỉ đạo, mô hình khác làm phần lớn#

Andrej Karpathy, nhà nghiên cứu AI và đồng sáng lập OpenAI, đã mô tả pipeline video HN của mình vào ngày 31 tháng 10 năm 2026 (bài đăng). Claude Opus 5.5 ở effort Medium, mặc định của nó, đã tải xuống tất cả bình luận Hacker News, thu hẹp chúng thành khoảng 40.000 bình luận đề xuất một video YouTube, và xây dựng một trang web với 6.454 video từ 2007 đến 2026 trên 150 chủ đề. Sonnet chạy qua các bình luận trong một quy trình Claude Code để lọc spam và tìm các đề xuất. Theo lời kể của ông, toàn bộ việc này hiện mất khoảng hai giờ.

Bài đăng không đưa ra số lượng token và không có chi phí, nên không có gì để trích dẫn về giá. Điều nó cho thấy là hình dạng: mô hình mạnh hơn ngồi ở trên cùng với effort trung bình và quyết định xây dựng gì; một mô hình rẻ hơn xử lý phần lặp đi lặp lại. Hãy chú ý nơi token đi. Chỉ đạo là một vài bước lớn, hiếm. Lọc là hàng chục nghìn bước nhỏ, giống hệt nhau.

Cách chia tương tự hoạt động với bất kỳ cặp mô hình nào. Nếu bạn muốn chính prompt lọc, nó nằm trong filtering 40K comments with an LLM; để quyết định yêu cầu nào đi đến mô hình nào, xem model routing, cheap first.

Ước tính lượt xử lý hàng loạt#

Đây là giả định của riêng chúng tôi, không phải số liệu của Karpathy: 40.000 bình luận, khoảng 150 input tokens mỗi cái (hướng dẫn cộng bình luận) và khoảng 20 output tokens mỗi cái (một nhãn và vài từ).

• Input: 40.000 × 150 = 6.000.000 tokens
• Output: 40.000 × 20 = 800.000 tokens

Trên DeepSeek-V4-Flash, lượt đó tốn $0.17. Bảng hiển thị cùng khối lượng công việc trên mọi mô hình chúng tôi phục vụ; tổng cộng, với input và output được tính cùng nhau, mỗi mô hình đều rẻ hơn OpenRouter.

Bây giờ để mô hình suy nghĩ 600 tokens mỗi bình luận trước khi trả lời, vậy 620 output tokens mỗi mục: 40.000 × 620 = 24.800.000 output tokens. Cùng lượt đó trên DeepSeek-V4-Flash trở thành $2.57. Cùng input, và nếu mô hình suy nghĩ 600 tokens mỗi bình luận, phía output tăng ba mươi mốt lần. Việc thinking đó có đáng hay không là do đánh giá của riêng bạn quyết định; với một từ giữ/bỏ, đó là điều đầu tiên cần kiểm tra ở mức thấp hơn hoặc với giới hạn.

Hãy thử với số liệu của riêng bạn: tokens mỗi yêu cầu và số lượng yêu cầu, và máy tính sử dụng giá trực tiếp.

Các đòn bẩy bạn có thể kéo ngay hôm nay#

Các API khác nhau cung cấp các điều khiển thinking khác nhau, vì vậy đây là những cái hoạt động ở mọi nơi: một giới hạn cứng, một hướng dẫn trả lời ngắn và chia giai đoạn.

Một yêu cầu tối thiểu cho lượt xử lý hàng loạt trên CheapTokens. URL cơ sở là https://api.cheaptokens.dev/v1 và id mô hình là id đầy đủ từ tài liệu:

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V4-Flash-0731",
    "max_tokens": 1024,
    "messages": [
      {"role": "system", "content": "Reply with exactly one word: keep or drop."},
      {"role": "user", "content": "Comment: this talk on compilers changed how I think, youtube.com/watch?v=example"}
    ]
  }'

Đọc usage.completion_tokens trong phản hồi: con số đó là hóa đơn output của bạn cho yêu cầu. Giới hạn rào cả thinking và câu trả lời hiển thị cùng nhau. Nếu finish_reason là length và nội dung trống, giới hạn đã được dùng hết trước khi câu trả lời xuất hiện: hãy tăng nó lên, hoặc yêu cầu câu trả lời ngắn hơn. Kiểm tra usage.completion_tokens trên một vài bình luận, sau đó đặt giới hạn cao hơn một chút so với mức tối đa thực tế. Chi tiết về giới hạn và chuỗi dừng nằm trong cut output tokens, và việc cắt giữa câu được giải thích trong why an answer stops mid-sentence.

DeepSeek-V4-Flash cho phép tối đa 32.768 output tokens mỗi câu trả lời với ngữ cảnh 380K, vì vậy giới hạn 1.024 là một lựa chọn, không phải giới hạn. GLM-5.3-Flash (8.192 output, ngữ cảnh 390K) và MiniMax-M2.7 (8.192 output, ngữ cảnh 180K) phù hợp với cùng mô hình. Chọn giới hạn theo từng giai đoạn.

Để xem toàn bộ trên một trang, bảng giá trực tiếp nằm tại CheapTokens pricing, và định dạng yêu cầu nằm trong tài liệu.

Effort theo giai đoạn: một quy tắc ngắn#

Bắt đầu thấp ở lượt xử lý hàng loạt và tăng từng giai đoạn một. Giữ con số mà đánh giá của riêng bạn nói là đáng giá, không phải con số nghe có vẻ an toàn nhất. Mô hình mạnh nên thấy một tập nhỏ, đã được lọc; mô hình rẻ nên thấy mọi thứ còn lại.