Bakit nag-iimbento ang AI at 4 na gawi sa prompt na nagbabawas nito

Walang late-fee clause ang rental agreement mo. Tatanungin mo ang isang chatbot kung magkano ang late fee, at minsan sasagot ito ng isang porsyento at isang due date. Kumpiyansa, tiyak, at gawa-gawa lang.

Iyon ay isang hallucination: nagsusulat ang modelo ng matatas na teksto na mali sa katotohanan o hindi tugma sa kontekstong ibinigay mo. Sinasabi ng dokumentasyon ng Anthropic tungkol sa pagbabawas ng hallucinations (sinuri ang pahina noong 27 Oktubre 2026; wala itong petsa ng publikasyon) na ginagawa ito minsan ng kahit pinaka-advanced na mga modelo, at inililista nito ang mga gawi na nakakatulong. Apat sa mga ito ay kasya sa isang prompt, at maaari mong i-paste ang mga ito kung paano ang mga ito sa ibaba.

Bakit kumpiyansa ang isang modelo kapag mali ito#

Hindi naghahanap ng mga fact ang isang language model. Nagpapatuloy ito ng teksto: ibinigay ang lahat ng nasa ngayon, pinipili nito ang mga salitang malamang na susunod. Isipin ang autocomplete sa iyong telepono, mas malawak lang ang nabasa. Kapag ang totoong sagot ay isang bagay na natutunan ng modelo, nagtutugma ang malamang na mga salita at ang totoong mga salita. Kapag hindi, matatas pa rin ang malamang na mga salita, at ang matatas ay parang kumpiyansa.

Dalawang sitwasyon ang nagpapaliwanag ng marami sa mga gawa-gawang sagot na makikita mo:

• Wala ang fact sa modelo. Nangyari ito pagkatapos ng pagtatapos ng training ng modelo, o nasa iyong pribadong dokumento na hindi pa nakita ng modelo. Magtanong tungkol sa balita noong nakaraang buwan at maaaring makakuha ka ng kumpiyansang sagot na binuo mula sa mas lumang mga pattern.
• Nawawala ang fact sa iyong dokumento, pero ipinapalagay ng tanong na mayroon ito. Pinupuno ng modelo ang puwang. Isipin ang isang estudyanteng kailangang magsulat ng isang bagay para sa bawat tanong sa exam at hindi kailanman pinapayagang mag-iwan ng blangko.

Apat na gawi na nagbabawas ng mga gawa-gawang sagot#

Sabihin nating nag-paste ka ng isang rental agreement at gusto mo ang late fee. Walang late-fee clause ang agreement na ito, at ito ang magiging test case natin mula ngayon.

1. Payagan ang "Hindi ko alam"#

Ang isang modelong naniniwala na dapat sagutin ang bawat tanong ay sasagutin ito. Sabihin sa kanya na hindi iyon ang tuntunin:

If the document doesn't say, answer exactly: "Not stated in the document."
Do not guess.

Inililista ito ng Anthropic bilang ang una, pinakasimpleng hakbang: tahasang bigyan ang modelo ng pahintay na aminin na hindi nito alam.

2. Quote muna, sagot pagkatapos#

Para sa mahahabang dokumento (ang gabay ng Anthropic ay naglalagay ng linya sa mga 20,000 token, humigit-kumulang 15,000 salita), humingi ng salita-sa-salitang quote bago ang anumang pagsusuri, at gawing nakasalalay ang sagot sa mga ito:

First, copy the sentences relevant to my question, word for word,
under the heading "Quotes". If there are none, write "No relevant quotes."
Then answer using only those quotes.

Kailangang ituro ng modelo ang tekstong talagang naroon bago ito maghinuha ng anuman. Ang pagbasa ng mga quote ay tumatagal din sa iyo ng limang segundo.

3. Ipag-cite, at alisin ang hindi kayang suportahan#

Humingi ng sumusuportang quote pagkatapos ng bawat claim, pagkatapos ipasuri sa modelo ang sarili nito:

After each claim, put the supporting quote in brackets.
Then re-read your answer: if a claim has no quote, delete it.

Ito ang hakbang ng verification ng Anthropic: walang quote, walang claim.

4. Limitahan ito sa tekstong ibinigay mo#

Use only the document between the <document> tags.
Do not use outside knowledge.

Inililista ng Anthropic ang paglilimita ng panlabas na kaalaman sa mga ibinigay na dokumento sa mga advanced na teknik nito. Ito rin ang gawi na dapat kopyahin kung gumagawa ka ng bot sa iyong sariling mga doc: sumasagot ang bot mula sa iyong mga pahina, hindi mula sa memorya.

Bago at pagkatapos sa isang halimbawa#

Parehong agreement, parehong tanong, dalawang prompt. Ang kaliwa ay kung paano tayo karamihan nagsisimula.

Here is my rental agreement:
[agreement text]

What is the late fee?

<document>
[agreement text]
</document>

Question: What is the late fee?

Use only the document above. First copy the relevant
sentences word for word under "Quotes" (or write
"No relevant quotes."). Then answer using only those
quotes, with the quote in brackets after each claim.
If the document doesn't say, answer exactly:
"Not stated in the document."

Ang prompt na "pagkatapos" ay mas mahaba, at ayos lang iyon: isinulat mo ito nang isang beses at ginagamit muli.

Lahat ng apat na gawi sa isang API request#

Kung tumatawag ka ng modelo sa pamamagitan ng API, napupunta ang mga gawi sa system message at ang iyong dokumento sa user message, nakabalot sa mga tag. Gumagamit ang request na ito ng CheapTokens OpenAI-compatible endpoint; ang key ay nagmumula sa isang environment variable, at ang buong model id ay MiniMaxAI/MiniMax-M2.7 (kunin ang mga id mula sa CheapTokens docs, dahil nagkakaiba ang mga pangalan sa pagitan ng mga provider).

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiniMaxAI/MiniMax-M2.7",
    "messages": [
      {"role": "system", "content": "Use only the document in the <document> tags. No outside knowledge. First list word-for-word quotes relevant to the question under “Quotes”, or write “No relevant quotes.” Then answer using only those quotes, with the quote in brackets after each claim. If the document does not say, answer: “Not stated in the document.”"},
      {"role": "user", "content": "<document>[paste the agreement here]</document> What is the late fee?"}
    ]
  }'

Ang sagot ay nasa choices[0].message.content. Kung ito ang iyong unang tawag, ang Your first API request with CheapTokens ay naglalakad sa key at sa balance nang hakbang-hakbang.

Magkano ang quoting#

Pinapahaba ng quoting ang sagot, at sa karamihan ng mga modelo ang sagot ang mas mahal na bahagi ng isang request (tingnan ang input vs output tokens). Kaya ang quote-first na gawi ay mura sa halaga ngunit hindi libre.

Sabihin nating ang isang 40-pahinang ulat ay mga 25,000 token at ang mga quote kasama ang sagot ay umaabot sa mga 1,500. Ang isang ganoong request sa MiniMax-M2.7 ay nagkakahalaga ng $0.0015. Ipinapakita ng talahanayan ang parehong request sa bawat modelo, na may column ng OpenRouter, para makapaghambing ka sa kabuuan, kasama ang input at output na binibilang nang magkasama:

Tumatanggap ang MiniMax-M2.7 ng 180K context at hanggang 8,192 token sa isang sagot sa isang fixed na presyo sa anumang oras, kaya kasya ang isang 25,000-token na ulat at isang mahabang quoted na sagot. Ang mga kasalukuyang presyo ay nasa pricing page, at ang mga modelo ay inilalarawan sa docs.

Ano ang hindi naaayos ng mga gawing ito#

Binabawasan nila nang malaki ang mga gawa-gawang sagot, pero hindi nila ito inaalis. Sinasabi ito ng Anthropic nang direkta: suriin ang anumang mahalaga. Sa isang kontrata, ibig sabihin nito ang mga numero, petsa at pangalan, laban sa orihinal na pahina.

Dalawang pang trick mula sa parehong pahina ang sulit malaman. Best-of-N: itanong ang parehong tanong nang ilang beses at ihambing, dahil ang isang detalyeng nagbabago sa bawat run ay senyales na nanghuhula ang modelo. Ang isang magkaparehong request ay maaaring bumalik bilang magkaparehong sagot, kaya baguhin nang kaunti ang pananalita o ang temperature (tingnan ang system prompt and temperature). At ang isang thinking mode ay nagpapahintulot sa modelo na suriin ang sariling pangangatwiran bago ito sumagot, na nagkakahalaga ng dagdag na token (why thinking costs more).