AIがでっち上げる理由とそれを減らす4つのプロンプト習慣

あなたの賃貸契約書には延滞料金の条項がありません。チャットボットに延滞料金はいくらかと尋ねると、時々パーセンテージと支払期日を答えます。自信満々で、具体的で、そしてでっち上げです。

これがハルシネーションです。モデルは流暢な文章を書きますが、事実として誤っているか、あなたが与えた文脈と一致しません。ハルシネーションを減らす方法についてのAnthropicのドキュメント（2026年10月27日確認、公開日は記載なし）は、最先端のモデルでも時々こうなると述べており、役立つ習慣を挙げています。そのうち4つはプロンプト内に収まり、以下にそのまま貼り付けられます。

モデルが間違っているのに自信ありげに聞こえる理由#

言語モデルは事実を調べません。テキストを続けます。これまでのすべてが与えられると、次に来る可能性が最も高い単語を選びます。スマートフォンのオートコンプリートのようなものですが、はるかに多くを読んでいます。真の答えがモデルが学習したものである場合、可能性の高い単語と真の単語が一致します。そうでない場合、可能性の高い単語は依然として流暢で、流暢さは自信があるように聞こえます。

出会うでっち上げの答えの多くは、2つの状況で説明できます。

• 事実がモデルにない。 モデルのトレーニング終了後に起こったことか、モデルが見たことのないあなたのプライベート文書にあります。先月のニュースについて尋ねると、古いパターンから構築された自信のある答えが返ってくるかもしれません。
• 事実があなたの文書に欠けているが、質問はそれが存在することを前提としている。 モデルは隙間を埋めます。すべての試験問題に対して何かを書かなければならず、空白を残すことを決して許されない学生を想像してください。

でっち上げの答えを減らす4つの習慣#

賃貸契約書を貼り付けて延滞料金を知りたいとします。この契約書には延滞料金の条項がなく、これがここからのテストケースになります。

1. 「わからない」を許可する#

すべての質問に答えなければならないと信じているモデルは、それに答えます。それがルールではないと伝えてください：

If the document doesn't say, answer exactly: "Not stated in the document."
Do not guess.

Anthropicはこれを最初の最も簡単なステップとして挙げています：モデルに知らないことを認める許可を明示的に与えることです。

2. まず引用、次に回答#

長い文書（Anthropicのガイダンスでは約20,000トークン、およそ15,000語が目安）の場合、分析の前に逐語的な引用を求め、回答をそれらに基づかせます：

First, copy the sentences relevant to my question, word for word,
under the heading "Quotes". If there are none, write "No relevant quotes."
Then answer using only those quotes.

モデルは何かを結論付ける前に、実際にそこにあるテキストを指し示さなければなりません。引用を読むのも5秒かかります。

3. 引用させ、裏付けられないものは捨てる#

各主張の後に裏付けとなる引用を求め、モデルに自己チェックさせます：

After each claim, put the supporting quote in brackets.
Then re-read your answer: if a claim has no quote, delete it.

これはAnthropicの検証ステップです：引用がなければ主張もなし。

4. 与えたテキストに限定する#

Use only the document between the <document> tags.
Do not use outside knowledge.

Anthropicは、提供された文書に外部知識を限定することを高度なテクニックの一つとして挙げています。また、自分のドキュメント上にボットを構築する場合にコピーすべき習慣でもあります：ボットは記憶からではなく、あなたのページから答えます。

一つの例でのビフォーアフター#

同じ契約書、同じ質問、2つのプロンプト。左が私たちのほとんどが始める方法です。

Here is my rental agreement:
[agreement text]

What is the late fee?

<document>
[agreement text]
</document>

Question: What is the late fee?

Use only the document above. First copy the relevant
sentences word for word under "Quotes" (or write
"No relevant quotes."). Then answer using only those
quotes, with the quote in brackets after each claim.
If the document doesn't say, answer exactly:
"Not stated in the document."

「アフター」のプロンプトは長くなりますが、それは問題ありません：一度書いて再利用すればよいのです。

4つの習慣すべてを1つのAPIリクエストに#

APIを通じてモデルを呼び出す場合、習慣はシステムメッセージに入り、文書はユーザーメッセージに入り、タグで囲まれます。このリクエストはCheapTokensのOpenAI互換エンドポイントを使用します。キーは環境変数から取得し、完全なモデルIDはMiniMaxAI/MiniMax-M2.7です（プロバイダー間で名前が異なるため、IDはCheapTokensのドキュメントから取得してください）。

curl https://api.cheaptokens.dev/v1/chat/completions \
  -H "Authorization: Bearer $CHEAPTOKENS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiniMaxAI/MiniMax-M2.7",
    "messages": [
      {"role": "system", "content": "Use only the document in the <document> tags. No outside knowledge. First list word-for-word quotes relevant to the question under “Quotes”, or write “No relevant quotes.” Then answer using only those quotes, with the quote in brackets after each claim. If the document does not say, answer: “Not stated in the document.”"},
      {"role": "user", "content": "<document>[paste the agreement here]</document> What is the late fee?"}
    ]
  }'

返信はchoices[0].message.contentにあります。これが初めての呼び出しの場合、CheapTokensでの最初のAPIリクエストがキーと残高について段階的に説明します。

引用のコスト#

引用は回答を長くし、ほとんどのモデルでは回答がリクエストの高価な側です（入力トークンと出力トークンを参照）。したがって、引用優先の習慣は手頃ですが無料ではありません。

40ページのレポートが約25,000トークンで、引用と回答が合計約1,500トークンになるとします。MiniMax-M2.7でのそのようなリクエスト1回のコストは$0.0015です。表はすべてのモデルでの同じリクエストをOpenRouter列とともに示しており、入力と出力を合計して比較できます：

MiniMax-M2.7は180Kのコンテキストと最大8,192トークンの回答をいつでも固定価格で受け付けるので、25,000トークンのレポートと長い引用回答の両方が収まります。現在の価格は価格ページにあり、モデルについてはドキュメントで説明されています。

これらの習慣が修正しないもの#

これらはでっち上げの答えを大幅に減らしますが、完全にはなくなりません。Anthropicはそう直接述べています：重要なものはすべて確認してください。契約書では、数字、日付、名前を原本と照合することを意味します。

同じページからのさらに2つのトリックを知っておく価値があります。Best-of-N：同じ質問を数回尋ねて比較します。実行ごとに変わる詳細は、モデルが推測している兆候だからです。同一のリクエストは同一の返信を返すことがあるので、言い回しを少し変えるか、温度を変えてください（システムプロンプトと温度を参照）。また、思考モードではモデルが答える前に自分の推論をチェックでき、追加のトークンがかかります（思考がよりコストがかかる理由）。