ハルシネーションとは
Hallucination
幻覚
もっともらしい嘘
生成AIが、事実ではないことを、事実のような書きぶりで出力してしまう現象です。存在しない論文名・条文・数値・URLなどが典型です。
AIは「それらしい続き」を計算しているため、知らないことについても、形式的にはもっともらしい答えを作ってしまいます。分からないと言うより、埋めるほうが「それらしい」からです。
厄介なのは、間違いが自信ありげに出る点です。日付・固有名詞・数値・出典は、特に注意が必要です。
対策の基本は3つです。①事実は人が用意して渡す(RAG などの仕組みを使う)、②出典を必ず示させる、③重要な数値・固有名詞は必ず一次情報で裏を取る。
実務での使いどころ
「調べてもらう」より「渡した資料から整えてもらう」ほうが、はるかに安全です。社内文書やPDFを読み込ませて答えさせる形にすれば、事実の出どころが固定されます。
間違えやすいところ
「新しいモデルなら起きない」わけではありません。頻度は下がっても、仕組み上ゼロにはなりません。確認する工程を省いてよい理由にはなりません。
関連する用語
- 大規模言語モデル — 膨大な量の文章を学習し、「次に来る言葉」を高い精度で予測できるようにしたモデルです。ChatGPT や Claude、Gemini などの土台になっています。
- RAG(検索拡張生成) — AIに答えさせる前に、社内文書などから関連する箇所を検索して渡し、その内容にもとづいて回答させる仕組みです。
- AIガバナンス — 組織としてAIをどう使うかを定め、守られているかを確認し、問題が起きたときに対処できる状態にしておく取り組みです。