ハルシネーション

ハルシネーションとは？

ハルシネーション（幻覚）は、AIモデル、特にLLM（大規模言語モデル）が、訓練データに存在しない、または完全に虚偽の情報を、あたかも事実であるかのように自信を持って生成する現象です。モデルが「もっともらしい」言語を生成する能力が高いあまり、その内容が正確であるかどうかの確認メカニズムが欠けているため生じます。これは技術的な「バグ」ではなく、大規模言語モデルの本質的な問題です。

ひとことで言うと： AIが「その情報が正しいか」を確認せずに、「もっともらしい答」を作り上げてしまう現象です。

ポイントまとめ：

何をするものか： AIが虚偽の情報や存在しない参照を自信を持って述べる
なぜ発生するか： LLMは「次に来そうな単語」を統計的に予測しており、事実の正確性を確認していない
なぜ問題か： ユーザーが信頼できる情報ソースとしてAIを使う場合、誤った意思決定につながる可能性がある

なぜ重要か

AIの信頼性と信用は、そのシステムが実社会で果たす役割に直結しています。医療診断の推奨、法的アドバイス、財務分析など、重要な領域でハルシネーションは致命的な影響をもたらす可能性があります。患者が「このAIが医学論文『Smith et al., 2023』に書かれている治療法を推奨した」と信じて実行したとき、その論文が実在しないことが発見された場合、深刻な医療上の危害と法的責任が発生します。

研究により、一般的なLLMは10～15%の確率でハルシネーション（重大な誤情報）を含む応答を生成することが示されています。小さな統計の誤りではなく、完全な虚偽です。OpenAIのGPT-4でさえ、特定のドメイン（専門的な知識が必要な領域）ではより高いハルシネーション率を示しています。

この問題は単なる技術的課題ではなく、AIシステムの信頼性が社会的課題になるにつれ、重要なビジネスリスクになっています。企業がAIを導入する場合、「このシステムは時々嘘をつく可能性がある」という前提で、ハルシネーション対策を組み込む必要があります。

仕組みをわかりやすく解説

ハルシネーションの根本原因を理解するには、LLMがどのように機能するかを知る必要があります。LLMは本質的に「確率的なテキストジェネレータ」です。モデルは訓練中に「ある文脈が与えられたとき、次に来そうな単語は何か」という確率分布を学習します。「『田中さんの著作は』と聞かれたとき、『Technology and Society』という本のタイトルが続くことが多い」のような学習です。

しかし、ここで重要なのは「その著作が実在するか」をモデルは確認していないということです。訓練データに「『田中さんの著作は『Technology and Society』です』という文が何度も出現すれば、モデルはそれが真実だと「考える」わけではなく、「統計的に続きやすい」と学習するだけです。実在しない本や論文についても同じことが起こり得ます。

具体的なプロセスを説明します。ユーザーが「量子コンピューティングに関する最近の論文を引用して説明して」と聞きます。モデルは「量子コンピューティング」に関する統計的パターンを見つけ、それに続きそうな「論文」「著者」「年号」を統計的に生成します。このプロセスで、モデルは「この論文は実在するか」を一切確認していません。訓練データに「Smith et al. (2023) ‘Quantum Supremacy Revisited’」というテキストが含まれていれば、それを引用します。含まれていなくても、似た構造の論文が含まれていれば、モデルは「この構造の論文が続くことは多い」という学習に基づいて、完全に作り上げた論文タイトルを述べることがあります。

これは、LLMが「理解」ではなく「パターンマッチング」をしているということを示しています。正しい情報も、見た目で区別できないのです。「確率的に続きやすい」は「正しい」と等価ではありません。

実際の活用シーン

医療相談システムでのハルシネーション

患者がAIメディカルアドバイザーに「この症状に対してどの臨床試験が利用可能ですか」と聞きます。AIが「Smith et al. (2024)による『Advanced Immunotherapy Trial #2024-45』」と答え、患者がそれを検索しても見つかりません。完全な虚構です。患者が実在しない臨床試験に登録しようとしたり、医師がそれに基づいて治療計画を立てたりすれば、深刻な問題が生じます。

法律相談システムでのハルシネーション

企業のコンプライアンス担当者が「日本の特定の契約法解釈について」と聞き、AIが「判例『X対Y事件（2020年東京地方裁判所）』では」と述べますが、その判例は実在しません。企業がこの「判例」に基づいて法的判断をすれば、後に実在しない判例を参照していたことが明らかになり、信用失墜と潜在的な法的問題につながります。

学術論文の引用ハルシネーション

学生がAIアシスタントに「人工知能倫理に関する主要な論文は」と聞き、AIが虚偽の論文を「重要な参考文献」として提供します。学生がそれを参考文献として論文に引用すれば、指導教官から「この論文を見つけられない」と指摘され、学生のクレジビリティが損なわれます。

メリットと注意点

ハルシネーションはメリットではなく、純粋な問題ですが、この課題に対する対抗策を理解することは重要です。RAG（検索拡張生成）により、ハルシネーション率を最大70%削減できることが示されています。モデルが参考資料を実際に検索し、その内容に基づいて生成するため、「作り上げた」情報が混入する確率が低下します。

ファクトチェッキングシステムの追加も有効です。モデルが生成した文を自動的に検証し、引用された情報が実在するかを確認します。また、Constitutional AIにより、「信頼できる情報源に基づいている場合のみ述べること」という規範をモデルに教えることで、より慎重な出力が得られます。

しかし、根本的な解決策はまだ存在しません。LLMの本質（確率的テキスト生成）自体が、この問題をもたらしています。そのため、現在の最良の慣行は「AIの出力を必ず人間が検証する」「特に重要な決定ではAIを補助的ツールとしてのみ使用する」「RAGや自動ファクトチェックシステムを導入する」ことです。

注意点としては、高度に訓練されたモデルほど、その生成がもっともらしく見えるため、ハルシネーションが検出されにくいということです。初心者ユーザーは、より高度なモデルの出力をより信頼する傾向がありますが、実際にはより高度なモデルの方が説得力のあるハルシネーションを生成する可能性があります。

よくある質問

Q: すべてのLLMはハルシネーションをしますか？ A: ほぼすべてのLLMが、ある程度のハルシネーションを引き起こします。モデルの規模、訓練データ、訓練方法（RLHF、Constitutional AI など）により確率が異なりますが、ゼロには達していません。より高度なモデルほど、ハルシネーション率は低い傾向ですが、完全には排除されていません。

Q: ハルシネーションを自動的に検出できますか？ A: 部分的には。LLM自体や別のシステムに「この情報は確認できますか」と聞くことで、いくつかのハルシネーションを検出できます。しかし、完全な自動検出は困難です。特に、「見た目で妥当な」ハルシネーションは、自動システムでさえ見分けられません。

Q: なぜAIメーカーはハルシネーション問題を完全に解決しないのですか？ A: 確率的テキスト生成の本質的な制限があります。「完全な正確性」と「柔軟な生成能力」はトレードオフの関係にあります。完全に安全なモデルは、同時により単調で、より創造的でなくなります。業界は現在、この問題とのバランスを探り続けており、完全な解決策はまだ見つかっていません。

ハルシネーション