ハルシネーションとは？
ハルシネーションとは、幻覚や妄想の意味を持つ英語の”hallucination”に由来する言葉です。
大規模言語モデルにおけるハルシネーションとは、そのモデルが実際には存在しない事実やデータを生成してしまう現象を指します。
つまり、モデルが誤った情報を「信じ込んで」それに基づいて回答を生成してしまうことです。
具体例として、次のようなケースが挙げられます。
- 事実と異なる情報を生成する
- 存在しない人物や出来事について語る
- 実在する人物や事象について誤った記述をする
- 論理的に整合性がとれない出力を生成する
- 前後で矛盾する記述をする
- 因果関係が不自然な文章を書く
- 常識から外れた危険な主張や提案をする
- 違法行為や倫理に反する内容を含む
- 科学的根拠がない仮説を主張する
この現象は、モデルが訓練中に収集した情報の中から誤った結論を導き出すか、または入力されたプロンプトの文脈を誤解してしまうことによって起こります。
ハルシネーションの種類
大規模言語モデルにおけるハルシネーションは、Intrinsic Hallucinations(内的ハルシネーション)とExtrinsic Hallucinations(外的ハルシネーション)の2種類に大別されます。
Intrinsic Hallucinations
モデルが生成する内容が元のテキストや外部の知識に反する場合に発生します。
これは、学習データに基づいているが、事実とは異なる情報を生成するケースです 。
例えば、偏った事前学習データから偽りの事実を「覚えてしまう」ことで発生します。
Extrinsic Hallucinations
ソースコンテンツから検証できないLLMの生成を指します。
学習データに存在しない事実をAIが生成するケースであり、事実なのか判断できない出力結果のことです 。
入力したプロンプトの曖昧さや意図した解釈とは異なる解釈をモデルがしてしまうことで発生します。
おわりに
人間も勘違いや間違いを起こすように、生成AIも完全にハルシネーションを無くすことは難しいです。
生成AIの利用者は、AIが完全に正しい情報を出力するわけではなく、ハルシネーションが起こり得ることを理解しておく必要があります。
AIが提供する情報を盲信せず、批判的に吟味するスキルが求められます。
