ひとことで言うと

ハルシネーション

AIが作り話や誤った情報を本当のことのように答える現象で、自信のある言い方や明確な指示だけでは防げない。

内蔵用語集の説明