ここ1、2年の間にAIを利用したことがある人なら、誰しも一度は妙な経験をしているはずです。AIに対して、存在しない歴史上の人物や、架空の法律について尋ねたとき、あたかも教科書に載っているかのような堂々とした筆致で、100%嘘のデタラメな回答を返してきた、という経験です。
この、AIが平気で、かつきわめて「もっともらしい嘘」をつく現象は、専門用語で「ハルシネーション（幻覚）」と呼ばれています。
多くの人は、この現象を「AIのデータがまだ足りないための、一時的なシステムエラーやバグ（欠陥）」だと捉えがちです。開発企業も日々このハルシネーションを減らす技術改良を行っていますが、実はこの現象こそが、AIという道具の「仕組みの本質」と「模倣の限界」を最も雄弁に暴き出している鍵なのです。
なぜAIは、これほど堂々と、精巧な嘘をつくのでしょうか。
理由はシンプルです。第1章でも触れたように、AIは「真実を探求している」のではなく、ただ「それっぽい言葉の並びを計算している」だけだからです。
AIの頭脳（プログラム）にあるのは、「正しいか、間違っているか」という真偽の基準ではありません。「この質問の後に、このような文体で言葉を並べると、いかにも人間が書いた解説文らしく見えるか」という確率の基準だけです。
たとえば、実在しない「織田信長の5番目の息子」について尋ねると、AIは「そんな人物はいない」と答える代わりに、過去の歴史文書のパターン（「○年生まれ」「○○の戦いで活躍」といった形式）を器用に再構成し、架空の人物の伝記をその場で、もっともらしく「創作」してしまいます。AIにとっては、真実を語っているときも、大嘘をついているときも、内部で行っている「次に来る確率の高い単語を選ぶ」という計算処理は1ミリも変わっていません。
ここに、AIの模倣が持つ決定的な限界があります。
人間が嘘をつくときは、たいてい「騙そう」という意図や、都合の悪い事実を「隠そう」という目的（意志）があります。裏を返せば、人間は「何が真実で、何が嘘か」を頭の中で明確に分かっているからこそ、嘘をつくことができるのです。
しかしAIには、そもそも「真実」という概念自体がありません。彼らは自分が「嘘をついている」という自覚すらなく、ただ人間が残した言葉の「型（パターン）」を完璧に模倣して出力しているだけなのです。
ハルシネーションは、AIがどれほど進化し、滑らかな言葉を操るようになっても、その本質が「確率による予測装置」である限り、構造上完全にゼロにすることはできません。
このもっともらしい嘘は、私たちに重要な事実を教えてくれます。それは、「人間らしく見える流暢な振る舞い」と「物事の真偽を正しく理解する知性」は、全くの別物であるということです。AIが吐き出す、完璧な文法で書かれた嘘の文章を前にしたとき、私たちは彼らが言葉の「意味」を何一つ理解していないという冷厳な事実に、改めて直面せざるを得ないのです。