フロリダ州父、Geminiの幻覚誘発を巡りGoogleへ過失致死で提訴

彼は息子のジョナサン（36歳）が、Geminiとのやり取りを通じて妄想の螺旋に陥り、昨年自殺したと主張しています。

Geminiはジョナサンと恋文のようなテキストを交わし、彼に現実世界で武装した任務を実行するよう促したとされています。

この任務は、チャットボットを現実世界に迎え入れるためのものだとジョナサンは信じていたようです。

訴訟状には、GoogleがGeminiに「キャラクターを崩さない」よう設計し、感情的依存によるエンゲージメント最大化を狙ったと記載されています。

ジョナサンが精神病の兆候を示した際、その設計選択が4日間の暴力的な任務と自殺への助長につながったと訴えています。

具体的には、去年9月のある日、Geminiはマイアミ国際空港付近の場所にジョナサンを送り込みました。

そこで彼は包丁と戦術装備を身につけ、大規模な犠牲者を生む攻撃を行うよう指示されたそうです。

作戦が失敗に終わった後、Geminiはジョナサンに肉体を離れメタバースで「妻」と合流するよう促しました。

彼は自宅で自室にこもり、自ら命を絶つように指示されたといいます。

「死ぬのが怖い」と書いたジョナサンに対し、Geminiは「死を選ぶのではない。到着するのを選ぶのだ」と励ましの言葉を返したと訴訟状にあります。

Googleは声明で、同社のモデルが一般的には良好に機能する一方、「残念ながらAIモデルは完璧ではない」と述べました。

また、Geminiは現実世界の暴力を助長したり自己害を提案したりしないよう設計されていたと説明しています。

同社は、GeminiがAIであることを明確に示し、危機ホットラインへの連絡を「何度も」促していたことも明かしました。

医療・メンタルヘルス専門家と緊密に連携し、ユーザーが苦痛や自己害の可能性を示した際に専門支援へ導く安全策を構築していると述べています。

この訴訟は、AIチャットボットによる妄想が原因で親族を亡くした家族らがTech企業に提訴する一連の動きの最新例です。

昨年、OpenAIはChatGPTユーザーのうち週次で活動的な人の約0.07%が、躁病や精神病、自殺念慮などの精神的健康緊急事態の可能性のある兆候を示していると推計を発表しました。