専門家たちがAIによる初の大規模災害がいつ発生するかを議論している間、テクノロジーコミュニティは深刻なAI関連事故が既に発生していることを指摘している。この議論により、十分な監視体制なしにAIシステムが重要な状況に配備され、実際の結果をもたらしているという憂慮すべきパターンが明らかになった。
交通機関 vs AI 災害のタイムライン:
- 初の機関車（1825年）→ 初の大規模鉄道災害（1842年）：17年
- 初の旅客飛行（1908年）→ 初の航空災害（1919年）：11年
- ChatGPT リリース（2022年11月）→ 初の大規模 AI 災害：まだ発生していない
軍事AIシステムが既に大量の死傷者と関連
最も衝撃的な例は Gaza での軍事応用から来ており、 Israel の Lavender AIシステムが爆撃目標の特定に使用されている。報告によると、人間のオペレーターは通常、攻撃を承認する前にAIが生成した各目標をわずか20秒しか検討しない。このシステムは約10%のケースでエラーを起こすことが知られており、時には武装グループとほとんどまたは全く関係のない個人をマークすることがある。
Israeli Defense Forces は、AI の推奨に基づいて行動する際、戦闘員1人に対して民間人20人という死傷者比率を受け入れていると報告されている。これは従来の標的選定方法からの劇的な変化を表しており、人的コストのため、このような作戦は以前は高位の標的に対してのみ実施されていた。
報告された AI エラー率:
- Israel の Lavender AI システム：標的識別において約10%のエラー率
- 人間による検証時間：AI が生成した標的1件あたり通常20秒
- 受け入れられている死傷者比率：民間人対戦闘員で最大20対1
政府機関がAIを使用して偽の研究を生成
軍事応用を超えて、AIの幻覚が複数のレベルで政府政策に浸透している。 Norway のある自治体は、AIが完全に捏造した研究を引用して学校の閉鎖と統合を正当化するためにAIツールを使用した。偽の研究は実在の研究者の名前を使用したが、彼らの研究を完全に捏造した。この欺瞞は、調査ジャーナリストが引用された研究者に直接連絡を取った時にのみ明らかになった。
このパターンは主要な政府機関にも及んでいる。 US Department of Health and Human Services は最近、存在しない研究への引用を含む報告書を発表し、虚偽情報を含むAI生成コンテンツが公式チャンネルを通じてどれほど広く拡散しているかについて懸念を引き起こした。
「世界中で他にどのようなことが起こったのか疑問に思わせる。怠惰な政策立案者や官僚が ChatGPT を使って報告書を書くことで仕事を手抜きしたり、さらに悪いことに、自分たちの目標を支持する偽の研究を作り上げるためにこれらのツールを悪意を持って使用したりしたのではないか。」
政府におけるAIハルシネーションの事例:
- Norway の自治体：AIが実在する研究者名を使用して学校研究を捏造
- US Department of Health and Human Services ：存在しない研究引用を含む報告書を公表
- White House の「 Make America Healthy Again 」報告書：疑わしい引用を含むAI生成コンテンツが発見される
説明責任のギャップが拡大
テクノロジーコミュニティは、AIの誤動作とAIによって可能になった人間の過失との間の重要な区別を強調している。政府や組織が既にイデオロギー的に決定した判断を正当化するためにAIを使用する場合、技術は結果を改善するためのツールではなく、責任を回避するためのツールになる。
この説明責任のギャップは、AIエージェント（推奨を提供するだけでなく、自律的に行動を取ることができるシステム）がより能力を持つようになるにつれて特に懸念される。各行動に人間の承認を必要とする従来のAIアプリケーションとは異なり、これらのエージェントは独立して動作でき、人間が介入できる前に連鎖的な障害を引き起こす可能性がある。
結論
仮想的な将来の災害を待つのではなく、証拠はAIシステムが既に実世界のアプリケーションで重大な害を引き起こしていることを示唆している。課題は、AIがいつ初めて問題を引き起こすかを予測することではなく、不適切な監視と説明責任措置が既に深刻な結果をもたらしていることを認識することである。AI能力が拡大し、配備が加速するにつれて、これらの既存の失敗に対処することがますます緊急になっている。