OpenAI の最新 GPT モデルが幻覚の増加で警鐘

人工知能は近年目覚ましい進歩を遂げていますが、最新世代の言語モデルには懸念すべき傾向が現れています。 OpenAI の内部テストによると、同社の最新かつ最も高度なAIシステムは、事実を捏造する傾向が増加しており、実世界のシナリオにおける信頼性と実用性について深刻な疑問が投げかけられています。

GPTの幻覚問題の背後にある憂慮すべき数字

OpenAI による最新モデルの調査では、事実の正確性において驚くべき後退が明らかになりました。同社が最も強力なシステムとして宣伝している GPT-o3 モデルは、 PersonQA ベンチマークテストで公人に関する質問に答える際に33パーセントの確率で幻覚を起こしました。これは OpenAI の以前の推論システムである o1 の幻覚率の2倍以上です。さらに懸念されるのは、新しい o4-mini モデルの性能が大幅に悪化し、同じテストで48パーセントの幻覚率を示したことです。より一般的な知識を問う SimpleQA ベンチマークにおいては、結果はさらに憂慮すべきものでした - o3 は51パーセントの確率で幻覚を起こし、o4-mini は驚異的な79パーセントの幻覚率に達しました。比較すると、以前の o1 モデルはこのテストで44パーセントの確率で幻覚を起こしていました。

OpenAIモデルの幻覚率

高度な推論のパラドックス

幻覚率の増加は、AI開発における不思議な矛盾を示しています。これらの新しいモデルは、人間の思考プロセスと同様に、複雑な問題を論理的なステップに分解できる推論システムとして特別に設計されました。 OpenAI はかつて、o1 が物理学、化学、生物学、数学などの分野で博士課程の学生と同等かそれ以上の性能を発揮できると主張していました。より高度な推論がより高い精度につながるという期待がありましたが、逆の現象が起きているようです。業界の一部の観察者は、より複雑な推論を可能にするメカニズム自体が、エラーが積み重なる追加の機会を生み出している可能性があると示唆しています。これらのモデルが異なる事実を結びつけ、複数の可能な経路を評価しようとするとき、フィクションと事実の区別がつかなくなる推測領域に踏み込む可能性が高くなるようです。

増大する問題に対する OpenAI の対応

OpenAI はこの問題を認識していますが、推論モデルが本質的に幻覚率の増加に悩まされているという見方に反論しています。 OpenAI の代表者である Gaby Raila は The New York Times に対し、「幻覚は推論モデルに本質的により多く存在するわけではありませんが、私たちは o3 と o4-mini で見られた高い幻覚率を減らすために積極的に取り組んでいます」と語りました。同社は、最新モデルがなぜ情報を捏造しやすいのかを理解するためにさらなる研究が必要だと示唆しています。これは、根本的な原因がこれらのシステムの作成者にとっても謎のままであることを示しており、AI研究者を悩ませ続ける大規模言語モデルのブラックボックス的性質を浮き彫りにしています。

AI採用の実用的な影響

増加する幻覚問題は、AI応用の実用面で重大な課題をもたらします。これらのシステムが教室、オフィス、病院、政府機関でますます導入されるにつれ、誤った情報を広める危険性が高まります。法律の専門家はすでに ChatGPT を引用を確認せずに使用したことで結果に直面しており、他の無数の状況でも同様の問題が発生する可能性があります。AIアシスタントの基本的な価値提案 - 時間を節約し、作業負担を軽減すること - は、ユーザーがすべての出力を綿密に事実確認しなければならない場合に損なわれます。これにより、より強力なAIツールが実際にはより少ないではなく、より多くの人間の監視を必要とするかもしれないというパラドックスが生じます。これらの幻覚問題が解決されるまで、ユーザーはAIが生成したコンテンツに、特に正確さが最も重要な場合には、かなりの懐疑心を持って接することが賢明でしょう。

AIの幻覚に関する主な懸念点

• 専門的な環境での信頼性の低下
• 捏造された情報に依存することによる潜在的な法的結果
• 事実確認の必要性によるタイムセービングの利点の減少
• 医療や政府機関などの重要な環境での展開における課題

この画像はAIシステムの背後にあるテクノロジーを強調し、様々なセクターでの応用において正確な情報が果たす重要な役割を浮き彫りにしています

信頼できるAIの未来

AIシステムが約束された可能性を実現するためには、幻覚問題に対処する必要があります。業界は重要な課題に直面しています：新しいモデルの高度な推論能力を維持しながら、事実に関する信頼性を向上させる方法です。 OpenAI と Google や Anthropic のような競合他社はこの問題を解決するために間違いなく取り組んでいますが、解決策はまだ見つかっていません。現在の状況は、AIの開発が、高度な洗練さが信頼性を犠牲にする段階に達した可能性を示唆しています - 少なくとも一時的には。研究が続く中、ユーザーはバランスの取れた視点を維持し、これらのシステムの印象的な能力を評価しながら、その重大な限界を認識する必要があります。人間のように推論しながら、事実に関して機械のような精度を維持できるAIの探求は続いていますが、現時点では、人間による検証が最も高度なAIシステムとの作業においても不可欠な要素であり続けています。