AI セキュリティにとって懸念される展開として、研究者たちが ChatGPT の脆弱性を発見しました。この脆弱性により、ハッカーがユーザーセッションを密かに記録し、無期限に機密データを盗むことができる可能性があります。この悪用は、 ChatGPT の新しい長期メモリ機能を利用しており、人気の AI アシスタントを潜在的なスパイウェアに変えてしまう恐れがあります。
脆弱性の説明
セキュリティ研究者の Johann Rehberger は、攻撃者が macOS アプリの ChatGPT の永続的メモリに悪意のあるプロンプトを注入できることを発見しました。一度注入されると、これらのプロンプトは AI に対して、将来のすべての会話をハッカーが管理するリモートサーバーに密かに送信するよう指示します。この悪用が特に危険なのは、その持続性にあります - 悪意のある指示が複数のチャットセッションにわたって有効なままとなり、潜在的に無期限のデータ流出を可能にします。
攻撃の仕組み
- 攻撃者が悪意のあるコマンドを含むプロンプト注入を作成する
- この注入は、ユーザーが ChatGPT に分析を依頼する画像やウェブサイトを通じて配信される
- 悪意のあるプロンプトが ChatGPT の長期メモリに保存される
- その後のすべての会話が、新しいチャットスレッドでも攻撃者のサーバーに送信される
限定的な影響と対策
幸いなことに、この脆弱性の範囲は限定的であるようです：
- macOS 用 ChatGPT アプリにのみ影響し、ウェブインターフェースには影響しない
- OpenAI が ChatGPT が外部サーバーにデータを送信することを防ぐ部分的な修正を行った
- ユーザーはメモリ機能を無効にするか、定期的に保存されたメモリを確認して削除できる
OpenAI の対応
当初、 OpenAI は Rehberger の報告をセキュリティの問題ではなく安全性の問題として却下しました。しかし、彼が概念実証を提供した後、同社は部分的な修正を行う行動を取りました。これは、 AI システムがより洗練され、広く使用されるようになるにつれて、セキュリティ確保の継続的な課題を浮き彫りにしています。
より広範な影響
この事件は、ユーザーデータを保存する AI アシスタントに関連する潜在的なリスクを思い出させるものです。これらのシステムが日常生活にますます統合されるにつれて、そのセキュリティを確保することが極めて重要になります。ユーザーは、特に機密情報を扱う際には、 AI との対話において警戒心を持ち、慎重であるべきです。
この脆弱性の発見は、急速に進化する AI 分野における継続的なセキュリティ研究の重要性を強調しています。技術が進歩するにつれて、ユーザーデータとプライバシーを保護するアプローチも進化しなければなりません。