OpenAI の文字起こしツール Whisper が、医療現場で誤った内容を生成することにより、患者の安全性とデータの正確性に関する重大な懸念を引き起こし、厳しい批判に直面しています。
誤作動の危機
広く使用されている OpenAI の文字起こしツール Whisper が、文字起こしの際に頻繁に虚偽の内容やハルシネーションを生成していることが判明しました。OpenAI が人間レベルの精度を主張しているにもかかわらず、研究者たちは様々な用途において警告すべき割合で作り話が含まれていることを発見しました。特に、正確な記録が患者ケアに不可欠な医療現場での使用が最も懸念されています。
警告にもかかわらず広がる医療分野での採用
OpenAI がハイリスク分野での Whisper の使用に対して明確な警告を発しているにもかかわらず、医療分野では広くこの技術を採用しています。仏米企業の Nabla は、40の医療システムに Whisper ベースのツールを導入し、3万人以上の臨床医に提供しています。約700万件の診療記録の文字起こしに使用されていますが、データ安全性の理由で元の録音は削除されるため、正確性を確認する方法がありません。
研究により明らかになった警告すべきエラー率
複数の独立した研究により、Whisper の誤作動問題の深刻さが明らかになっています。ミシガン大学の研究者たちは、公共会議の文字起こしの80%に誤作動が含まれていることを発見し、また26,000件の文字起こしの分析では、ほぼすべてに作り話が含まれていることが判明しました。特に懸念されるのは、コーネル大学とバージニア大学による研究で、誤作動の40%が潜在的に有害であり、架空の医療処置や暴力的な内容の捏造が含まれていたことです。
プライバシーとセキュリティへの影響
医療分野でのAI文字起こしの導入は、さらなるプライバシーの懸念を引き起こしています。患者は、診療内容を第三者ベンダーと共有することを許可する同意書への署名を求められることが増えており、データ保護と患者の機密性に関する疑問が生じています。カリフォルニア州議員の Rebecca Bauer-Kahan を含む一部の患者は、このような同意書への署名を拒否しています。
業界への影響と将来の懸念
Whisper の影響は医療分野を超えて広がっており、このツールは ChatGPT や Oracle 、 Microsoft などの主要クラウドプラットフォームに統合されています。HuggingFace から1ヶ月で420万回以上ダウンロードされており、誤情報が広がる可能性は極めて高くなっています。OpenAI の元エンジニアの William Saunders は、優先順位を付ければこれらの問題は解決可能だと示唆していますが、現状では特に重要な医療現場において深刻なリスクをもたらしています。