Rigorous と呼ばれる新しい AI 搭載科学論文査読ツールが、学術出版をより迅速かつ透明にするという約束とともにローンチされた。このクラウドベースのサービスは無料の論文分析を提供し、1〜2営業日以内に包括的な PDF レポートを配信する。しかし、初期ユーザーは重大な技術的問題に遭遇しており、学術コミュニティは査読における AI の役割について意見が分かれている。
技術的問題が初期ローンチを悩ませる
Rigorous プラットフォームに論文をアップロードしようとするユーザーは、様々な技術的困難を経験している。ある研究者は、9.4 MB の研究論文を提出しようとした際に HTTP 413 エラーと JSON 解析失敗に遭遇したと報告した。エラーメッセージは、テスト段階でサービスの信頼性に影響を与える可能性があるサーバータイムアウト問題とファイルサイズ制限を示唆している。
開発者はこれらが初期段階の問題であることを認め、現在のコアワークフローはローカルで約8分かかるが、1〜2分に最適化できると説明している。彼らは現在の1〜2日の処理時間を、技術的問題を解決している間の手動レビューステップとコスト制御措置によるものだとしている。
現在のパフォーマンス指標:
- ローカル処理時間: 約8分（1-2分に最適化可能）
- クラウドサービスの処理時間: 1-2営業日
- ファイルサイズ制限: 9.4 MB のファイルで問題が報告されている
- 現在のステータス: 無料テスト段階
コミュニティが品質と信頼性への懸念を提起
学術コミュニティは AI 支援査読に対して複雑な反応を示している。一部の研究者は、特に最近学術プラットフォームで AI が書いたレビューが急増していることを考えると、AI が生成するフィードバックの品質を心配している。批評家は、意味のある査読には現在の AI システムでは提供できない深い専門知識と洞察が必要だと主張している。
「レビューの目的は、LLM を上回る知識を持つ業界専門家から深い洞察やコメントを得ることです。基準は非常に低いことは分かっていますが、研究コミュニティとしてより良くするべきです。」
プラットフォームの透明性に関する信頼問題も浮上している。ユーザーは明確なプライバシーポリシー、連絡先情報、データ処理慣行の詳細の欠如を指摘した。開発者は初期 MVP モードにあることを認めて対応し、適切な連絡先情報とポリシーを追加することを約束した。
限られた訓練データが AI 開発を妨げる
AI 査読システムが直面する重要な課題は、質の高い訓練データの不足である。歴史的に査読報告書が公開されることは稀で、最近になってようやく一部のジャーナルがレビュー報告書を公開し始めている。この包括的な訓練データの不足は、意味のあるフィードバックを提供する AI システムの効果を制限する可能性がある。
開発者は、プレプリントと最終公開版の違いを分析して査読が通常どのような変更をもたらすかを理解するなど、代替アプローチを探っている。しかし、人間の査読者のコメントが時として一貫性がなかったり不合理だったりする可能性があるため、このアプローチでさえ最良のフィードバックを捉えられない可能性があることを認めている。
結論
Rigorous は査読をより迅速でアクセスしやすくすることで学術出版の実際の問題に対処することを目指しているが、その初期ローンチは AI 搭載学術ツールが直面する課題を明らかにしている。技術的問題、コミュニティの懐疑論、そして意味のある学術的フィードバックを提供する AI の能力に関する根本的な疑問は、広範囲な採用には技術と信頼構築措置の両方で大幅な改善が必要であることを示唆している。
ツールの開発者はフィードバックに対応し、懸念に対処するために取り組んでいるようだが、学術コミュニティの慎重な受け入れは、科学出版の決定に影響を与える可能性があるシステムに期待される高い基準を浮き彫りにしている。