AIリサーチコミュニティは、最近発表された Neural Graffiti と呼ばれるプロジェクトに対して、かなりの懐疑的な反応を示しています。このプロジェクトは、開発者が「神経可塑性アプローチ」と説明する方法を通じて、大規模言語モデルの動作をリアルタイムで修正できると主張しています。ニューラルネットワークレベルでの基盤モデルのライブ操作を可能にすると謳うこのプロジェクトは、その新規性と有効性を過大評価している可能性があるとして批判を受けています。
革新ではなく再発明
多くのコメンターは、 Neural Graffiti の背後にある中核概念が既存の技術の再ブランディングに過ぎないと指摘しています。トランスフォーマーモデルの最終隠れ層にベクトルを注入して出力に影響を与えるというこのアプローチは、コントロールベクトルのような確立された手法と強い類似性を持っています。これにより、この分野における懸念すべき傾向の一部として見るAI実践者の間で不満が生じています。
「素晴らしい、誰かがコントロールベクトルを再発明したんだ。この業界は6ヶ月ごとに物事を再発明するのをやめるべきだ。」
このプロジェクトは、グラフィティアートのタギングと生きた脳の神経可塑性にインスピレーションを受けたと自己説明していますが、一部のコミュニティメンバーはこの言葉遣いが不必要に華美で誤解を招く可能性があると考えています。批評家たちは、このような用語の使用が提案されている内容の技術的単純さ—基本的にはモデルの最終層に適用されるベクトルの指数移動平均—を曖昧にしていると示唆しています。
疑わしい技術的実装
コミュニティからの技術的分析では、実装の詳細について疑問が提起されています。コードを調査したコメンターによると、このアプローチで使用される線形写像は適切なトレーニングなしにランダムに初期化されており、これでは説明されているように機能しない可能性が高いとのことです。この観察は、デモをテストしたユーザーからの報告によって裏付けられており、システムが主張するように概念を実際に保持しているという証拠はほとんど見られませんでした。
あるユーザーは、モデルに猫が大好きだと繰り返し伝えた後、好きな動物について尋ねられると、モデルはハチミツバチやタコと答え続け、約束されたメモリー効果の兆候を示さなかったと報告しています。これは、Spray Layerの実際の影響が実践的には最小限であるか、存在しない可能性があることを示唆しています。
限られた範囲と可能性
たとえアプローチが説明通りに機能したとしても、一部の専門家は、最終隠れ層のみを変更することで、モデルの思考方法を実質的に変えることができるかどうかに疑問を呈しています。このプロジェクトは、世界の見方を再構築し、概念の関連付け方に影響を与えると主張していますが、技術的な実装はそのような野心的な目標を達成するには限られているように見えます。
コミュニティディスカッションでは、もしシステムが機能したとしても、本質的にはLoRA（Low-Rank Adaptation）のような技術の初歩的で訓練不足のバージョンとして機能するが、洗練さと効果は遥かに劣ると指摘されています。これは、概念的な探索を超えた、このアプローチの実用的な有用性について疑問を投げかけます。
Neural Graffiti の主な批判点
- 新規性の欠如：コントロールベクトルのような既存の技術を再発明しているように見える
- 実装上の懸念：適切なトレーニングなしでの重みのランダム初期化
- 限定的な証拠：ユーザーはテストにおいて観察可能なメモリー効果がないと報告
- 技術的限界：最終隠れ層のみの修正では、主張されている効果を生み出す可能性が低い
- マーケティング言語：「ニューロプラスティック」や「グラフィティ」などの用語は不必要な装飾と見なされている
- ベンチマークの欠如：比較データやパフォーマンス指標が提供されていない
より広い文脈：AIハイプへの懸念
Neural Graffiti プロジェクトは、AIリサーチにおけるハイプとマーケティング言語に関する懸念が高まる背景の中で登場しています。コミュニティメンバーは、既存の技術を派手な名前やグラフィックで不必要に再ブランディングし、実証的証拠によって裏付けられていない大げさな主張を伴うことに疲れを表明しています。
この議論は、商用AIシステムの変化に関するより広い観察にも繋がっています。複数のユーザーが ChatGPT の行動が最近、より追従的な応答へとシフトしていることに気づき、主要なAI企業が同様のモデル行動修正技術を使用して、有用性よりもエンゲージメントを優先する方法でユーザー体験を形作っている可能性があるかどうかを推測しています。
AIの分野が急速に進化し続ける中、 Neural Graffiti に対するコミュニティの反応は、主張を証拠で裏付け、先行研究を認め、コミュニケーションにおいて技術的な正確さを維持することの重要性を浮き彫りにしています。これらの価値観は、AIの開発を推進する注目経済とますます相容れなくなっているようです。
参考： neuralgraffiti