研究によると、ベースモデルはすでに R1-Zero トレーニング前に「アハモーメント」能力を持っていることが明らかに

AI研究コミュニティにとって驚くべき発展として、「Understanding R1-Zero-Like Training: A Critical Perspective」と題された新しい論文が、大規模言語モデル（LLM）が推論能力をどのように発達させるかについての一般的な仮定に異議を唱えました。この研究によると、 DeepSeek-V3-Base や Qwen2.5 などのベースモデルは、特殊な強化学習トレーニングを受ける前から、すでに重要な推論能力を持っていることが示唆されています。

ベースモデルはすでに高度な推論を実証

研究論文によると、 DeepSeek-V3-Base モデルはすでに研究者が「アハモーメント」と呼ぶもの—多くの人が特殊な R1-Zero トレーニング技術によるものと考えていた推論能力における画期的な進歩—を示しています。さらに驚くべきことに、 Qwen2.5 ベースモデルはプロンプトテンプレートなしでも強力な推論能力を示し、従来のプロンプト手法と比較してベンチマークスコアが約60%向上したという発見がありました。

この発見は技術コミュニティで大きな議論を引き起こし、多くの専門家が広範な強化学習プロセスによって実際に付加される価値に疑問を投げかけています。

「私は別の可能性のある説明を提案したいと思います。これまでにかなりの数のLLMをトレーニングしてきた経験から、特にテキスト補完モデルから指示モデルへの向上に関して、指示に従う能力はLLMが実行できるすべてのタスクにわたって均一ではない傾向があることに気づきました。」

研究からの主な発見

• DeepSeek-V3-Base モデルは、特殊なトレーニング前にすでに「アハ・モーメント」能力を示している
• Qwen2.5 ベースモデルは、プロンプトテンプレートなしでベンチマークスコアが約60%向上している
• GRPOアルゴリズムは偏った最適化につながり、提案された「Dr. GRPO」修正によって対処されている
• ミニマリストR1-Zeroレシピは、8台の A100 GPU で27時間の計算のみでSOTAパフォーマンスを達成
• テンプレートと質問セットはRLダイナミクスに影響を与えるデュエットを演じる
• Llama もドメイン固有の事前トレーニングがRLの上限を向上させるベースモデルからRLチューニングが可能

この画像は基本モデルの推論能力に関連する数学的問題解決シナリオを示しています

思考の連鎖トークンの役割への疑問

コミュニティの議論では、研究者が「表面的な自己反省」と呼ぶこれらのモデルについての懸念が強調されています。多くのユーザーは、モデル出力の結論が、思考の連鎖プロセス中に生成される思考トークンから必ずしも自然に導かれるわけではないことを観察しています。この不一致は、これらの思考トークンが実際にパフォーマンス向上においてどのような役割を果たしているのかという疑問を提起しています。

一部のコメンターは、追加トークンの利点は一般に考えられているよりもはるかに単純かもしれないと示唆しています—より多くのトークンは単に最終出力文字列のオプションを減らすだけであり、実際の思考を表しているわけではありません。また、空白や繰り返し文字を追加するだけでも、モデルが異なる内部状態に入ることを可能にし、これらのトークンを処理のウェイポイントとして効果的に使用することで、出力品質が向上する可能性があるとの提案もあります。

R1-Zero トレーニングの効率改善

この論文は、R1-Zero のようなトレーニングへのより効率的なアプローチを紹介し、推論性能を維持しながらトークン効率を向上させる GRPO（Generalized Reinforcement Learning from Preference Optimization）アルゴリズムの修正を提案しています。Dr. GRPO（GRPO Done Right）と呼ばれるこの修正されたアプローチにより、研究者たちは Qwen2.5-Math-7B を MATH レベル3-5の問題でRL調整し、わずか8台の A100 GPU で27時間という非常に控えめな計算リソースで最先端のパフォーマンスを達成することができました。

AI コミュニティ、特に消費者向けハードウェアでオープンウェイトモデルを実行している人々にとって、この効率の改善は、現在貴重なコンテキストウィンドウスペースを消費している長い思考の連鎖プロセスに関連する推論時のコストを大幅に削減する可能性があります。

この画像は、 Dr GRPO の公式とトークン効率の比較を示し、強化学習トレーニングにおける進歩を強調しています

厳密な評価とハイプ抑制の必要性

この研究は、AIコミュニティの多くがモデル能力のより批判的な評価とマーケティングハイプの抑制を求めている時期に発表されました。コメンターは、主要ベンダーが使用する SWE-verified コーディングベンチマークのように、ベンチマーク結果が誇張されている他の例を指摘しており、それらは報告によると10%未満の問題しか適切に解決していないとのことです。

一部のコミュニティメンバーは、これらのモデルにおける真の推論の主張に対して懐疑的なままであり、推論のように見えるものは単に広範なトレーニングデータに基づく統計的なパターンマッチングかもしれないと示唆しています。数的能力（基本的な計算能力）と本物の数学的推論の区別については、議論が続いています。

この研究は、AIの能力のより透明で現実的な評価に向けた重要な一歩を表しており、統計的システムに人間のような推論プロセスを帰属させるのではなく、これらのモデルが実際に何をしているのかを理解する必要性を強調しています。

参考文献: Understanding R1-Zero-Like Training: A Critical Perspective

この棒グラフは、さまざまなベンチマークにおけるモデルのパフォーマンスを比較し、AI能力の厳密な評価の重要性を強調しています