AMD が小規模言語モデルの世界に初めて進出し、 AMD-135M を発表しました。これは、同社の AI 分野における野心の高まりを示すものです。この新しいモデルは、 AMD のハードウェアの強みを活かしながら、企業に効率的な AI 機能を提供することを目指しています。
AMD-135M の主な特徴：
- 2つのバリアント ：一般用途向けの AMD-Llama-135M とコーディングタスク向けに最適化された AMD-Llama-135M-code
- トレーニングプロセス ：
- ベースモデルは6日間で6,700億トークンを学習
- コード用バリアントは追加で200億トークンを4日間かけて微調整
- トレーニングには4つの8ウェイ AMD Instinct MI250 ベースのノードを使用
- 推論デコーディング ：より小さなドラフトモデルを使用して複数の候補トークンを同時に生成し、より大きなターゲットモデルで検証
- パフォーマンスの主張 ： AMD は、推論デコーディングを使用しない場合と比較して、自社のハードウェアで大幅な高速化を報告
AMD-135M の導入は、同社が AI モデル分野で競争する意図を示すものであり、 NVIDIA の優位性に挑戦する可能性があります。小規模言語モデルに焦点を当てることで、 AMD は計算要求の低いオンプレミス AI ソリューションを必要とする企業にとって特に価値のあるニッチを狙っています。
AMD-135M のトレーニングコード、データセット、重みをオープンソース化するアプローチは、 AI コミュニティでの協力とイノベーションを促進する可能性があります。この動きは、より利用しやすく透明性の高い AI 開発という成長トレンドに沿ったものです。
パフォーマンスの主張は有望ですが、ベンチマークは AMD 自身によって実施されたものであることに注意が必要です。異なるシナリオやハードウェア構成でこれらの結果を検証するには、独立したテストが不可欠です。
AMD がハードウェアとソフトウェアの両方を含む AI ポートフォリオの開発を続ける中、テクノロジー業界は、これが競争環境にどのような影響を与え、 AI 技術のイノベーションをどのように推進するかを注視しています。