ブラウザベースの AI 機能の驚くべき実証として、ある開発者が WebGL2 シェーダーで完全に動作する GPT-2 スモール（1億1700万パラメータ）の完全実装を作成しました。このプロジェクトは、現代のブラウザが特殊なフレームワークに依存せずに、機械学習タスクのために GPU アクセラレーションを活用できることを示しています。
WebGL vs WebGPU：互換性と経験の問題
開発者は、主に慣れ親しんでいることとプロジェクト要件のため、より新しい WebGPU 標準ではなく WebGL を選択しました。制作者のコメントによると、これは WebGL を多用するグラフィックスクラスの最終プロジェクトとして開発されたものです。コミュニティメンバーは、WebGPU がパフォーマンス上の利点を提供する可能性がある一方で、WebGL はブラウザ間でより広い互換性を提供すると指摘しました。あるコメント投稿者は、WebGPU のサポートは異なるプラットフォーム間でまだ不安定であり、WebGL が普遍的なアクセスのためのより信頼性の高い選択肢であると述べています。
議論では、transformers.js のような既存のライブラリがすでに WebGPU を活用していることが強調され、この WebGL 実装は単なる機能性だけでなく、その独創性で注目に値することが示されました。このプロジェクトは、シェーダーで Qwen2-0.5B を実行する VRChat ワールドや、以前の Microsoft Excel での GPT-2 実装など、予想外の環境での言語モデルの創造的な実装に加わります。
技術的実装とパフォーマンスの考慮事項
この実装は、WebGL2 シェーダーを介して GPU 上で動作する完全な GPT-2 スモールのフォワードパスを特徴とし、BPE トークン化は WebAssembly フェッチを必要とせず、ブラウザ内で直接 js-tiktoken によって処理されます。コミュニティメンバーは、特にブラウザ環境での推論時間がどれだけ GPU バウンドか CPU バウンドかを理解することに興味を示しました。
「超クールなプロジェクトですね！ブラウザでの推論時間は実際にどれくらい GPU バウンドと CPU バウンドに分かれていますか？WebGPU が WebGL2 よりも大きなパフォーマンス向上を提供するか気になります。」
この質問は、ブラウザベースの機械学習における重要な技術的考慮事項を浮き彫りにしています：GPU と CPU のワークロードのバランスが全体的なパフォーマンスに大きな影響を与える可能性があります。いくつかのコメント投稿者は、WebGL のような古いテクノロジーを押し進めることで、実装の詳細を抽象化する新しいライブラリを使用するよりも、これらのモデルがどのように機能するかについてより深い理解が得られる可能性があると提案しました。
プロジェクト技術的特徴
- WebGL2 シェーダーを介してGPUで完全な GPT-2 small（117M）のフォワードパス実行
- ブラウザ内で js-tiktoken を使用した BPE トークン化（WASM フェッチなし）
- 事前学習済み重みをダウンロードするための Python スクリプト
前提条件
- Node.js ≥ 16.x および npm
- Python ≥ 3.8
- WebGL2 をサポートする最新のブラウザ（ Chrome 、 Firefox 、 Safari 、 Edge ）
参考にしたコミュニティプロジェクト
- Excel で実装された GPT-2
- VRChat ワールドシェーダーで動作する Qwen2-0.5B
- ONNX ランタイムを使用する transformers.js（ WASM 、 WebGL 、 WebGPU 、 WebNN をサポート）
デプロイメントとアクセシビリティの課題
このプロジェクトは現在、特に重みの配布に関してデプロイメントの課題に直面しています。コードは GitHub で利用可能ですが、ユーザーはモデルの重みのホスティングに関する問題により、ライブデモへのアクセスが困難であることを指摘しました。いくつかのコミュニティメンバーは、アプリケーションにバンドルするのではなく、必要に応じて Hugging Face リポジトリから直接重みをフェッチするなどのソリューションを提案しました。
制作者は GitHub Pages へのデプロイに取り組んでいると述べましたが、現在の重みのロード方法に課題があることを認めました。コミュニティメンバーは、Hugging Face から動的に GPT-2 の重みをフェッチすることに成功した既存のプロジェクトを参照するなど、役立つ提案を提供しました。
このプロジェクトはグラフィックスプログラミングと機械学習の興味深い交差点を表し、現代のブラウザが特殊なハードウェアやソフトウェア環境を必要とせずに、クライアントサイドで直接高度な AI モデルを実行する能力がますます高まっていることを示しています。ブラウザテクノロジーが進化し続けるにつれて、AI タスクのための GPU アクセラレーションを活用するより革新的なアプリケーションが登場することが期待されます。