Brush：3Dリコンストラクションをより身近にする汎用的なGaussianスプラッティングエンジン

3Dリコンストラクションの分野は、より使いやすいツールの出現により大きな変革を迎えています。コミュニティでの議論では、特に異なるプラットフォームやデバイスでの3D再構築の民主化を可能にする Gaussian スプラッティング技術への関心が高まっています。

3D再構築のための機能を示す Brush プロジェクトの技術的詳細と責任範囲

障壁の打破

新しい Gaussian スプラッティングエンジン「 Brush 」は、その汎用的な互換性と印象的なパフォーマンスで注目を集めています。ユーザーからは、ブラウザ内のデモが非常にスムーズに動作し、50MBの .ply ファイルを最小限の遅延で処理し、ちらつきやアーティファクトのない高品質なレンダリングを実現していると報告されています。

現在の技術要件

ウェブユーザー向け：

• Chrome 129以降（デスクトップ版）
• Linuxユーザーは WebGPU フラグを有効化
• Linuxの場合の追加起動パラメータ：--enable-features=Vulkan
• Firefox と Safari のサポートは今後予定

2段階のプロセス

現在のワークフローは主に2つのステップで構成されています：

1. カメラポーズの生成 ：

   • COLMAP または GLOMAP などの代替ツールが必要
   • 処理時間：約30分
   • ワークフローにおける重要なボトルネックとされる

2. Gaussian スプラッティングのトレーニング ：

   • 画像とカメラポーズを入力として使用
   • 入力写真に一致する3Dモデルを生成
   • ポーズ生成ステップよりも大幅に高速

パフォーマンスと品質

オリジナルの Gaussian Splat 実装との比較ベンチマーク結果：

実用的な応用例

コミュニティメンバーが挙げる主な用途：

• 不動産のバーチャルツアー
• 強化されたストリートビュー体験
• VRコンテンツの作成
• 映像制作での特殊効果
• ロボットシステムとSLAMアプリケーション（現在は自律走行車には遅すぎる）

今後の開発

開発チームは以下の改善点を認識しています：

• COLMAP 依存の解消
• モバイルデバイスの初期化のための ARCore/ARKit との統合
• トレーニングパフォーマンスの最適化
• より良い編集性のためのメッシュバッキングの調査

アクセシビリティ機能

様々なハードウェア構成で動作する利点：

• 控えめなGPUのラップトップでも動作
• macOS/Windows/Linux をサポート
• AMD/NVIDIA カードに対応
• Android サポート（追加設定必要）
• ブラウザベースでの操作
• iOS サポート（現在未実装）

このプロジェクトは、3Dリコンストラクション技術をより広い層に利用可能にする重要な一歩となっていますが、いくつかの技術的な課題はまだ残されています。