AppleのSHARPモデルを使用するブラウザベースのガウシアンスプラットジェネレーター

ml-sharp-webはAppleのSHARP（シングルイメージハイリゾリューションアパレランス再構築プログラム）原則に基づく高実用性のブラウザネイティブ実装です。その核となるのは、単一の2D写真から3Dシーン表現（具体的にはガウシアンスプラッツ）を推論するという難しい課題の解決です。ブラウザ側での完全な実行モデルにより、バックエンドAPI呼び出しに頼らず、現代的なブラウザを持っているユーザーであればすぐに利用可能です。 技術的に見れば、このスタックは強力で最新です。React/TypeScriptをUIに用い、Viteでパッケージングを行い、特にONNX Runtime Webを使用して計算負荷の高いAI推論を行います。設計では、SHARPエクスポートが`.onnx`グラフと必要な`.onnx.data`ウェイトサイドカーをサービスする必要があるというモデルデプロイメントの複雑さに対処しています。GaussianSplats3Dの組み込みは、ビジュアライゼーション機能が既に統合されていることを示唆します。 開発過程は詳細で、依存関係のインストール（Bunを使用）から必要なアップストリームエクスポートステップまでをPythonと特定のエクスポーターを使用して実施しています。メモリ使用量やブラウザ機能（WebGPU/WASM）に関する明示的な警告など、環境制約に対する深い理解が見て取れます。しかし、この複雑さはデプロイおよび最適なパフォーマンスがブラウザハードウェアと現在のWASM/WebGPUサポートに敏感であるという制限を意味します。 要するにこれはデモではなく、SHARPのような高度な学術的なコンピュータビジョンモデルを直感的に利用可能な自立型ウェブアプリケーションへ展開するための優れたプロトタイプです。ただし、大規模ONNXモデルをブラウザ環境で実行することによるパフォーマンスオーバーヘッドは考慮が必要です。