リアルタイムに大規模な3Dシーンを構築できる「SMERF」

SMERF(Streamable Memory Efficient Radiance Fields)は、3Dシーン構築を大規模(最大300平方メートル、体積解像度3.5立方ミリメートル)に行える新しいアプローチです。

モデル容量を増やし、演算とメモリ消費を階層的に分割する方法と、高い再現性と一貫性を同時に実現するトレーニング戦略によって実現されています。この手法は、ウェブブラウザで動作も可能で、完全な6DOF(自由度)ナビゲーションに可能。デスクトップPCだけで無く、一般的なスマートフォンやラップトップでリアルタイムにレンダリングに対応します。

SMERFのデモ

大規模なシーンを処理する仕組み

SMERFは、大規模なマルチルームを実現するために、サブモデルでまずモデリングし、それぞれをシーンの異なる領域に割り当てることで実現しています。レンダリング中には、カメラの原点に基づいてサブモデルが選択されます。また、各サブモデル内でカメラの位置に基づいて補間しているとのことです。

ビジネスへの展開

現実世界をスキャンすることで、3Dシーンが再構築できる技術は、建築や都市計画など様々な分野のビジネス領域で応用できそうです。シンプルに不動産の内見や、現地のチェックなどにも、PC・スマートフォンでリアルタイムレンダリングが可能なため実装は現実的。3D活用がもっと身近になる技術だと思います。

SMERFのまとめ

・大規模シーン3Dシーンを生成可能

・テクスチャも忠実に再現

・ノートPCやスマートフォンでも操作可能

関連リンク

SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration

Project

https://smerf-3d.github.io

arXiv

https://arxiv.org/abs/2312.07541

example

https://smerf-3d.github.io/?ref=aiartweekly#demos