NeRF(ナーフ)とは

NeRFとは、複数の写真から3D空間の見え方を学び、別の角度から見た画像を作る技術です。Neural Radiance Fieldsの略で、2020年に発表されたChatGPT一般公開前の研究です。普通の3Dモデルを手で作るのではなく、写真から「この場所をこの方向から見ると何色に見えるか」を学習します。

英語表記:Neural Radiance Fields

NeRFの仕組み

NeRFは、空間上の位置と見る方向を入力にして、その点の密度や色の出方を予測する構造です。カメラの光線に沿って何度も問い合わせ、最後に画像へ合成する流れになります。現実の部屋をポリゴンで組むのではなく、見え方そのものをAIに覚えさせる発想です。写真から作る「見え方の辞書」に近い考え方でしょう。

3Dガウシアンスプラッティングとの違い

NeRFは高品質な新視点合成で注目されましたが、学習や表示が重くなりやすい課題があります。3Dガウシアンスプラッティングは、ぼかした粒の集合として空間を表し、リアルタイム表示に寄せた方法です。NeRFは見え方を関数として学ぶ、3DGSは描画しやすい粒で表す。同じ3D化でも、持ち方が違います。

ビジネスでの用途

不動産内覧、文化財記録、製造現場の遠隔確認、EC商品の立体表示などで応用が考えられます。ただし、撮影条件や処理時間の影響が大きく、すぐに誰でも高品質な3Dを作れるとは限りません。見る角度を自由にしたい業務で、撮影と後処理を含めて検討する技術です。撮影計画まで含めた判断が必要でしょう。

TopicNeRFはメッシュではなく5次元の問い合わせで描く

NeRF論文では、入力を空間位置と視線方向を含む5D coordinate、つまり位置3つと向き2つを合わせた5次元の指定として説明しています。これは一般的な3Dメッシュの頂点や面を並べる発想とは違います。AIに「この点をこの方向から見たらどう見えるか」と何度も尋ね、画像へ戻す考え方。

NeRFに関するよくある質問

NeRFは3Dモデルを自動で作る技術ですか?
近い用途に使えますが、一般的なポリゴンメッシュを作る技術とは違います。複数写真から見え方を学び、新しい視点の画像を合成する技術です。
NeRFと3Dガウシアンスプラッティングは何が違いますか?
NeRFは空間の見え方をニューラルネットワークの関数として表します。3Dガウシアンスプラッティングは、3Dのぼかした粒を使ってリアルタイム表示しやすくする方法です。
NeRFは業務で何に使えますか?
不動産内覧、施設記録、商品表示、現場確認など、撮影した空間を別角度から見たい場面に向きます。ただし撮影条件と処理時間の設計が必要です。

あわせて読みたい記事