インフラ事業者や製造業、建設業の現場では、遠隔地から監督者が現場の映像などを見ながら、リモートで判断や指示を出す試みが広まりつつある。
しかし、現場の画像や映像を見るだけでは、確認したい箇所を迅速かつ的確に把握できないなどの課題があった。そこで現場状況を仮想空間上に再現するデジタルツインの手法のひとつとして、自由な角度や視点で見られる3Dモデルの活用が期待されているが、現場を再現するために撮影するには「高価な専門機材が必要」「撮影のため現場の稼働を中断しなければならない」「撮影後の3Dモデル生成に時間がかかる」といった点が“壁”となっていた。
こうした中、NEC（日本電気株式会社、本社：東京都港区）が、慶應AIセンターの斎藤英雄教授と共同開発したのが、現場の3Dモデルを素早く生成する技術だ。これを用いると、スマートフォンなどの汎用カメラの撮影映像から、不要な被写体を除去した、高精細な3Dモデルを高速に生成できるという。
NECサイバーフィジカルインテリジェンス研究所 主任研究員の馬場崎康敬氏と、同研究員 中野谷学氏に、同技術の特徴や活用シーンを聞いた。
専用機材を使わず「最短約1分」で
今回開発した技術を「専用機材を用いずに、汎用カメラで撮った映像だけで、高精細かつ軽量な3Dモデルを高速に生成できるもの」だと馬場崎氏は説明する。
一般的に3Dの映像を作る際には、LiDAR（※）などの機材を用いるが、こうした専用機材の導入コストは、数百万円から数千万円ほどになる。加えて、現場を撮影したり、撮影データから3Dモデルを作ったりする際に時間がかかり過ぎることも課題となっていた。
※レーダー光を発射し、その反射光が戻ってくるまでの時間をもとに対象物までの距離などを計測する機器
しかし、汎用カメラを用いるNECの技術であれば、まず導入コストの課題をクリアできる。さらに撮影も、スマートフォンのカメラなどで現場の様子を撮るだけなので、誰でも簡単に行える。また、その撮影データから3Dモデルを作る際にも「（小規模な範囲であれば）最短約1分」という速さで高速生成できるという。
「しかも生成した3Dモデルは、一般的なパソコンやタブレットでも閲覧でき、現場の状況を即座に把握・共有することができます」（馬場崎氏）
もう一点、特徴がある。それが「現場の稼働を止めずに撮影できること」だ。現場の様子を撮影する際に、その場にいる作業者に移動してもらったり、脚立などの不要物を片付けたりしていると、作業が止まってしまうことがある。NECの技術では、こうした不要なものをAIが自動除去してくれるため、現場の稼働を止めることなく、3Dモデルを生成できる。
「現場からは、作業をなるべく止めたくない、という声があがっています。3Dモデルのノイズを適切に除去できることも、我々の技術の大きな強みとなっています」（馬場崎氏）
「粒の間引き」が高速化の鍵
なぜこうしたことが可能になったのか。馬場崎氏によると、今回の技術は、近年、映画やアニメの背景生成への応用が進む「ガウシアン・スプラッティング」という手法をさらに進化させたものだという。
ガウシアン・スプラッティングとは、3D空間を、広がりを持った粒（ガウシアン）の集まりで表現する手法で、汎用カメラで撮影した複数の画像や動画から、歪みや情報の損失の少ない高精細な3Dモデルを生成できることが特徴だ。
その生成プロセスを簡単に説明すると以下のようになる。
まずは複数の視点から撮られた画像（映像も複数画像の連続と考える）から、同じ場所を示すポイントなどを探し出し、三角測量の原理により奥行きを推定していく。さらに粒（点群）を配置して3Dモデルを作り、最後にモニター上で表示した際のずれや歪みがないよう調整する。
ただ、この手法の場合（専用機材を用いずに）まるで写真のように高精細な3Dモデルを作成できるものの「粒の密度を均等に配置するため、最後の調整フェイズで計算処理が増え、高速生成することは難しかった」と中野谷氏は指摘する。
そこでNECでは「効率的・最適な粒の配置」により高速化を目指した。具体的には、映像内の見た目の複雑さを自動解析し、「見た目が複雑な部分（輝度差が大きいところ）」には粒を高密度に配置し、「見た目が単調な部分（輝度差が小さいところ）」では粒を間引くようにした。これにより「精緻さを保ちつつ計算処理を減らし、3Dモデルの生成時間をガウシアン・スプラッティングの約10分の1にまで短縮」することに成功したという。
もうひとつの特徴である、不要な被写体を自動除去する技術については、作業員などの不要な物体を検出・削除した後で、“穴”が開いてしまった箇所を、別の角度から撮った画像で補うことにより、欠損がないよう仕上げているとのことだ。
フィジカルAIの開発現場での活用も
NECでは、同技術を2027年度中に実用化するとしている。具体的な活用シーンとしては、冒頭で伝えたような、インフラ事業者や建設業などにおいて、現場監督者などが「遠隔から現場を管理する」場面や、3Dモデルを使ってレイアウト設計や作業動線を確認する「現場改善シミュレーション」の場面などが想定されるという。
さらに興味深かったのは「フィジカルAIの学習にも活用される可能性が高い」という馬場崎氏の見解だ。近年、注目が集まるヒューマノイドなど自律型ロボットの学習には、3D仮想空間での動作シミュレーションなどが欠かせない。NECの技術はこうした3D仮想空間を迅速かつ低コストで生成できるため「この先大きなニーズが見込める」とのことだ。
「3Dデータは、フィジカルAI の学習活用に象徴されるように、これからもっと産業現場で基礎となるようなデータフォーマットになっていくと考えられます。ただ、日本ではまだ普及が進まないところも多く、今回私たちが開発した技術が、その後押しになればと期待しています」（中野谷氏）
今回の3Dモデルを高速生成する技術が産業界にどのような影響を与えていくのか。引き続き動向を注視したい。