ロボット、自動車、工作機械などを現実空間で自律的に動かすフィジカルAI。日本政府も「戦略17分野」の産業育成・成長戦略の柱として、2040年度までに官民合わせて10.5兆円を投じると発表したが、その実現は簡単なことではない。
特に課題となっているのが、学習データの不足だ。インターネット上にテキストや画像などの膨大な学習データがある大規模言語モデル（LLM）とは異なり、フィジカルAIに物理的な世界を認識させるための学習データは少ない。
こうした中で、XRやメタバース、デジタルツインなど仮想空間を生み出す技術が再び注目を集めている。仮想空間の中で、AIに人間の身体的な動作や現実世界のあり方について学ばせる手法が多用されるようになってきたからだ。
2026年6月17日〜19日に、東京ビッグサイト（東京都江東区）にて「第6回 XR・メタバース総合展 夏」が開催された。その中で「インダストリアルXRの未来―XR × AI × ロボティクスが切り拓くフィジカルAI時代―」と題したセッションが行われ、フィジカルAIの学習の場としてのXRについて議論が交わされた。
登壇したのは、東京大学 特任補佐・先端科学技術研究センター副所長／教授の稲見昌彦氏、エヌビディア合同会社エンタープライズ事業担当バイスプレジデントの井﨑武士氏、H2L Inc. CEO／慶應義塾大学大学院SDM研究科教授の玉城絵美氏、東京大学生産技術研究所 特任教授の三宅陽一郎氏。進行役は、一般社団法人Metaverse Japan共同代表理事／XinobiAI株式会社CEOの馬渕邦美氏が務めた。
フィジカルAIの登場で、XRへの期待が再燃
冒頭、AIの開発がかつてないほど急激なスピードで進む2026年の印象を聞かれた稲見氏は「XRの時代がもう一回来ているのではないか」との見解を示した。
フィジカルAIの開発において、たとえば中国の開発者が学習のために使っている装置などは、XR研究などに使われていたものが多いという。「そういう意味では、VRやXRは、AIに身体動作を教える、または空間を学習させるためのキラーインターフェイスとしての役割がはじまっているのではないかと思います」（稲見氏）
さらに稲見氏は「生成VR」がその役割を加速すると分析する。生成VRとは、生成AIの技術をVR空間やコンテンツの構築に掛け合わせたもので、「こんな世界に行きたい」など簡単なイメージを伝えると、生成AIがリアルタイムに3D仮想空間を生み出す技術だ。
この生成VRを活用すると「現実世界ではめったに出会えないような希少な体験や空間もAIに学習させることができる」とし、「AIがこの先物理世界でも活躍することにつながっていく」可能性が高まっているとした。
エヌビディアの井﨑氏もこの意見に同調する。エヌビディアでは、GPUなどの半導体チップなどのハードウェア開発を手掛けるほか、ユーザーがスムーズにAI開発を行うための基盤作りにも力を入れているが、こうした取り組みのひとつに、フィジカルAIの開発基盤の構築がある。
具体的には、独自の世界モデルを内包したフィジカルAI育成基盤「Cosmos」と、3D空間をバーチャルに再現できるシミュレーション基盤「Omniverse」を開発しているが、フィジカルAIの学習に使う「フィジカルデータはインターネットで収集できないため、実際に作るか集めるしかない」という。
「フィジカルデータはシミュレーション環境で作ることもありますし、実際に（センサーを身につけた）人間が動作して集めるケースもあります。その中で活用しているのが、いわゆるXRだったりするわけです」（井﨑氏）
たとえば、ヘッドセットを身につけた人間にロボットを遠隔操作してもらい、その動作をキャプチャーしてデータ化し、さまざまなツールを使って拡張し、大量の学習データを作る。あるいは、仮想空間の中で、ロボットに正しい行動を大量に反復させて学ばせる。このような形で、フィジカルデータ作りにXRを活用しているという。
「感覚共有」や「空間AI」も活用できる
人は視覚（画像）や聴覚（音声）のほかにも、何かに触れたときの感触や力加減などさまざまな身体的な感覚を有している。H2L Inc.の玉城氏は、こうした人が持つ「固有感覚」をデジタルデータ化し、人とロボット、あるいは人と人が体験を共有するためのインターフェイス「BodySharing」を研究開発している。
玉城氏はこの「BodySharing」の機器を通して、人間の感覚データをメタバースなどの仮想空間に集め、これをフィジカルAIの学習データとして活用できるのではないか、と提案した。実際に10分ほど自身のデータを取り、AIに教えたところ、非常に精度高く模倣できることがわかってきたという。
「10分前後のデータで、力加減も含めてこれくらい動くのであれば、もしかしたら『（ユーザーが）洗濯物をたたむ』『草抜きをする』といったデータを集めて学習させれば、フィジカルAI（で動くロボット）が代わりに家事をやってくれるような世界が実現するかもしれません」（玉城氏）
動く物体だけでなく、建物などの空間を知能化する研究を行っているのが、東京大学生産技術研究所の三宅氏だ。
三宅氏はもともとゲームの開発現場でAIに携わってきた経験を持つ。ゲームの進行などを担うゲームAIには、ゲーム全体を制御する「メタAI」と、キャラクターの頭脳となる「キャラクターAI」、そして環境側を制御し、キャラクターAIが空間を認識するためのデータを提供する「空間AI」があるが、3つ目の「空間AI」を活用することで、フィジカルAIが現実世界で活動しやすい環境を構築できるのではないか、と三宅氏はいう。
たとえば、あるイベント会場内を自由に動き回るロボットを用意したい場合は、その会場のさまざまなデータをメタバース上に蓄積（デジタルツイン化）しておき、まずはロボットの頭脳となるフィジカルAIにメタバース上で会場のことを認識させたうえで、ロボットを現実世界に出すというものだ。
「AIがダイレクトに現実世界を認識するのは非常に難しいので、ワンクッション間に入れましょうというのが空間AIの考え方です。つまり、さまざまな空間データをあらかじめ蓄積しておき、かつシミュレーション可能にしておくことで、空間認識を楽にできるようにして、現実空間にAIが出る障壁をなるべく低くするという発想です」（三宅氏）
この発想をもとに「空間に新たな価値を付加できる」とも三宅氏はいう。たとえば、マンションを売り出す際に「メタバース空間もペアにしておけば、そのマンション内ではフィジカルAIが非常に精度高く動けるため、不動産価値も高まるのではないか」と述べ、会場の関心を集めていた。
＊ ＊ ＊
こうした形で登壇者からは、XRを学習の場として活用することで、フィジカルAIの開発がより加速するとの意見が次々と語られたが、フィジカルデータの提供に関しては筆者の頭にひとつ疑問符が浮かんだ。
我々は、生成AIが世の中に広がっていく際に、さまざまな著作物や制作物が学習データに活用され、その見返りを十分に受けないまま、居場所をなくしつつある人が少なくないことを知っている。フィジカルAIに学習データを提供することは、利便性の向上につながる反面、そうした負の側面があることをすでに多くの人が見聞きしており、データの提供に慎重になる向きもあるかもしれない。
実際に登壇者からも「倫理観の合意形成」や「社会的受容性の醸成」を待つ必要性があるのではないか、との意見が語られた。そうした側面にも目を向けつつ、引き続き開発動向を注視したい。