【SIGGRAPH】仮想空間で感情を伝える最先端技術

　前回の記事で紹介した「Vizible」をはじめ、多くのVRテレカンファレンス（仮想空間における遠隔会議）サービスでは、会議の参加者はCGアバターに置き換えられ、VR空間内で参加者同士のコミュニケーションが行われる。CGアバターには本人の表情や視線の動き反映されないため、声やジェスチャーのみで会話を行うというのが現状である。こうした現状を改善するため、大学や企業などの研究機関では、よりリアルなコミュニケーションが可能となるよう、さまざまな研究が行われている。

　SIGGRAPH 2017の会場には、実用化前の先端技術を発表するセッションが複数ある。その中でも「Emerging Technologies（以下、E-TECH）」というセッションでは、SIGGRAPH参加者がデモ展示を通して、先端技術の体験をできる。ここでは、VRテレプレゼンスに関連する研究デモを行った２つのグループを紹介する。

HMDの裏に隠れている表情を伝える技術「Headset Removal」

　HMD（Head-Mounted Display）を被ると、本人はVR空間に入り込むことが可能だが、HMDを装着していない周囲の人は、VR体験者がどのような空間にいて、なにを見ているのかを共有することは困難である。VR体験者の姿を仮想空間内に合成し、画面などを通してVR空間を２次元的に共有することはできるものの、VR体験者の表情や視線といったインタラクションの要素は依然として不明だ。そこで、VR空間と体験者の動きを合成した映像からHMDを除去するという研究が、Googleマシーンパーセプショングループ、Daydream Labs、そしてYouTube Spacesのメンバーによって行われている。

　この技術は、HMD内の視線追跡システム、機械学習を元にした表情の再演技術などを利用し、HMDを装着しているVR体験者の目の周辺の表情をリアルタイムに再現することができる。事前に行う調整作業では、画面に表示される点を視線で追いながらVR体験者の顔を3Dスキャンすることで視線に依存した顔の3Dモデルが構築される。この作業は１分間程度で終了する。

SIGGRAPH 2017会場にて「Headset Removal」のデモの様子　2017年8月1日撮影

　次にHMDを装着し、カメラに向かって視線を動かしたり瞬きしたりすれば、処理された映像には機械学習されたモデルを元に、VR体験者の表情が再現されることになる。この映像では、HMDは透明になっており、周囲の人々はその裏に隠れているはずのVR体験者の再現された表情や視線、瞬きの様子を見ることができる。

　実際にこの技術を体験してみると、透過されたHMDや、その背後の顔も自然に感じられ、遅延も気にならないレベルだった。透過されたHMDの存在をあえて表示させることで、HMDに隠れた顔の部分と、リアルタイム撮影された顔の部分が自然に合成できている印象があった。人間は顔の領域画像の不自然さに非常に敏感であることはよく知られているが、この技術では、その「uncanny valley（不気味の谷）」が軽減できているように感じられた。

表情や視線をアバターにリアルタイム転送する技術「FaceVR」

　同様の課題に対して異なるアプローチを行っていたのは、ドイツのエアランゲン・ニュルンベルク大学、マックスプランク研究所、米スタンフォード大学のグループが発表した「FaceVR」だ。このプロジェクトを行ったチームは過去に「Face2Face」という技術を公開し、注目を集めたことがある。「Face2Face」は、顔の表情や動きをRGBカメラ（通常のウェブカム）でリアルタイムに検出して、別の人物の顔にはめ込む表情転送を行なうことができる。動画内のトランプ大統領やプーチン大統領の表情を、自在にコントロールできるデモが公開され話題となった。

SIGGRAPH 2017会場にて「FaceVR」のデモの様子　2017年8月1日撮影

「FaceVR」は、「Face2Face」プロジェクトの成果であるリアルタイム表情検出に、トラッキングシステムを用いながら視線追跡を追加したもので、目の動きも含めた表情をアバターに転送することができる。表情転送のターゲットとなるアバターが同一人物の映像であれば、HMDの除去が実現される。

　これらの技術に見られるように、VR空間におけるユーザー同士のコミュニケーションを強化するテレプレゼンス技術は着実に進歩してきている。表情転送やHMD除去に代表される技術は、視覚面でのプレゼンス再現技術になるが、触覚や聴覚の面でもテレプレゼンスの研究は活発に行われている。