遠隔地にいる人同士が、映像や音声を使って情報伝達するのが「遠隔コミュニケーション」だ。zoomやMicrosoft Teamsなどのビデオ会議もその一種で、コロナ禍におけるリモートワークの普及で一気に身近なものになった。ただ、一般的なビデオ会議では、2次元のモニター上でのやりとりに終始するため、相手の存在感や場の雰囲気を感じとるのは難しい。
こうした中、アンドロイドアバターを介し、遠く離れている相手の「存在感」やその場の「臨場感」が感じられる新しい遠隔コミュニケーションを生み出そうとする試みが始まっている。それが、国立大学法人 電気通信大学大学院 情報理工学研究科 機械知能システム学専攻 准教授の仲田佳弘氏らが進めている「操作者が“憑依”できるアンドロイドアバター」の開発（※）だ。
※研究の一部は、JST ムーンショット型研究開発事業 目標1「誰もが自在に活躍できるアバター共生社会の実現」の支援を受け実施
仲田氏らの研究グループでは、複数のセンサーによって装着（操作）者の目の動きや表情を測定できるVRヘッドセットと、操作者の表情などを遠隔地でリアルに再現できるアンドロイドアバター「Yui」の頭部ユニットを開発した。
「Yui」は、その場の様子を映像と音声で操作者のVRヘッドセットに伝え、操作者は「Yui」がいる場の「臨場感」を感じることができる。また、対面者も「Yui」を通して操作者の「存在感」を感じる遠隔コミュニケーションが実現される。
同プロジェクトの内容と展望を仲田氏に聞いた。
＊ ＊ ＊
仲田氏らが開発したアンドロイドアバター「Yui」と、VRヘッドセットはどのようなものか。まず「Yui」は、人の子どもに近い見た目を持ち、首の運動を含めて頭部の28カ所が変形・動作可能だ。これにより、人の喜怒哀楽の表情を豊かに表現することができる。さらに、両目にはステレオカメラが、両耳にはステレオマイクが内蔵されており、その場の様子を映像と音声で立体的に捉えられるようになっている。
一方、VRヘッドセットは、映像を表示するディスプレイとスピーカーで、「Yui」から送られてきた映像・音声を操作者に伝える。さらに、操作者の頭部の動きや目、眉や頬などの顔の部位の変化を捉えるセンサーが取り付けられており、センサーが拾ったデータを伝えることで、遠隔地にある「Yui」の表情も操作者と同じように変化する。また、マイクも搭載されており、操作者が発した声は「Yui」の胸部に搭載されたスピーカーから発声される。
この「Yui」とVRヘッドセットを活用して遠隔コミュニケーションすると、まず操作者には、「Yui」から送られてきた映像や音声を通して、対面者の言葉や様子、その場の「臨場感」が伝わる。一方、対面者には、「Yui」の表情や声音を通して操作者の感情がダイレクトに伝わり、操作者の「存在感」を感じられ、まるで互いに相手と対峙しているかのようなコミュニケーションが可能になる。
「操作者の表情がアンドロイドアバターに反映されることは非常に強力です。実際に私も学生に操作してもらって、アバター越しに話をすることがありますが、話の内容が相手に受けたかどうかがすぐにわかります。アンドロイドアバターも同時に笑顔になるからです。逆に話が伝わっていないときも、アバターの表情が困り顔になるのでわかります。このように心が動かされる体験は、従来のビデオ会議では得にくいものだと考えています」（仲田氏）
筆者も「Yui」とのコミュニケーションを体験したが、目や口、頬の細やかな動きから、操作者の感情が強く伝わってきた。ちなみに、本記事の冒頭写真は、「仲田氏の方に顔を向けて」「そのまま視線はこちらに」「表情は笑顔で」など、「Yui」に向かって細かい指示を出して撮影したが、まるで人間のモデルを相手にしているかのような気持ちが湧いた。それくらい生々しく“人”を感じさせるアバターだった。
「やっぱり対面はいい」がきっかけ
なぜ仲田氏らは「操作者が“憑依”できるアンドロイドアバター」の開発を始めたのか。もともと仲田氏は博士課程において、大阪大学大学院の石黒浩教授の研究室で、ロボットを動かすためのアクチュエーター（駆動装置）などの研究開発に携わっていた。博士課程を修了した後も同研究室の活動に参加し、「ERATO石黒共生ヒューマンロボットインタラクションプロジェクト」にて、身長120cmの子ども型アンドロイド「ibuki（イブキ）」（完全自律駆動型）の開発を担当したという。
この「ibuki」ができあがった頃、JSTの石黒プロジェクト ムーンショット型研究開発事業 目標1「誰もが自在に活躍できるアバター共生社会の実現」がスタートした。そうした中で仲田氏は、「子ども型のアンドロイドを、（自律型ではなく）今度は人に操作させて、人の動きを完全再現したら、どれくらい人らしくなるか」を調べたくなり、同プロジェクトに参加したという。
「ちょうどその頃、ビデオ会議が広く社会に浸透しはじめました。しかし、ビデオ会議が普及し、利便性が高まったにも関わらず、対面で集まったときに『やっぱり対面がいいね』という人が一定数いることに気づきました。だったら、コミュニケーションに必要な機能を可能な限り備えた遠隔操作型アンドロイドを開発し、これを介することで、対面と同等の満足感を得られる遠隔コミュニケーションを実現するとおもしろいのでは、と考えるようになりました。こうした発想も加わって、『Yui』の開発に着手したのです」（仲田氏）
「あえて完全同期しない」ことで生まれる可能性
仲田氏らは、今回開発したアバターシステムを用いることで、近い将来、対面に近い形での遠隔コミュニケーションが実現できると考えている。そのメリットが強く発揮される利用シーンとしては、細やかな気遣いや信頼感が求められる遠隔での教育、医療、心理カウンセリングなどが想定されるという。
さらに、仲田氏の話で興味深かったのが、「表情に“化粧”を施し、感情の伝達効果を調整できる可能性」を示唆したことだ。「Yui」は多様な表情を表現することができるが、この表情をあえて完全同期しないことで、「相手により良い印象を与えたり、外国人とのコミュニケーションをサポートしたりできる可能性が高い」という。
「例えば、外国人と話すときには、より大きく表情を提示するよう調整すれば、コミュニケーションが盛り上がるようになるかもしれません。また（特定の状況で）笑い顔がタブー視されているような文化圏の人と話すときには、その表情を出さないように調整することも可能でしょう。こうした、ある種の人間拡張のような方向に進むと、研究により深みと広がりが出てくるのではないかと考えています」（仲田氏）
現在、仲田氏らの研究グループでは、「Yui」の移動機構とジェスチャーのための両腕の開発に力を入れている。これが実現すると、移動しながらのコミュニケーションや、身振り手振りを加えたコミュニケーションが可能になるとのことだ。
多様な分野でグローバル化が加速する中、遠隔コミュニケーションの重要性は増すと考えられる。そうした中で、相手の存在感や場の臨場感に着目した仲田氏らの研究は、アバターを介するという独自性も含め、注目に値する取り組みと言えるだろう。
関連記事
