高度なものづくりの技を記録・伝達するには触覚「編集」が必要

　少子高齢化に伴い、ものづくりの分野では、職人の高度な技能の伝承が大きな課題となっている。職人の動作を映像で記録し、AIで分析するなどの取り組みも進められているが、工具で「削る」「擦る」といった際の繊細な“触覚”が頼りの作業は、記録、伝達が難しいため忠実に再現することも難しい。

　こうした課題を解決するため、人間の触覚を記録・伝達・再現するシステムの開発が進められている。

　NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）の「人工知能活用による革新的リモート技術開発プロジェクト」において、国立研究開発法人産業技術総合研究所（産総研）、東北大学、筑波大学、AIスタートアップの株式会社Adansons（宮城県仙台市）が共同開発した「双方向リモート触覚伝達システム」もそのひとつだ。

「双方向リモート触覚伝達システム」は、産総研らが開発する極薄ハプティックMEMS（Micro-Electro-Mechanical Systems）を用いた「触覚デバイス」と、東北大学などが開発する「触覚信号編集技術」を組み合わせたもので、指先で触れる触覚情報を手首で計測し、その情報を他者に伝えることが可能となる（冒頭画像を参照）。

　共同研究ではシステムの実用例として、「リアルな触覚を再現するAR技能教育システム（東北大学）」や「擬似心拍振動による社会交流促進の実証と心拍数共有アプリ（筑波大学）」などが開発された。

　今回は東北大学 大学院情報科学研究科／タフ・サイバーフィジカルAI研究センター教授の昆陽雅司氏に、「双方向リモート触覚伝達システム」やその要素技術、そして実用例として開発した「AR技能教育システム」について聞いた。

“触覚”を気軽に記録・伝達するために

　昆陽氏によると「双方向リモート触覚伝達システム」とは、NEDOの支援のもとで産総研、東北大学、筑波大学、Adansonsが共同開発したもので、東北大学が担ったのは「触覚の情報を伝達する際の信号処理」と手首につける「デバイスのプロトタイプ」の開発だ。

「全体のコンセプトは、手首にスマートウォッチのようなデバイスをつけておくだけで、何かの触覚情報を取得し、その再現も同じデバイスでできるシステムを作ろうということです。その際、手先から手首に伝わってくる振動情報を記録し、別の人と共有することでリッチな体験を再現できるということが、本プロジェクトを通して確認できたことになります」（昆陽氏）

　このシステムの用途としては「心・技・体」に関わる3つのジャンルを想定しているという。「心」は心情に関わるもの。たとえば観光プロモーションとして、観光名所や伝統芸能を体感して楽しんでもらうといったケースだ。「技」は、医者や職人の技能教育などで利用するケースが想定されている。「体」は、触覚を生み出すその人自体に価値がある場合を想定したもので、たとえば有名野球選手がホームランを打った時の体感やアイドルとの握手会の体感などを提供するものだ。

「こうしたものを目指して、手軽に触覚を記録し伝達できるデバイスを作ろうと。そのための研究開発に皆で取り組んだプロジェクトになります」

触覚の“知覚量”を定量化する技術

　同システムの実現にあたり重要な役割を担ったのが、昆陽氏らが以前から開発してきた「触覚の知覚量を定量化したうえで、触覚信号を処理（編集）する技術」だ。これはどういったものなのか。

　前提として昆陽氏は「触覚が伝わる仕組み」について解説してくれた。たとえば鉛筆を持って文字を書く際には、まずペン先で摩擦が起こり高周波の振動が発生する。このとき私たちは、振動を「指先だけ」で感じているのではなく「手全体」で感じているという。

「いわば指先が“震源地”となり、その高周波の振動の波が手全体に伝わっていきます。実は我々は体の中に、この高周波の振動を感じる敏感な触覚センサー（触覚受容体）が分布しており、その振動の広がり方そのもののが、接触感や臨場感に関係していると考えられます」

　こうした触覚の仕組みを解明していく中で、昆陽氏らが開発したのが「伝わってくる振動波形のうち、どの要素（特徴量）を人が感じているのかを定量化」する技術だ。昆陽氏によると、人は“震源地”から伝わってくる振動の波をそのまま知覚しているわけではない。振動の波形は、たとえば下図の赤色の波線のように細かい波で構成されるが、人はこれら小さな波形を個別に捉えているのではなく、大雑把な波の“一山”（下図の緑色の線）として知覚しているという。昆陽氏らは、こうした人が知覚している成分（特徴量）を検出（定量化）することに「世界で初めて成功した」とのことだ。

「この触覚の知覚量を定量化できたことは非常に大きな意味を持つ」と昆陽氏は胸を張る。定量化できたことにより、たとえば何かの道具で部品を削るといった際の「強く削っている」「弱く削っている」などの体感を、ヒートマップのように色分けして可視化できるようになる。

　さらに大きなメリットとして、スマートフォンやゲーム機を振動させるために搭載されている簡易的なバイブレーターでも、もとの現象に近しい触覚を再現できるようになるという。

　たとえばスマートフォンやゲームのコントローラーに多く使われるリニア共振型のバイブレーターは、再現できる振動波形の周波数帯が100から200ヘルツ程度の狭い範囲に限られる。そのため従来であれば、もともと記録した振動の波形が幅広い周波数帯であった場合、そのまま再現することはできなかった。

　一方、昆陽氏らの技術を使った場合、まず起こった現象（振動）から知覚量を算出し、（その知覚量だけを再現するように簡易化したうえで）バイブレーターで再生できる周波数の波形に変換（編集）できる。そうすると、スマートフォンなどのバイブレーターであっても、元の幅広い周波数帯に近しい触覚を得られるとのことだ。

「これまでもバイブレーターで再生できない場合、別の波形に変換する方法がいろいろ試されていました。しかし、もともとの知覚量を算出できていなかったため（変換後の波形を）わりと試行錯誤的に決めていたのですね。それをきちんと人の特性に応じて変換できるようになったことが、一番のメリットだと自負しています」

技能伝承を支援する仕組み

　では「双方向リモート伝達システム」の実用例として、昆陽氏らが開発した「AR技能教育システム」とはどういったものだろう。

　冒頭で書いたように、ものづくりの分野では職人の高度な技能の伝承が大きな課題となっている。これを効率的に行えるよう支援するのが「AR技能教育システム」だという。

　具体的には、まず教師役の技能者の振動体験（触覚知覚量）および視覚体験を、手首に装着した腕輪型デバイスとヘッドセットに装着したカメラで記録する。次に技能を学ぶ作業者は、腕輪型デバイスとAR（拡張現実）ヘッドセットを装着したうえで、教師役と同じ作業をする。

　すると、教師役の振動体験を忠実にバイブレーターで追体験でき、なおかつARヘッドセット上で教師役が作業する際の力の入れ具合がカラーマップで表示されるなどし、効率よく技能を学べるという。

　もう一点興味深いのは、「手首からの振動の伝わりやすさの個人差」が“補正”できる点だ。手順としては、事前に簡易なキャリブレーターを握り、肉のつき方や手の大きさなどに起因する振動の伝わりやすさの特性を計測する。そのうえで「AR技能教育システム」を利用すると、キャリブレーターで計測した情報をもとに振動の伝わりやすさの個人差を補正してくれるという。

　実際に昆陽氏らが行った、教師役のヤスリがけを再現する実験では、補正なしの状態に比べ、補正や作業の可視化を行った場合、より正確に作業を再現できるようになった（下図参照）。

　今後、昆陽氏らは「触覚の知覚量を定量化したうえで、触覚信号を処理（編集）する技術」をコア技術とし、「触覚体験をアーカイブし、共有できる世界を創る」をミッションに掲げたスタートアップを立ち上げる予定だ。

　想定する顧客は、触覚を取り入れたコンテンツを配信したいコンテンツプラットフォーマーや、触覚データを使ったコンテンツを作成したいゲーム／XRクリエイター。そして、職人の技術継承などを行なっており、触覚の記録・伝達そのものに価値を見出す企業だという。

　昆陽氏らの事業が立ち上がり、サービスが普及すれば、ものづくり分野の技術伝承が進むだけでなく、これまで特定の人物に閉じられていた豊かな技や体験があちこちでシェアされる世の中になるだろう。