音で体験を拡張していく「音のAR」取り組みを紹介　

　現在、AR（拡張現実）の利用例としては、「視覚」を中心に設計されているものが多いが、「音」に着目し、「音の拡張現実」を展開するクリエイターがいる。

　株式会社バスキュールテクニカルプロデューサー中山誠基氏と株式会社デジタルガレージDG Labの藤村憲之UX/クリエイティブエンジニア(AR/VR)だ。奇しくもこの二人は大学の先輩後輩で、研究室などで顔を合せていたこともあり、近年も情報交換を行う仲だという。

　異なったアプローチで「音のAR」に取り組む２人に「音のAR」の最新事情を聞いた。

＊　＊　＊

株式会社バスキュール テクニカルプロデューサー中山誠基氏

――まず「音のAR」について、中山さんの活動をお聞かせいただけますか？

中山誠基（以下、中山）：スマートフォンを介してGPSやビーコンなどで位置特定技術が身近になったことでユーザーの位置や動きの検知精度が高くなり、「ネットを介して最適な音を生成・配信することで、街や空間演出を拡張できる」事業を、今年から電通ライブさんと共同で展開しています。（『音声AR』https://onsei-ar.jp/ja/ に詳細）

――「音のAR」の利用例や特性を教えてください。

中山：たとえば美術展です。ユーザーの位置情報を正確に把握し、場所ごとに設定した音声解説やBGMを、スマートフォンのイヤホンで自動再生させます。今までの音声ガイダンスでは、展示物前での手入力が必要でしたが、作品前に移動するだけで音声が変わるので、展示体験に没入できます。

　最初は2018年“FINAL FANTASY 30th ANNIVERSARY EXHIBITION 「別れの物語展」”に採用されました。展示の前に来て「音のAR」で音を聞いた瞬間、ユーザーはファイナル・ファンタジーの世界に没入できます。また、映像と音声が同期するように開発しました。「音」で展示を拡張したわけです。

ハンズフリーで視界も奪わずに体験価値を提供できる「音のAR」

――ユーザーはハンズフリーで展示を回遊できるのですね。

中山：画面を見る必要がないので、歩きスマホの心配もありません。たとえば街を舞台にしたエンターテインメントも創れます。今年7月に、渋谷を舞台にした“ミッションインポッシブル フォールアウト公開記念「渋谷フォールアウト」”イベントに「音のAR」を使いました。これは渋谷の街のあちこちに「時限装置」を仕掛け、参加したユーザーが音声を頼りにみんなで協力しながらそれを解除していくという映画の世界観を体感できるゲームです。

ミツカンミュージアム、音声ARによるアテンドの模様

　また、ミツカンミュージアムのアプリにも採用いただきました。いままでフルアテンドが前提だった展示に「音のAR」でご案内の人が付き添わずに来場者をアテンドできるようになりました。さらに、ユーザーがどのように回遊したかの記録を分析して、より最適なご案内に改善することが可能となりました。

その場所でなければ聴けない曲の価値

DG Labの藤村憲之UX:クリエイティブエンジニア(AR:VR)た

――では藤村さんの「音のAR」活動についてお聞かせください。

藤村憲之（以下、藤村）：「音のAR」のプロトタイプを作り、J-WAVEさんに持っていくと「空間のあるところに音があると面白いよね」と気に入っていただき、また坂本龍一さんが、その場所に行かなければ曲が聴けないというところが逆に面白いと話されていたと聞きました。（『Sound Augmented Reality』https://www.dglab.com/works/sound-augmented-reality/ に詳細）

　そこから組み上げたのが、この10月に行われたJ-WAVE の30周年記念イベントの一環、六本木ヒルズ「SOUND ARTELLIGENCE by Ryuichi Sakamoto」です。お客さんには基本Webブラウザから参加してもらいます。坂本さんの曲が聴けるポイントがヒルズのあちこちにあり、池があるところでは水の波紋が広がり、木が茂っているところでは落ち葉が落ちてくる。上が開けているところでは鳥が飛んでいくという場所に応じたARアニメーションの演出があって、場所に合った坂本さんの曲を聞きながらARの世界を見渡せるんです。鳥が飛んでいる演出では、屋上で見ている時と地上で見ている時の群れの見え方が違うように、「高さ」の情報も考えて調整をしました。風景の中でアニメーションと曲が連動するところで面白さが出てきます。いわゆる「借景」ですね。

六本木ヒルズ内の日本庭園で坂本龍一氏の楽曲を聴く。木々は緑だが、スマホ画面では紅葉が舞う。曲の雰囲気にあわせたARアニメーション

――結果はいかがでしたか？

藤村：イベントの後で記録データを見ると、ARアニメーションの演出次第でお客さんの視線が変化することが判りました。今後、広告やより深い演出のためにユーザー視線を誘導できると思います。また、ストーリー性をもったアニメーションが流れたときが、一番音楽を聴いてくれる時間が長く、音楽プロモーションに役立てられる知見だと思います。SNSを見ると、たくさんの曲のポイントを巡って映像を撮影している方もいたようで、嬉しかったですね。

人間の能力を引き出すテクノロジーの使い方とは

――お２人は今後の「音のAR」についてはどういうビジョンを持たれていますか？

中山：野望としては「人間の能力を奪ってしまったスマートフォンから目を離させる」ことですかね。人間がスマートフォンの画面に没頭する姿勢は美しくない、と感じています。電車で画面を見ている姿。その姿勢って「視界」と「指」の両方を奪っています。その情報が「音のAR」で受信できれば両方とも解放されますよね。

藤村：音声というのは自由を奪わないですよね。中山さんが話した渋谷のイベント、ああいうものは「音」だと楽にできますね。また、開放感があるところで聞く音と、こもったところで聞く音は違うはずです。その場での音の聞こえかたを操作できれば、もっと面白い演出が可能だと思います。次回はより音を使いたい。

中山：テクノロジーって人間の能力を劣化させている部分もあるんじゃないかと。もっと人間の能力を引き出すようなテクノロジーの使い方。「音のAR」ってその可能性があると感じます。音だけでいろんなイマジネーションを広げたり、過去の記憶をよみがえらせたり、そこが価値ですかね。

藤村：「そこでしか聞けない音楽が街の中にある」ことで街の体験や人の流れが違ってくるんじゃないかと。

中山：最先端のところをやっているつもりはありません。テクノロジーがあふれた中で、「音」という制限されたものを使ってどれだけできるのか。動体検知の技術などのインフラが進むことや、藤村さんがおっしゃった「音の作り方」でいろんなことができるようになると思うし、早くそういう世界にいきたい。こういうご縁なので、何か一緒にできることがあればいいですね。ぼくらはアプリですし、藤村さんたちはWebブラウザでやられている。アプローチは違うけれど向かう方向は一緒じゃないかと思います。

藤村：こちらこそよろしくお願いいたします。