MEcholocation

概要

エコロケーションとは？

エコロケーションとは音の反響を頼りに物の位置や形を認識する能力のことで、一般的にはコウモリやイルカなど一部の動物が持っていることで知られています．
驚くべきことに、世の中にはエコロケーションの能力を会得した人がいます． 例えば，ダニエル・キッシュ氏は視覚に障害があるにも関わらず，助けを借りることなく歩いたり自転車に乗ったりできます． 人間の可能性の1つとして素晴らしいことですが，このような事実はあまり知られていません．

作品の目的

エコロケーションをあくまでエンターテインメントとして疑似体験していただき知っていただくことが本作品の目的です．
MEcholocation は「見えない」という一見するとネガティブな体験を、見えない“のに“歩けた、座れた，触れた。そんな不思議で夢中になれるものへと昇華させたいという思いで製作しました．

体験の準備と流れ

体験の準備はまず，iPhone13Proに搭載のLiDARセンサで体験する部屋を3Dスキャンするところから始まります．次にスキャンしたモデルをBlenderで修正，Unityに導入してMetaQuest2にビルドします． ビルドしたアプリケーションをQuest2上で開き，現実世界と位置合わせを行ったら準備完了です．
体験時には，体験者の声をQuest2内蔵のマイクで拾い舌打ちを検知します．舌打ち音を検知したら音に見立てた弾を発射します． 弾は位置合わせされたモデルに反射するため物の位置を把握することができます．
体験の前半は，現実世界の輪郭が見える状態で練習を行えます．この際，現実世界はQuest2のパススルーカメラごしに見ることができます． 体験場所のどこかにある赤いボタンを手で押すと現実世界の輪郭は消え真っ暗になります．

LiDARセンサについて

LiDAR センサは光の反射を元に物体までの距離を測定するセンサです。自動車の後方検知システムなどにも用いられてきました。 iPhone12Pro からは一部の機種の iPhone にも搭載されています。今回は AppStore にて配信されているアプリ 3DscannerApp を用いて iPhone で部屋を 3D スキャンしました。 このように、スキャンした場所ならばどこでも体験場所にできるのがMEcholocationの強みです。 また、より高精度かつ遠距離まで対応したLiDAR センサがあれば、巨大なフィールドで体験することも可能となります。

舌打ちの検知

本作品では舌打ち音の検知はマルチレイヤ―パーセプトロン(MLP)を用いました． MLPはニューラルネットワークであり，誤差逆伝播法を用いて機械学習を行うことができます．
モデルへの入力は、音量の分散、周波数の最大値に加えて音量、周波数それぞれの 1024 個の値を16 個のデータに圧縮し用いました。 さらに、１つ前のデータも用いたため合計 68 個の値を入力しています。（68 次元） 隠れ層は 128 個、出力層は、舌打ち、拍手、舌鼓、それ以外の計 4 個のユニットで構成されています。
学習には 37,851 個のデータを用いました。これは、製作メンバーを含めた岐阜大学生 10 人程度から集めたものです。 学習途中、大きな声を短く出すと舌打ちとして検知されてしまうことが分かったため、これらの音を学習データに加えながら学習を行いました。
学習した結果、精度は大きく向上しました。MLPは SEED Stage 時の設定と比較して、誤検出データは 624 個から37 個まで減少しました。

ハンドトラッキングとパススルー

ハンドトラッキングとは、手や手のポーズを測定する技術です。Meta 社のハンドトラッキングAPI は 2020 年 12 月に実装されました。 Meta 社製の特徴として、トラッカーを必要とせず画像処理のみでハンドトラッキングが行える点が挙げられます．
内蔵カメラから外の画像を VR 内に出力する技術をパススルーと言います。 安全のために使われることが多いですが、我々はこれを体験の一部に活用しました。 Meta 社製のパススルー API は 2021 年 11 月に実装されたものです。
このように，MEcholocationはリリースされたばかりのAPIを利用して製作しました．

謝辞

謝辞の前にまず，MEcholocationがどのように生まれたのかを語らせてください． MEcholocationは，そもそも岐阜大学の実験の授業のために製作された作品です． メンバーは6人．チーム決めは一瞬で決まりました． この授業では，「どんなに小さな分野でもいいから世界一のものを作れ」といわれ，3週間にわたりアイデアを考えた結果生まれたのが「エコロケーション体験」でした．
完成した作品に対して授業内の投票では，同コースの生徒による投票で過半数以上の票をいただきました． そして，コンテストに出そうという話になり，チームのうち3人でIVRCに応募しました．
ここからは本当に驚きの連続で多くの方に評価していただき，ついにはフランスにも作品を持っていけることになりました． このような経緯から，感謝しなければならない方がたくさんいらっしゃいますのでここに記します．

木島竜吾准教授
授業の担当教員で小木曽君の指導教員です．授業のころからアドバイスを多くいただきました．IVRCやLavalへの応募を薦めてくださったのも木島先生でした．心から感謝申し上げます．

白井暁彦様
Laval Virtualへの応募の際にサポートしていただきました．作品についても高く評価していただき，フランスに行く決意が出来ました．心から感謝申し上げます．

小木曽君，酒井君
IVRC応募時のメンバーです．われらが代表の小木曽君，ポスターや動画など色々な面でサポートしてくれたのが酒井君です． 阪井を入れてこの3人は誰が欠けても絶対に作品は完成しなかったと思います．心から感謝申し上げます．

森君，脇田君，大河内君
授業時の開発メンバーです．原案を出したのが森君，MEcholocationという名前の命名者が脇田君です． 3人ともBlenderでのモデリングを1から学んで，手伝ってくれました．心から感謝申し上げます．

プレイしてくださった方，Twitter等で興味を持ってくださった方
様々なアドバイスやお褒めの言葉をいただきました．Twitterでも本当に多くの反響をいただき勇気が出ました． 心から感謝申し上げます．