Facebookは「触覚」で何をしようとしているのか━━「ハプティクス」研究の最先端

皮膚で聞く━━。触覚を使った情報伝達技術「ハプティクス」が熱い注目を集めている。すでにゲームのコントローラなどに実装された触感再現のみならず、遠隔手術マシンや点字の代替など様々な応用研究も進んでいる状況だ。同分野で革新的なアプロ―チを打ち出したFacebookは、「いいね！」などシンボル化された感情を皮膚への刺激で伝えるSNSの未来を模索中。

私は大学で20年近く触覚の研究をしている。しかし、触覚の研究とはいったい何をするのかわからないというのが一般的な反応ではないだろうか。実は近年、振動や動きにより触覚のフィードバックを与える「ハプティクス（= Haptic、「触覚」を意味する）」というテクノロジーが注目を集めており、この分野ではあのFacebookが存在感を見せつつあるのだ。

人の感覚の研究には大きく分けて三つの分野がある。

一つは人が感覚を使ってどう外界を認識しているかを調べる生理学的な分野。

二つ目は、人と同じような仕組みで人工的に情報を検出するセンサの分野。

三つ目はそういった感覚を人工的に提示する分野である。

五感の中で最も研究されている「視覚」を例にとると、網膜上にあるRGB（赤・緑・青）の三原色に感度を持つ細胞が光の各成分に応じて反応するという生理学的な部分に関する研究や、さまざまなパターンの刺激を見たときの人の認識を明らかにする研究が一つ目の分野だ。

そして、そのような基本的性能を人工的に実現してカメラを作るのが二つ目。

そうやって記録された映像を提示するディスプレイやプロジェクタを作るのが三つ目の分野に該当する。

触覚の研究も基本的にこれらと同じだ。「人の皮膚感覚のセンサを解明する」「ロボットの表面に人と同じような触覚を持たせるセンシングを実現する」「適切な振動・圧力のパターンを提示することで人工的に感覚を再現する」といったテーマについて、世界中で研究が行われている。

ニンテンドースイッチにも生かされている触覚研究

では、このような触覚技術は、どのような分野で利用できるのだろうか。

たとえば、スマートフォンなどの振動は広く普及している触覚研究の成果といえる。最近のiPhoneでは物理的にはボタンが押し込めないかわりに、適切な振動パターンを再現することで、あたかもクリックしたような感覚も再現できる。

近年では特にゲーム会社が触覚研究に力を入れており、コントローラの機能などに生かしている。Nintendo Switchでは「HD振動」という呼び方で高精細（HD: High Definition）な触感であることをアピール。「1-2-Switch」というソフトでは、コントローラの触感再現力を活用し、振動だけで楽しむゲームもある。PlayStation 5のコントローラであるDualSenseは、「ハプティックフィードバック」や「アダプティブトリガー」という新しい機能が話題だ。ボタンの押し込みに対して押し返すような力を生じさせるなどの形で触覚が活用されており、ゲームへの没入感を向上させている。

研究段階の事例としては，遠隔手術マシンのような応用が挙げられる。内視鏡による手術では、映像を頼りに離れたところから鉗子をコントロールして腫瘍を切除するような作業が行われる。その際に、鉗子にかかっている力などを触覚的にフィードバックすることで、他の臓器を傷つけていないかを直感的に理解したり、鉗子の操作性を向上させたり、といった効果が期待される。

これらは人が感じる触感を再現する事例だが、記号的情報を触覚というチャンネルを介して人に伝達するという応用もある。

触覚による記号的情報の伝達として最も分かりやすいのは「点字」だ。目の見えない方が、触覚を介して凹凸のパターンに触れることで、文字情報を理解できるようになっている。しかし、視覚障害者で点字を読める人は実はそんなに多くなく、厚生労働省の平成18年の調査では、「点字ができる」と答えた視覚障害者の割合は12.7%と報告されている。視覚障害者の中には弱視や視野狭窄といったロービジョンの方も含まれ、さらに最近では機械によるテキスト読み上げ技術も普及しているので、必ずしも点字が必要不可欠であるわけではない。とはいえ、視覚の代替情報取得チャンネルとしての点字の浸透率は決して高くはない。

これについて、訓練しなくても触覚を介して文字情報を伝えられないかという研究はいくつかなされている。我々の研究室で以前行った研究では、ペンを握った状態で、そのペンが自動で文字を書くように動くと，それを握っている人はかなりの精度で文字情報を認識できることがわかった。アルファベット26文字について、1秒1文字のペースで9割以上の精度で文字を理解できることが確認されている。

「脳でタイピングして、皮膚で聞く」

このような触覚を介した記号的情報の伝達について積極的に研究しているのが、あのFacebookだ。2年に1度開催される触覚分野最大の国際会議「World Haptics」で、同社は2019年の所属機関別論文採択ランキング1位となった。その数は2位の東京大学に2倍の差をつけている。先日行われた21年の会議では、コロナ禍の影響なのか、発表数は少なかったものの、触覚研究に力を入れているのは間違いない。

Facebookが触覚研究で最初に大きな注目を集めたのは、17年に提唱した「脳でタイピング」「皮膚で聞く」という2つのアプローチだ。人間を「何らかの情報を入出力するシステム」と見なすと、情報出力の多くは音声か手指、あるいはキーボードなどを経由した出力ということになる。一方、情報入力の多くは視聴覚である。二次元的な色と明暗のパターンにより眼球を介して入力するか、鼓膜の振動を介して音として入力するか、である。

Facebookの思惑は、この情報入出力を今までとは違うチャンネルで行うというものである。

情報の「出力」については、声を出したり、手を動かしたりせずに、脳の信号を直接読み取って情報として出力してしまおうと考えているようだ。これが先述の「脳でタイピング」だが、これまでBrain Machine Interface（BMI）という分野で広く研究されてきたトピックでもある。たとえばALS（筋萎縮性側索硬化症）のような全身の筋肉を動かせなくなってしまう病気の患者に対して、頭の中で考えただけで自分の意図を外に向けて発信する応用などが検討されてきた。近年の人工知能（AI）・機械学習技術の進展により、計測された脳波のパターンを適切に解析できるようになってきたという技術的な進展も大きい。Facebookの提案と同時期に、米電気自動車メーカー大手「テスラ」の創業者であるイーロン・マスクが「Neuralink」という、脳に電極を埋め込むことによる能力拡張を提案している。

一方で「入力」では、視覚と聴覚という2つの情報チャンネルのうちどちらを利用するかについて、我々の生活習慣が強く反映されている。たとえば自動車社会のアメリカでは、ポッドキャストのような音声チャンネルを利用した情報伝達が盛んである。運転時には聴覚しか空いておらず、そこを狙っているというわけだ。一方、日本の都市部では、通勤通学時に電車を利用する人の方が多い。電車の中であれば視覚を占有されても安全なので、文字や映像といった視覚で情報を得るほうが効率が良くなる。

ここで新たなチャンネルとして触覚を利用しようというのがFacebookの狙いだ。触覚は、全身に広く分布している感覚である。視覚・聴覚・嗅覚・味覚の四感は目、耳、鼻、口といった局在した感覚器があるため、そこを何かの刺激で占有されてしまうとそれ以上の情報を提示することは難しい。触覚の場合、仮に手でハンドルを握っていても、腕、肩、腹や太ももなど、まだ利用されていない場所が広く残されている。ここに適切な刺激を与えることで、たとえば耳で音声を聞くかのように情報を伝えられれば、車を運転し、音楽を聴いている状態でも、着信したメールのタイトルを確認できる可能性がある。

触れるだけで想いを伝える？

筆者が17年に「皮膚で聞く」という記事を読んだときに、皮膚を介してどれくらいの情報が伝えられるのかという点に一番強く興味を覚えた。精密な文字情報を伝えられるほど触覚は賢くないのではないかと思っていたからだ。アニメ「ルパン三世」のオープニングで、一文字ずつフラッシュのようにサブタイトルが表示される演出があるが、あれを読みにくいと感じる人は多いのではないだろうか。触覚も同様、一文字ずつ記号的に表示されたところで、それを時間方向に繋げて文として理解するのは難しいのではないかと思ったのだ。

19年にWorld Hapticsで発表されたFacebookの成果は、まさにこの疑問に対する2年間の研究を踏まえた回答になっていた。一言で言うならば、精密な文字情報の伝達は想定していない、という内容であった。

では皮膚で何を聞こうとしていたのか？ それは「感情」だ。ある研究では、一人の被験者が腕を出しておいて、別の被験者が特定の情動（喜びや悲しみなど）を伝えるように前腕に触れることを指示される。そのときに、触れられた方が情動をどの程度理解できるかを評価していた。つまり、触覚のみを介して気持ちを相手に伝えられるかという研究である。このような動作時に、どんな触り方をしていたかという分析や、その時、触れられた人の神経はどのように発火していたかを計測している研究なども紹介されていた。

さらに触るだけで感情を伝えるために、主に前腕をターゲットに、どういう装置を使えば必要十分な感情が伝えられるようになるかという、ハードウェア設計についての研究も多く見られた。

つまり、「皮膚で聞く」を実現するために、1）手首や前腕など、手指ではない部位に対して刺激を提示し、2）刺激の仕方によって、喜びや悲しみのような情動を伝達することを目指しているのだ。

これはFacebook社の戦略としては非常に理にかなっているのではないだろうか。SNSでは、利用者が「いいね！」や「悲しいね」といったシンボル化された感情でコミュニケーションしている。この数種類の感情を直感的に感じさせることができれば良いわけだ。

考えてみれば、LINEなどでも、直接コメントを書かずにスタンプで済ませてしまうことが多い。スタンプに付随する感情のニュアンスを何らかの形で伝えられるのであれば、そこに文章は不要だ。そのための新しいチャンネルとしての触覚利用が今後出てくるのではないかと、Facebook社の一連の研究からは感じさせられた。

過剰な情報で、私たちの五感を埋めてよいのか

本稿を書くにあたり、編集者から「感覚がどんどん埋められていくのは、人にとって良いことか？」という疑問をいただいた。これは正直全く考えたことのない視点でありハッとさせられた。

人の感覚を取り扱う情報系の研究者は基本的に、空いている感覚をいかに活用するか、ということを課題としている。近年のスマートフォンの普及により、視聴覚がかなりの時間占有されるようになってきている。たとえば私たちはエレベータで数階上がる程度の時間であっても、ポケットからスマホを取り出してしまう。視聴覚を情報で埋めたがる傾向は、確かに年々強くなっている。

Facebookの戦略は、すぐに埋まってしまう視聴覚と競合しないように触覚も利用していこうというものである。空いている感覚を適切に利用するという情報利用的な観点ではリーズナブルであるが、「感覚がどんどん埋められている」という観点では、少し立ち止まる必要があるかもしれない。

近年、マインドフルネスと呼ばれる瞑想に惹かれる人が増えているのは、埋まった感覚の開放という観点で捉えることができるかもしれない。感覚を埋めるコンテンツ、その隙間の感覚を活用する新しい触覚技術、そして埋まった感覚を開放するための工夫は、ハイカロリーな食事をとりながらサプリメントも摂取し、ジムでトレーニングに勤しむ姿に似ていると言えようか。最初からそんなに情報を摂取しなければ良いのに、と分かっていてもやめられない時代に来てしまっている。

最後に、「触覚は、現状メインで利用されることの少ない感覚である」と述べてきたが、筆者がこれは触覚でなければ成立しない究極のコミュニケーションであると感じている事例が一つある。それは、妊娠中の胎児とのコミュニケーションである。妊婦のお腹の皮膚を介して、胎児が蹴り出す足の振動に生命を感じ、ノックに対するリアクションがあれば喜ぶ、あれは触覚でなければ味わえない感動である。そこには、視聴覚のような潤沢で高密度な情報はない。曖昧で、ときに一方通行な振動のみのコミュニケーションである。これくらいの疎なコミュニケーションで時間を埋める贅沢を人工的にデザインできると良いのだが、生まれくる生命の力には到底勝てないのである。

牧野泰才 1979年、静岡県生まれ。東京大学大学院新領域創成科学研究科准教授。2002年、東京大学工学部計数工学科卒。07年、同大大学院システム情報学専攻博士課程修了。博士（情報理工学）。研究テーマは「触覚を中心とした人と機械とのインタフェースの研究」。

（2021年9月5日フォーサイトより転載）