音に色が見えたり、味がしたり… ビリー・アイリッシュやビヨンセなどが持つ「共感覚」とは？

音に色がついて見えたり、音に味がしたり、数字が色に見えたり、目から音を感じたりする現象「共感覚」について、ゲームクリエイターの水口哲也さんが解説。音に色が見えると語るAAAMYYYもコメントを寄せた。

水口さんが登場したのはJ-WAVEで放送された番組『SONAR MUSIC』（ナビゲーター：あっこゴリラ）。オンエアは11月14日（火）。

【SONAR MUSICは番組公式LINEでも情報発信中】

人間の感覚は、五感くらいじゃ語れない

音に色がついて見える、音に味がしたり、数字が色に見えたり、目から音を感じたりする現象「共感覚（シナスタジア）」。ビリー・アイリッシュ、スティービー・ワンダー、ビヨンセなど名だたるアーティストがこの能力を持っていると公言している。また、ミュージシャンだけでなくレオナルド・ダ・ヴィンチやゴッホも共感覚の持ち主だったと言われている。

今回はSynesthesia Lab（シナスタジアラボ）も主宰し、クリエイターとしては共感覚をテーマにしたさまざまな作品を開発するゲームクリエイターの水口さんに、共感覚について詳しく訊いた。

あっこゴリラ：共感覚は音が色に見える、音に味がする、数字が色に見えるという知覚現象。例えば音に色が見える場合、聴覚という1つの感覚を刺激されることで、色・味といった味覚だったり視覚など複数の感覚に感じることができるもの。1000人に1人が先天的に持っているとされている能力とのこと。水口さんはなぜ共感覚に興味を持たれたんですか？

水口：2001年に「Rez」っていうゲームを作ったんですけど、それは結果的には「共感覚ゲーム」と言われるようになって。サイバースペースを舞台に自分がハッカーとしてその空間を飛んでいて、ウイルスが攻撃してきたりするんですけど、それを打っていくと効果音がどんどん音楽化していって、その音楽が自分が編み出す音楽に変わっていくんです。そこで世界がその音楽に合わせて色めいていったり、世界がだんだん出来上がっていったり、そこで触覚もコントローラーからビートがやってくるような、そういうゲームでした。それを作る過程でシナスタジアを深く知るきっかけがあって、そこからですね。

あっこゴリラ：サイケデリックな音楽を聴いた瞬間にいろんな色が混じり合ってる映像を思い浮かぶ人って多いと思うし、インダストリアルな音楽を聴いたら鉄を想像したり、土着的なビートを聴いたら茶色だって思ったり、そういう後天的に養われる部分もあるのかなって。

水口：もちろんあると思います。先天的なものを持っている人って少ないと思うんだけど、実はイマジネーションも含めて後天的にシナスタジアは全員が持っているものなんですよね。それがクリエイティブの源泉だと思っています。

水口さんは「みんな五感って言うけど、人間の感覚は五感くらいじゃ語れない気がする」と話すと、あっこゴリラも共感する。

水口：例えば、みんなが実感できる五感以外の感覚の中にバランス感覚ってあるじゃないですか。片足上げて立ったときにバランスを取れますよね。このバランスの感覚ってどこの感覚なんだって言われたら五感じゃないですよね。

あっこゴリラ：確かに。

水口：もっと内部的な感覚。人間のもっと奥深くにあって、それが何か作用してる。あとは時間感覚ってのもありますよね。1時間くらいたったとか、今年は早く感じるとか、この感覚ってどこから来るのって。実は五感という表層的なものはほんの一部で、とてもインパクトが強いからみんな視覚とか聴覚に（関心が）いきがちなんだけど、実はもっと中でいろんな感覚があって、それが複合的に絡んでいることなので、そんな単純な話ではないと思います。あと、例えば、「夏の夕立がバッと降ったときのアスファルトの焦げるような匂いを嗅いで、子どもの頃の記憶が一気に蘇る」とかありますよね。複合的に感覚が交差するときにたぶん深い体験とか何かのスイッチが入ったりとか人間はすごくたくさんあると思います。

AAAMYYYが語る、共感覚の世界

では、アーティストは共感覚についてどう考えているのか。Tempalayやソロでも活躍しているAAAMYYYが共感覚についてコメントを寄せた。

AAAMYYY：私が音に色が付きだしたのは幼少期で、例えば長野の山奥が出身なんですけど、みんな農家なので防災無線が流れる地域で。この防災無線で鐘の音が鳴るんですけど、その音はちょっと光沢のあるねずみ色だったり、畑にある発電モーターの音を聴くと黄色い音がするなとか思ったりしていました。スピードスケートの氷の上を滑る音は白だなとかしていたんですけど、それはぼんやりあったイメージだったので、初めてちゃんと色をつけて認識したのは、美術の授業とかで絵を描いて色を塗るときに選ぶ色がおそらくそのとき感じた色だったんじゃないかなって思います。

Tempalayは11月3日に新曲『Superman』をリリース。AAAMYYYはこの曲を例に、曲を色のイメージに例えてもらった。



AAAMYYY：『Superman』のデモがきたときは紫色を感じたり、曲の構成にもいろいろあって、後半の間奏、ラストのサビ前のコード進行が変わる場所はすごくサイケデリックな色味を感じたりして、アルペジオを入れたりシンセサイザーを入れたり、ディストーションをかけた揺らぎのある波形のシンセを入れたりとか、そういう風な感じの表現をしました。あとは映像や色以外で言うと、奮闘してるんだけどうまくいかずフラストレーションを抱えるような様子が、悲しい、さみしいとか、そういうものが感じられたなと私は思って、知らず知らずのうちに曲に昇華されているのではないかなって思います。

そんなAAAMYYYは、曲の色のイメージからジャケット写真やステージや衣装に反映することはあるのだろうか。

AAAMYYY：すごく共感覚でシェアできる最大の要因がこういったアートワークだったりミュージックビデオだったり、ライブでの照明、VJ、そういうものはすごく共感覚多めでできてるんじゃないかなって。これは完全に反映させられてると思います。みんな共通の意識で作ってるんじゃないかなって思います。

共感覚は鍛えられるのか？

番組では水口さんが共感覚のクリエイティブを感じる曲を紹介。ケミカル・ブラザーズの『Star Guitar』をあげた。 水口：ミュージックビデオはミシェル・ゴンドリーが監督をしてるんですよね。それをシンプルに体現している曲じゃないかなって。これはビートに合わせて電信柱が通り過ぎる。最初は錯覚かなって思うんだけど、よく見てると完全にビートは電信柱とか、倉庫はこの音とか、車窓の外を見ててそれと音楽が完全にシンクロしてるっていうのがだんだんわかってくる。これは何回見ても楽しいですよね。ミシェル・ゴンドリーの名作の1つだと思います。

番組後半には、水口さんがこれまでの共感覚をテーマにした数々のゲームを紹介。あっこゴリラは「こういったゲームで、共感覚って鍛えたり伸ばしたりできると思います？」と質問をした。

水口：できると思いますね。これって想像力を拡張するというか、体験すると体験する前と比べると自分自身がアップデートされた体験があって、そこから開いていく感覚ってあると思うんですよね。そういう共感覚体験作品って昔は想像力の世界でアーティストが、例えばカンディンスキーって画家がジャズを聴いて1枚の絵にするとか、それは想像力の1枚を絞り出すような絵だと思うんだけど、それを今度はデジタルのテクノロジーを使って共感覚的な体験ができるような作品にするっていうのは、また発展した面白さがあると思います。

共感覚という体験を拡張していきたい

水口さんも参加した新作ゲーム『HUMANITY』が今話題となっている。この作品は70年以上も歴史がある日本のアートディレクションを称える「ADC賞 2023」において初のゲーム作品としてグランプリを受賞した。 水口：このゲームにはすごく人間が出てくるんです。その人間たちが物理演算で飛んだり跳ねたり、空間を泳いだりとすごく面白い動きをたくさんするんですけど、その人々を柴犬がリードするんですね。プレイヤーはその柴犬になるんです。犬が人間を引き連れて人間をリードしながら危機をどんどん脱出していくようなゲームですね。VRでもプレイできるようにしています。

あっこゴリラ：音楽もこのゲームのために書き下ろしてるんですよね。

水口：全部そうです。Jemapurさんっていう音楽家がいて。Jemapurさん自体も非常に共感覚に深い好奇心と造詣があって、彼自身も人間の可聴領域を越えたような音を入れたりとか。要するに耳だけでは音を聴いてないっていう、肌からも聴いてるよねって。そういう周波数の音も混ぜてみたりする実験もしたり、すごくいろんなことをやってる方ですね。

あっこゴリラ：水口さんは今後、どんなことをやっていきたいですか？

水口：僕もそうだし、僕と一緒に働いてくれているメンバーもみんなそうなんですけど、共感覚っていう体験をどれだけ拡張して、例えばエンターテインメントだけじゃなくて他のこと、ゲーム以外のエンターテインメントって考え方もあるし、よくウェルビーイングって言い方も最近はするじゃないですか。すごくリラックスしたりとか想像力とか拡張させるとか、はたまたもしかするとカタい意味じゃない教育とか、そういう部分とか。

あっこゴリラ：絶対いいと思う！　ゲームの世界も広がってるし、そういうところが生活にもっと溶け込んでいる未来はすごく近い気がしますね。

水口：そういうものを作っていきたいですね。

J-WAVE『SONAR MUSIC』は、月～木の22:00-24:00にオンエア。