技術で、アートは加速する。「わかりやすい字幕表示システム」を活用した体験エンタメとは？

J-WAVEの番組「INNOVATION WORLD」では、毎月1名のゲスト講師を招き、週替わりのテーマで学生向けのオンライン講義を行う「KYOCERA TECHNOLOGY COLLEGE」と題したコーナーを展開している。

12月に招いた講師は、パノラマティクス主宰の齋藤精一氏。「アート×テクノロジーはどう社会に貢献できるのか？」というテーマに基づき、ナビゲーターを務める開発ユニット・AR三兄弟の川田十夢と、乃木坂46の早川聖来が、齋藤氏がディレクションしたアンディ・ウォーホル大回顧展「アンディ・ウォーホル・キョウト」と連動して展示されている体験型インスタレーション「Word Logs」や、その技術の一翼を担う京セラの「わかりやすい字幕表示システム」や「『ことば』のアート化」技術の話を中心に深掘りした。

トークは動画でも配信中だ。

体験型インスタレーション「Word Logs ANDY WARHOL KYOTO」とは？

「齋藤さんは僕からしたらパイセン」

こう切り出した川田は、「完全なる先駆者なんですよ。テクノロジーの表現という意味ではだいぶパイセン。齋藤さんたちがいなかったら、AR三兄弟はマジでいない。なので、頭が上がらない人です」と、先駆者への畏敬の念を隠さない。

2006年に株式会社ライゾマティクスを設立した齋藤氏。2016年からは同社アーキテクチャー部門を率いて、都市開発や地方活性化、ICT・スマートシティ実装など、国内外問わず幅広い活動を展開。2020年には社内組織変更に伴い、アーキテクチャー部門を「パノラマティクス」と改め、主宰の座に就く。また、2025年に開催される大阪・関西万博では、「未来社会の実験場」となる「People’s Living Lab（ピープルズ・リビング・ラボ）」で中心的な役割を担っている。 そんな齋藤氏とともに、最初に考えるテーマは「デザインにおける世界の潮流とWord Logs」。

2022年、川田と齋藤氏がかつて審査員を務めた「文化庁メディア芸術祭」が、25年の歴史に幕を下ろした。四半世紀の間、デザインやメディアアートの領域において重要な役割を担い続けたこのアートとエンターテインメントの祭典が終焉を迎えたことについて、齋藤氏は「ショックを受けた」と漏らす。しかし一方で、「役割が変わってきた」ともいい、「僕なんかは、メディアアート、もしくはデザインが社会実装されるフェーズに入ってきたのかなと、楽観的に捉えています。役割が変わったから一旦終了し、メディア芸術祭は次のフェーズに移行してほしいと思っています」と私見を述べた。

「僕も同じように感じている」と川田。「メディアアーティストが世に開放された感がないですか？ 美術館の中だけではなく、社会実装としても役割を担う可能性があると示せる機会だと思う」と説くと、齋藤氏は「いわゆる“ホワイトキューブ”と言われる美術館の中でやるというよりは、もっと『外に出よう』『自然に出よう』となっている気がします」と共感を示した。 齋藤氏は、京都市京セラ美術館にて2023年2月12日まで開催されているアンディ・ウォーホル大回顧展「アンディ・ウォーホル・キョウト」と連動して展示されている体験型インスタレーション「Word Logs」をディレクションしている。本インスタレーションは、どんなものなのか。

齋藤氏：今回京都市京セラ美術館で展示しているアート作品には、ウォーホルが京都を訪れた際にインスピレーションを受けて生み出したことを裏付ける写真やドキュメントがたくさん存在します。京都でウォーホル展をやる意味はそこにあるのではないかと。彼が京都の景色に着想を得て創作活動を行ったように、来場されたお客さんにも何かしらを表現して欲しいと思いました。京セラさんとともに開発した「Word Logs」は、京セラさんの技術をベースに、マイクの前に立ち、画面に表示された質問に答えると、その言葉が文字化され、さらに図形にもなり、ビジュアライズされたグラフィックとなってその場所で表現されていく作品です。鑑賞者の感じた言葉どんどん蓄積(=ログ)されていくところから「Word Logs」と名前をつけました。

先日「Word Logs」を体験したという川田は「『あなたにとっての美しさとは何ですか？』と聞かれたので、『早川聖来』と答えておきました（笑）」と冗談めかして明かすと、早川は「え、ほんとですか？ やった！」と声を弾ませる。川田によれば、言葉としての「早川聖来」が「ウネウネと生まれてくる」といった体験をしたといい、「マイクの前でしゃべった言葉が蓄積されていくんですよ。その言葉が、壁に設置された長い、サイネージにウォーホルの色彩感覚を帯びて表示されているんです。あれはディレクションの妙ですよね」と称賛した。

京セラの中心にあるのは「手の切れるような製品をつくる」との矜持

次のテーマは「“声の落書き”への挑戦」。

ここからは、京セラ株式会社執行役員 研究開発本部長の仲川彰一氏が講義に加わった。

仲川氏は、1988年に京セラに入社。シミュレーション技術の普及と開発、セラミックスの衝撃破壊の研究、「SOFC形燃料電池」などの開発に携わり、2021年4月から研究開発本部の本部長に就任した。材料からデバイス、システム、ソリューションまで幅広い領域で、新たな価値の創造に取り組んでいる。加えて、「Word Logs」のベースとなった「わかりやすい字幕表示システム」「『ことば』のアート化技術」という2つの技術を統括した人物でもある。

「Word Logs」について仲川氏は、「我々がやりたいと思っていることを表現していただきました。技術をアートと絡めて一般の方にわかりやすく伝えていて、すごいと感じましたね」と率直な感想を口にする。 「技術開発をする上で、利便性の追求がありますが、人間には、便利だけでなく心の豊かさも生きていくうえで大事だと思います。心の豊かさと技術をつなげるひとつが、アートを介した新しいアプローチではないかと感じています」

一方の齋藤氏は、京セラの技術をどう解釈し、アートを掛け合わせたのか。そんな質問をしたところ、「僕らは技術の無駄遣いの会社」と前置きした上で、以下のように続けた。

齋藤氏：僕らは、どうやって今ある技術を違う視点で組み合わせ、体験に落とし込めるかということに注力しています。技術は多くの場合、便利さや安全性のために生まれていますが、実はエンターテイメントの加速機だとも考えていて。だからこそ、今回手掛けた『Word Logs』では、仲川さんからご提示いただいた技術を、言い方は悪いですが、どう無駄遣いすれば、来館してくれた方にウォーホルの追体験ができるかを紡いで作り上げました。

ちなみに「Word Logs」のアイデアは“落書き”から始まったのだとか。これはどういう意味なのか、仲川氏に聞いてみた。

仲川氏：「ウォーホルの作品に触れた人の感情を、落書きのようにその場所に溜めていくことができないか」というアイデアが、そもそもの始まりでした。思ったことを声に出し、その声が文字化して残せたら、人はどう感じるのか……。良い感情・良い想いが言葉となってたくさん集まればエネルギーとなり、ウォーホル展のエネルギーと合わさるのではないかという期待もありました。そこで我々の「わかりやすい字幕表示システム」を活用できないかとなり、齋藤さんたちにプロダクトとして仕上げていただいたという事です。

テクノロジーを突き詰めると、利便性・効率性ばかりにフォーカスし、精神的な充足や心の豊かさは置いてけぼりにされがちだ。

しかし仲川氏によると、京セラにはフィロソフィとして「手の切れるような製品をつくる」というものがあるという。これは同社が手掛けるプロダクトは「そこまで想いのこもった研ぎ澄まされたものにすべき」、という考えなのだそう。そんな企業哲学が、技術の無駄遣いを探求し人々が楽しめる体験に落とし込むことを得意とする齋藤氏の創造性と組み合わさり、「Word Logs」が誕生したといって良いだろう。

「字幕表示システム」を用いた学生の面白いアイデア

最後のテーマは「メディアアートと街づくりの接続」。

建築家というバックグラウンドを持つゆえに「街というメディアにすごく興味がある」という齋藤氏は、「メディアアートが数十年の時を経て、ようやく一つの道具になったというか。街の中に入ってきたり、ルールを決める際に使われたりするような技術になってきた気がします」と持論を展開する。

「メディアアートが街の中に入ってきた」

そんな齋藤氏の実感通り、「Word Logs」に用いられた京セラの技術「わかりやすい字幕表示システム」は、 現在、JR東日本・新宿駅をはじめ、日本各地で実証実験が展開されている。

「わかりやすい字幕表示システム」は、音声をリアルタイムで認識し、アクリル板などに表示する技術。事前に登録した単語を自動で強調表示することや、会話に合わせて図解や動画も自動表示することができ、日本語を英語に変換するなど多言語化にも対応している。

ご存じの通り、駅では今、コロナ禍における飛沫防止の手段として、改札口横の案内窓口などにアクリル板が設置されている。実証実験では、そのアクリル板をスクリーンとし、マスク着用やアクリル板を挟むことで聞こえにくくなる会話の補足用などに、本システムが活用されている。

実際に駅で実証実験中の「わかりやすい字幕表示システム」を見たという川田は、「改札口でちょっと困る時って、あるじゃないですか。たとえばSuicaが反応しないとか。そういったアクリル板越しで駅員さんとやり取りしなければいけないタイミングで、ちょっと頼りになる双方の言葉や形があるだけで、だいぶコミュニケーションの質が変わりますよね」と使用感を説明した。

この技術を何かに応用できないか――。この講義に参加した学生にアイデアを求めてみた。

すると、学生の一人からは「最近のミュージックビデオでは、様々なフォントの歌詞を次々と表示し、楽曲の世界観を伝える手法がある」と前置きした上で、「それと同じように、たとえば、落語家さんが話しているときにアクリル板を傍らに置き、面白さを強調するようなフォントを表示すれば、耳が不自由な方でも落語を楽しめるのではないでしょうか」という提案が。これに早川は「すごい。面白いアイデアですね」と感心し、川田も「声の音像みたいなものは、耳の不自由な方は感じられないわけですから、それをフォントで表現すると。ビッグアイデアじゃないですか！」と讃えていた。

そんな、様々な活用法が考えられる「わかりやすい字幕表示システム」について、齋藤氏は「重要な観点として、阻害要因に着目していることが挙げられると思います。アクリル板という人と人を分断する要因になりがちだったものを、コミュニケーションやエンターテイメントのメディアに変えたということが今回のミソだと思います」と評した。

課題解決の目を養う、若手社員を育む環境とは？

京セラでは、こうした新しい技術を創造する若手技術者の育成にも力を入れている。

仲川氏によれば、京セラでは入社三年目の若手社員が、自分で決めた課題に基づき、一年間かけて自由に技術開発に取り組めるのだとか。課題は自分の専門分野や仕事に関連している必要はなく、一から勉強することも可能。実際に、今まで材料の研究をしていた人が、AIを活用してシステムを作るといったチャレンジをしている。こうした施策を行うメリットとして、仲川氏は「『字幕表示システム』もそうなのですが、「『これが課題だな』と掴めるようになるんです。そこから『じゃあ、どうやって解決しようか』と考え、新しい技術が生まれてくる。そういう目が養われるんです」と主張する。

最後に、齋藤氏と仲川氏、それぞれに対し改めて「アートとテクノロジーはどう社会に貢献していけるのか」という質問を投げかけると、次の答えが返ってきた。

齋藤氏：アートの発想には答えがありません。何が正解かわからないものを、とりあえず作りながらだんだん正解が見えてくるものだと思うんです。ビジネスだと通常、『こういうものを作ろう』とゴールに向かって線が引かれていきますが、アートはつぎ足しながら線の方向を決めていくというプロセスが重視されます。そして「Word Logs」もそうですが、テクノロジーの進化はだんだんと“組み合わせてなんぼ”になっている気がしていて。今回、京セラさんと僕らで取り組ませていただいたようなことが色々なところで起きると、それが街にインストールされ、社会の中で技術・表現として、今後ますます活用されていくのではないかと考えています。

仲川氏：アートは心の発現だと思うんです。テクノロジーはどちらかといえば、利便性や目標に向かって進んでいくものですが、こちらも幸せにつながらなければ意味がありません。だからこそ、その2つが融合して向かう先というのは、“心の充足”であるべきではないでしょうか。アートとテクノロジーが組み合わさっていくことで、幸せな社会を作るため、私たちは技術を進歩させ、社会実装を目指していくべきだと考えています。

（構成＝小島浩平）