バーチャルオーケストラを指揮しよう！

バーチャルの東京都交響楽団を指揮

2019年9⽉14⽇から16⽇に東京芸術劇場で開催された『TOKYO MET SaLaD MUSIC FESTIVAL 2019 （サラダ⾳楽祭）』で、指揮棒の動きに合わせ、巨⼤スクリーンの向こうの東京都交響楽団（都響）が指揮棒の動きに合わせて演奏するバーチャルオーケストラシステムを出展しました。「サラダ⾳楽祭2019」の⽬⽟企画の1つとして東京都のニュースリリースでも⼤々的に取り上げられ注⽬を集めました。

⾃ら⾳楽を⽣み出すことの楽しさ・難しさを体感してもらう

「サラダ⾳楽祭」にはこの前年もAIピアノを使ったインタラクティブな体験ワークショップ協⼒しましたが、この展示ではさらに全⾝で⾳楽を感じ、操る体験ができる「指揮」をバーチャルオーケストラとして実現しました。フルオーケストラを前に、⾃ら⾳楽を⽣み出すことの楽しさ・難しさを体感してもらうことで、⾳楽を能動的に奏でることに対する理解が深まり、オーケストラや楽器にも興味が湧くことを狙いました。

5つの観点から企画

指揮者になり切るにはどうすれば良いか？このバーチャルオーケストラを実現するに当たっては、「本物の指揮者体験に迫る本格的な体験価値を提供したい」と企画の初期段階から、5つの観点で企画を作り上げていきました。

1.「本物」を体験すること

実際の演奏会場としても使われる「東京芸術劇場シアターウエスト」を体験会場にし、本物のステージに⽴って観客の前で指揮をする設定にしました。さらに指揮者になりきるため、指揮者の正装である燕尾服を⽻織ってもらいました。

サイズ違いを揃えた燕尾服

指揮者になりきって指揮棒を振る体験者

2.「臨場感」を再現すること

指揮台の上に⽴つ⼈だけが経験できる特別な臨場感を再現するため、巨⼤スクリーン3枚、スピーカ14個による映像と⾳のバーチャル再⽣環境をステージ上に設置しました。これにより、本物のオーケストラを前にしたかのような超迫⼒映像と⾳を実現しました。

3. 真剣さを楽しむこと

ステージに上がる前に指揮棒の振り⽅の基本を楽しく⾝につけてもらうよう、現役指揮者によるレクチャーを実施。オーケストラにおける指揮者の役割や⼼構えを伝授したほか、⾃然な指揮棒の振り⽅の中にシステムを正しく操るためのコツを織り交ぜたトレーニングを⾏いました。

4. 専⽤コンテンツの準備

今回の再⽣環境をフルに活かせる演奏映像と⾳の収録は、都響の全⾯協⼒の下、コンサートマスター⽮部達哉さんのイニシアチブにより、60⼈もの正装した団員の皆さんと東京芸術劇場コンサートホールで実施しました。⾳の収録には、ヤマハの⽴体⾳響録⾳⽤マイク（ViReal Mic）を指揮者位置と客席中央の2か所に配置。映像収録は（株）IMAGICA Lab.の協⼒で、ファンレスで録⾳に影響を与えない8K/360°カメラ「Jaunt ONE」を指揮者位置に配置しました。

5. 収録時の演技指導!?

本来指揮者が⽴つ位置にはマイクとカメラしかないので、団員の皆さんには「あたかも指揮台に、⼀⽣懸命指揮棒を振る⼩学⽣がいる」イメージで演奏をしていただきました。さらに、カメラの⾼さをあえて⼦供⽬線にすることで、投影された時の臨場感をより⾼める⼯夫を加えています。

システムの開発

システム開発に際しては、指揮動作の柔軟で安定したセンシング、⾼解像度映像の撮影と投影、17chもの⾳と映像の指揮動作に連動した滑らかな再⽣制御など、多くの課題解決に取り組みました。ヤマハが保有する主要な技術を組み合わせてシステム化する過程で、さらに性能を磨きました。

450⼈もの方がステージに登壇

3日間の会期中には、450⼈もの方がステージに登壇。最も多かったのが⼩学⽣の体験者でした。親⼦で順番に体験する⼈たちも数多くいました。すごく⾃然に演奏を引き出す指揮があったり、⼒み過ぎてぎくしゃくした演奏になる指揮があったり、同じ曲でも振り⽅でここまで違った反応をするのかと感じるほど。
演奏が終わり、客席を向いてお辞儀をするときのお客さまの表情が、皆「やり切った」という笑顔で、⼼から拍⼿を送りたい気持ちになりました。また、ロビーに設置したフォトスポットで記念写真を撮る姿や、会場を出るときに指揮をしながら歩く姿を⾒ると、今回の企画に込めた想いを少しでも体験者へ伝えることができたのではと思います。