演奏のためのデータ計測システム PRISM

楽器演奏の中で、人はどのように身体を使い、その動きがどのように音へとつながっていくのか。私たちは、ピアノなどの楽器演奏における動作をより深く理解するために、「人の動きから音が出るまで」の一連の過程を多様なデータとして記録・可視化するシステム「PRISM（Performance Recording & Integrated Synchronized Multimodal System）」を開発しています。このシステムを活用し、研究者や音楽コミュニティとの共創活動を促進することで、教育分野や演奏科学分野など、演奏者への理解を深めるためのさまざまな研究に貢献することを目指しています。

演奏者一人ひとりが、音楽と深く向き合える体験のために

私たちは、演奏者一人ひとりが、より自由に、より深く音楽と向き合えるような演奏体験を支援したいと考えています。それは、単に演奏技術を高めるためだけではなく、より多くの人が、長く、楽しく楽器と付き合えるようにすること、そして、上達の過程で感じる分からなさや行き詰まりを、一人で抱え込まなくてすむ環境をつくることです。

楽器を演奏することは、正解をなぞる作業ではなく、自分の身体や感性を通して音楽と対話する、非常に個人的で創造的な営みです。その一方で、演奏が思うようにいかずに悩んだり、「自分には向いていないのでは」と感じて楽器から離れてしまったりする人が少なくありません。演奏の中で何が起きているのかを客観的に理解できれば、無用な不安が減り、演奏の試行錯誤そのものを楽しめるようになると考えています。

計測による科学的支援を楽器演奏へ

例えばスポーツの分野では、高速カメラやセンサー、AIによって動作や身体の状態を可視化し、感覚だけに頼らない上達支援が広く普及しています。一方、楽器演奏の分野では、演奏を撮影してフォームを確認することはあるものの、動きと音の関係を客観的に捉える手段はまだ十分とは言えません。そのため演奏上の課題が分かりにくく、上達までの道のりが遠回りになることもあります。私たちはスポーツ分野で培われてきたような科学的支援を演奏分野へ広げ、演奏者が自分の状態を理解しながら、より豊かに音楽と向き合える体験を支えたいと考えています。

楽器演奏では、奏者の動きと音の関係に加え、楽器の状態や個体差、部屋の響きなど多くの要因が重なり、音が複雑に変化します。いつも通り弾いたつもりでも音が違うと感じる背景には、体調や力の入り方、環境の変化など本人が気付きにくい差があります。そのため、演奏中に何が起きているのかを、正確に計測し可視化することが重要です。特に演奏の「再現性」を支えるため、うまく演奏できた／演奏できなかった時の状態を記録し、客観的に振り返れるフィードバックを提供したいと考えています。

演奏データ計測システム PRISM

私たちは、演奏中のさまざまなデータを記録するシステム「PRISM」を構築し、分析する取り組みを進めています。このシステムでは、「人の動きから音が出るまで」の一連の過程を、多様なデータで記録することができます。これらのデータを同期して再生・分析し、身体動作と実際の音の関係を多角的に捉えやすくすることで、演奏科学研究に活用するほか、演奏者や教育者に新たな気付きをもたらすことを目指しています。

本システムでは、以下のような演奏に関する多様な情報を同期して計測・記録できます。

・MIDIデータ
・オーディオデータ
・身体の重心（バランス）のデータ
・演奏中の映像データ
・呼吸に関するデータ

これらの計測を組み合わせることで、楽器演奏中に起きている現象を多面的に捉えることができます。例えば、ピアノ演奏時の計測をする場合、マルチアングルカメラやマイクで映像と音声を収録し、同時にMIDIデータを記録することで、「人の動きから音が出るまで」の一連の過程と演奏データを併せて詳細に計測することが可能です。

ヤマハの持つ独自のセンサーによるピアノ演奏計測

ピアノ演奏の計測では、ヤマハの自動演奏ピアノDisklavier ENSPIRE™ PROを使用することで、上記のデータに加えてピアノ内部の動きも詳細に計測することができます。グランドピアノでは、演奏者が指で鍵盤を押すと、複雑なアクション機構を介してハンマーが弦を叩き、音が鳴ります。Disklavier ENSPIRE PROには、ハンマーや鍵盤を高精度で計測できるセンサーが内蔵されており、私たちはこれらのセンサーから直接データを取得できるシステムを開発しました。グランドピアノの演奏性を損なうことなく、高精度に計測できる点が本システムの大きな特長です。

このシステムを使うことで、ピアノ演奏者の演奏動作によって、鍵盤やハンマーがどのように動き、演奏がどのように生み出されているのかを詳細に観察できるようになります。さらに、モーションキャプチャーシステムなどと組み合わせることで、どのように体を動かして、鍵盤を操作し、その結果ハンマーがどのように動いて最終的に音となって耳に届くのかまで、すべて観察することができるようになります。

このように、演奏者の身体の動きから楽器内部の挙動、そして音に至るまでを一体的に捉えられる点が、PRISMの大きな特長です。

今後の展望

このシステムの開発により、演奏をデータとして捉えることは可能になりましたが、「集めたデータをどう活かせばよいのか」はまだ手探りの段階です。楽器や奏法は驚くほど多様で、私たち一企業の視点だけでは見落としてしまう要素も少なくなく、どんな計測が演奏の上達に本当に役立つのかも一概には言えません。だからこそ私たちは、この分野を世界中の研究者、演奏家とともに発展させていく必要があると考えています。さまざまな研究者、演奏者がこの領域の研究に一緒に取り組めるように、PRISMシステムのオープンソース化や収録したデータの公開を検討しています。世界中の協力を得ながらこの領域の研究を推進し、演奏者のための科学的なサポート実現に向けて活動していきます。