演奏のためのデータ計測システム

演奏のためのデータ計測システム

我々は、ピアノなどの楽器演奏における動作をより深く理解するために、演奏中のさまざまなデータを記録し、分析する取り組みを進めています。 このシステムでは、「人の動きから音が出るまで」の一連の過程を、多様なデータで記録することができます。これらのデータを同期して再生・分析し、身体動作と実際の音の関係を多角的に捉えやすくすることで、演奏科学研究に活用するほか、演奏者や教育者に新たな気付きをもたらすことを目指しています。

本システムでは、以下のような演奏に関する多様な情報を同期して計測・記録できます。

・MIDIデータ
・オーディオデータ
・身体の重心（バランス）のデータ
・演奏中の映像データ

例えば、ピアノ演奏時の計測をする場合、マルチアングルカメラやマイクで映像と音声を収録し、同時にMIDIデータを記録することで、「人の動きから音が出るまで」の一連の過程と演奏データを併せて詳細に計測することが可能です。

演奏に関わる様々なデータを演奏と同期して計測

ピアノ演奏の計測では、ヤマハの自動演奏ピアノdisklavier ENSPIRE™ PROを使用することで、上記のデータに加えて楽器本体の動きも詳細に計測することができます。グランドピアノでは、演奏者が指で鍵盤を押すと、複雑なアクション機構を介してハンマーが弦を叩き、音が鳴ります。disklavier ENSPIRE PROには、ハンマーや鍵盤を細かく計測できるセンサーが内蔵されており、私たちはこれらのセンサーから直接データを取得できるシステムを開発しました。グランドピアノの演奏性を損なうことなく、高精度に計測できる点が本システムの大きな特長です。

演奏を多角的に振り返る

映像やセンサーデータといった、異なるモダリティを高精度に同期して記録できるため、演奏という現象を多角的に、統合的に捉えることが可能です。収録した各種データを同期して再生することで、人の動きが音に変換されるイメージを掴みやすくなり、演奏者自身が新たな気づきを得ることができると期待されます。演奏科学分野など、演奏者を理解するためのさまざまな研究に幅広く活用していきたいと考えています。