AI合奏技術

人に合わせた演奏をAIが生成

人間が演奏している様子をAIがリアルタイムに解析し、それに合わせた演奏を生成する技術です。

AIは、人が演奏している音と演奏曲の楽譜データを照らし合わせ、人の演奏が今、楽譜上のどの部分を、どんなスピードで、どんな抑揚で演奏しているかを解析します。それに対し、少し先の演奏を予測することで、人間の演奏にタイミングを合わせて演奏を生成することができます。

AIの解析は、ピアノ演奏だけでなく、バイオリンやフルート、複数人の演奏、オーケストラといった複雑な音でも解析が可能です。また、人間の演奏の解析結果は、ピアノの伴奏だけでなく、照明・映像など、演奏に合わせた様々な他の装置のマニュピュレーションへの応用も可能です。

仕組み

AIは、大きく3つ観点から人間の演奏を解析しています。

1.音、動作の情報から人の演奏状態を分析

AIは演奏されている音をマイク等で聞き、人間の演奏に含まれる様々な情報を分析します。
また、演奏者の予備動作等をカメラで捉え、演奏のタイミングをより精緻に予測することができます。

2.人間演奏に含まれるミスや揺らぎ、抑揚の推測

AIは、人間の演奏音と楽譜を比較することで、演奏されるテンポや表情を推測します。

人間の演奏にはテンポのゆらぎといった演奏表現や、演奏のミスなどが含まれるため、人間らしい楽譜からの逸脱を踏まえながら比較をする必要があります。そこでAIは、さまざまな曲の「人間の演奏データと対応する楽譜データ」を学習することで、人間の演奏に含まれる典型的なミスや楽譜からの逸脱を学びます。これにより、演奏がつまづいたりミスをしても、適切な対処ができるようになります。

他にも、「盛り上がっている」「静かに弾いている」といった演奏の抑揚も認識することができるようになります。AIも事前に演奏曲の様々な演奏表現を学習することで、人間の演奏の抑揚に併せて伴奏を生成することができます。

また、特定個人の演奏に特化させて学習を行うと、その人特有のテンポのゆらぎやミスの傾向などを学ぶこともできます。

3.タイミングの調整

人間同士の合奏を聴くと一見全員が対等にテンポのコントロールをしているように聴こえますが、実際には各演奏者の音楽的な文脈に応じて、テンポのコントロールをする演奏者は変化します。このような絶妙なタイミングの合わせ方が音楽的な文脈に合った合奏を生み出します。

このような人間同士の演奏特有のタイミング調整を、AIは人間の演奏と対応する楽譜データに基づいて学習します。人間が、どのような譜面のときに相手の演奏者に譲歩し、どのような場面では演奏を主導したのかといった傾向を学習することで、楽譜の文脈に応じてごく自然にタイミングを補正することができるようになります。

応用事例

だれでも第九

2023年12月21日(木)に、サントリーホール ブルーローズで開催された「だれでも第九」にAI合奏技術が技術協力をしました。 AI合奏技術が使用された「だれでもピアノ」は、ピアノの鍵盤を弾くと、その旋律に合わせて伴奏とペダルが自動で追従することで、ハンデや経験、年齢に関係なく、奏者のイメージする演奏をアシストします。 今回、障がいのある3名が、オーケストラと合唱団と、ベートーヴェンの「第九」に挑戦するために、「だれでもピアノ」の技術をアップデートしました。 奏者がよりピアノと一体感を感じ、オーケストラと合唱の中でもピアノが際立つように、「超・低遅延発音」をはじめとした技術を導入。 さらに、3名のピアニストが、オーケストラと合唱の中で輝き、ベストを尽くせるよう、それぞれの弾き方や動きの特徴を踏まえた技術も追加しています。

特設サイト:だれでも第九

プロジェクトセカイ・ピアノ

2021年3月26日(金)から6月27日(日)まで開催された「プロジェクトセカイ・ピアノ」の体験企画にAI合奏技術が技術協力をしました。 「プロジェクトセカイ・ピアノ」は、指定された「千本桜」(作詞・作曲:黒うさ)「青く駆けろ!」(作詞・作曲:まらしぃ)の楽譜を演奏すると、それに合わせてバーチャル・シンガーの初音ミク、星乃一歌(CV:野口瑠璃子)が歌う体験展示です。

レポート:「プロジェクトセカイ・ピアノ」に技術協力

音舞の調べ ~超越する時間と空間~

2016年5月19日(木)に東京藝術大学奏楽堂で開催されたコンサート「音舞の調べ~超越する時間と空間~」で、 AI合奏技術 を用い、歴史的演奏家である故巨匠リヒテルの演奏を甦らせました。 それにより、現代の演奏家のベルリンフィル シャルーンアンサンブルと、故巨匠リヒテルとの時空を超えた共演のステージが可能となったのです。

レポート:音舞の調べ ~超越する時間と空間~

関連項目