AI合奏技術

人に合わせてAIが演奏

音楽は一人で演奏するもののほか、複数人で合奏するものが多く存在します。プライベートの時間に練習するときや、演奏仲間と集まることが難しいときは、合奏の一部を一人で演奏することになるため、どうしても物足りなく感じてしまいます。いつでもどこでも自分の演奏に付き合ってくれる相手がいれば、毎日の楽器演奏がより楽しくなるでしょう。ヤマハでは、一緒に演奏を楽しんでくれる、合奏パートナーとしてのAIを開発しています。

AIは人が演奏している音とその曲の楽譜をリアルタイムで照らし合わせ、その人が今、楽譜のどの部分を、どんなスピードで、どんな抑揚で演奏しているかを解析します。今演奏している部分から少し先の部分をどのように演奏するかを予測することで、人の演奏にタイミングを合わせて演奏します。

この解析はピアノをはじめ、バイオリンやフルートなど単一楽器による演奏のほか、複数人による演奏や、オーケストラによる複雑な演奏でも可能です。また、合奏だけでなく、照明や映像などの装置のマニピュレーションにも応用でき、演奏に合わせてさまざまな演出を施すこともできます。

仕組み

AIは、主に3つの観点から人間の演奏を解析します。

1.音、動作の情報から人の演奏状態を分析

人が演奏している音をマイクで捉え、演奏に含まれるさまざまな情報を分析します。また、演奏者の動作をカメラで捉え、演奏のタイミングをより精緻に予測することもできます。演奏音をライン入力で取得したり、動作をセンサーで感知したりして分析することも可能です。

2.演奏に含まれるテンポの変化やミス、抑揚の推測

人の演奏音と楽譜を比較することで、これから演奏されるテンポや抑揚を推測します。人間が演奏する際は、テンポに緩急をつけて感情表現をしたり、時にはミスしたりして、楽譜から逸脱するものです。AIはこのような人間ならではの逸脱を踏まえながら、演奏と楽譜を比較する必要があります。そこで、さまざまな曲の楽譜と人間の演奏を学習することで、人間の演奏における典型的な逸脱を学びます。これにより、演奏している人が何らかの表現のためにテンポを変えたり、思わずミスしたりしても、演奏者のタイミングに合わせて合奏できるようになります。

他にも、AIは「盛り上がっている」「静かに弾いている」といった演奏の抑揚も認識することができます。事前に演奏曲のさまざまな演奏表現を学習することで、実際の合奏では、演奏している人の抑揚に合わせることができます。また、特定の人の演奏に特化させた学習をすることで、その人特有のテンポの変化やミスの傾向などを学ぶこともできます。

3.タイミングの調整

人間同士の合奏を聴くと、全員が対等にテンポを揃えているように感じます。しかし実際には、各演奏パートが持つ音楽的な文脈に応じて、テンポを主導する人が変わり、他の人はそのテンポに従ってタイミングを合わせています。このような絶妙なタイミングの合わせ方が、音楽的な文脈に合った合奏を生み出します。

こういった人間同士ならではのタイミング調整を、AIは人間の演奏とその楽譜データに基づいて学習します。学習したいパートについて、人間が演奏する際にどのような譜面で主導するか、または譲歩するかという傾向を学習しておくことで、合奏時に楽譜の文脈に応じて、ごく自然にタイミングを合わせることができるようになります。

人と影響し合うAIへ

複数人で演奏する際は、誰かが誰かに一方的に合わせるのではなく、お互いに理解し合ったり、影響を与え合ったりしながら、合奏を創りあげるものです。AIが自分の意図に反応してくれる上に、自分では気付かなかった方向に導いてくれたら、AIとの合奏がさらに面白く、手ごたえのあるものになるかもしれません。今後は演奏している人の意図をより深く理解し、人にインスピレーションを与えながら合奏するAIを実現したいと考えています。

応用事例

だれでも第九

2023年12月21日（木）サントリーホール ブルーローズにて、コンサートイベント「だれでも第九」が開催され、障がいのある3名がピアニストとなり、オーケストラと合唱団とともにベートーヴェンの「第九」を披露しました。

このとき、ピアニストの演奏を影で支えたのが、AI合奏技術を活用した演奏アシストシステム「だれでもピアノ」です。このシステムは、奏者がピアノの鍵盤で指定の旋律を弾くと、それに合わせて伴奏とペダルが自動的に追従して演奏をアシストするもので、年齢や経験に関係なく、どんな人でもピアノを通して、自分の想いや感情を表現することができます。このシステムを主軸とした技術支援により、音楽を届けたいという熱意があれば、誰もが、誰とでも、演奏によってその想いを実現できることを示しました。

特設サイト：だれでも第九

プロジェクトセカイ・ピアノ

AI合奏技術を搭載した「プロジェクトセカイ・ピアノ」が、2021年3月26日（金）から6月27日（日）まで全国のヤマハの楽器店などで展示されました。「プロジェクトセカイ・ピアノ」は、AI合奏技術をベースとし、演奏者が指定の曲を弾くと、それに合わせてバーチャルシンガーが歌ってくれる機能を搭載した電子ピアノです。展示では、「千本桜」（作詞・作曲：黒うさ）や「青く駆けろ！」（作詞・作曲：まらしぃ）の指定の楽譜を演奏すると、それに合わせて初音ミクや星乃一歌（CV:野口瑠璃子）が歌うように設定し、バーチャルシンガーとの掛け合いを多くの体験者に楽しんでいただきました。

レポート：「プロジェクトセカイ・ピアノ」に技術協力

音舞の調べ ～超越する時間と空間～

2016年5月19日（木）に東京藝術大学奏楽堂で開催されたコンサート「音舞の調べ～超越する時間と空間～」で、 AI合奏技術を用い、歴史的演奏家である故巨匠リヒテルの演奏を甦らせ、現実の奏者と合奏可能な状態にしました。 これにより、リヒテルと現代の演奏家ベルリンフィル シャルーンアンサンブルとの、時空を超えた共演のステージが実現しました。

レポート：音舞の調べ ～超越する時間と空間～

関連項目

技術出展

関連動画

技術搭載製品

参考情報