AI合奏技術

人に合わせた演奏をAIが生成

人間が演奏している様子をAIがリアルタイムに解析し、それに合わせた演奏を生成する技術です。

AIは、人が演奏している音と演奏曲の楽譜データを照らし合わせ、人の演奏が今、楽譜上のどの部分を、どんなスピードで、どんな抑揚で演奏しているかを解析します。それに対し、少し先の演奏を予測することで、人間の演奏にタイミングを合わせて演奏を生成することができます。

AIの解析は、ピアノ演奏だけでなく、バイオリンやフルート、複数人の演奏、オーケストラといった複雑な音でも解析が可能です。また、人間の演奏の解析結果は、ピアノの伴奏だけでなく、照明・映像など、演奏に合わせた様々な他の装置のマニュピュレーションへの応用も可能です。

人に合わせた演奏をAIが生成

仕組み

AIは、大きく3つ観点から人間の演奏を解析しています。

1.音、動作の情報から人の演奏状態を分析

AIは演奏されている音をマイク等で聞き、人間の演奏に含まれる様々な情報を分析します。
また、演奏者の予備動作等をカメラで捉え、演奏のタイミングをより精緻に予測することができます。

音、動作の情報から人の演奏状態を分析

2.人間演奏に含まれるミスや揺らぎ、抑揚の推測

AIは、人間の演奏音と楽譜を比較することで、演奏されるテンポや表情を推測します。

人間の演奏にはテンポのゆらぎといった演奏表現や、演奏のミスなどが含まれるため、人間らしい楽譜からの逸脱を踏まえながら比較をする必要があります。そこでAIは、さまざまな曲の「人間の演奏データと対応する楽譜データ」を学習することで、人間の演奏に含まれる典型的なミスや楽譜からの逸脱を学びます。これにより、演奏がつまづいたりミスをしても、適切な対処ができるようになります。

他にも、「盛り上がっている」「静かに弾いている」といった演奏の抑揚も認識することができるようになります。AIも事前に演奏曲の様々な演奏表現を学習することで、人間の演奏の抑揚に併せて伴奏を生成することができます。

また、特定個人の演奏に特化させて学習を行うと、その人特有のテンポのゆらぎやミスの傾向などを学ぶこともできます。

人間演奏に含まれるミスや揺らぎ、抑揚の推測

3.タイミングの調整

人間同士の合奏を聴くと一見全員が対等にテンポのコントロールをしているように聴こえますが、実際には各演奏者の音楽的な文脈に応じて、テンポのコントロールをする演奏者は変化します。このような絶妙なタイミングの合わせ方が音楽的な文脈に合った合奏を生み出します。

このような人間同士の演奏特有のタイミング調整を、AIは人間の演奏と対応する楽譜データに基づいて学習します。人間が、どのような譜面のときに相手の演奏者に譲歩し、どのような場面では演奏を主導したのかといった傾向を学習することで、楽譜の文脈に応じてごく自然にタイミングを補正することができるようになります。

タイミングの調整

応用事例

プロジェクトセカイ・ピアノ

2021年3月26日(金)から6月27日(日)まで開催された「プロジェクトセカイ・ピアノ」の体験企画に AI合奏技術 が技術協力をしました。
「プロジェクトセカイ・ピアノ」は、指定された「千本桜」(作詞・作曲:黒うさ)「青く駆けろ!」(作詞・作曲:まらしぃ)の楽譜を演奏すると、それに合わせてバーチャル・シンガーの初音ミク、星乃一歌(CV:野口瑠璃子)が歌う体験展示です。

レポート:初音ミク・星乃一歌があなたの演奏に合わせて歌う!

音舞の調べ ~超越する時間と空間~

2016年5月19日(木)に東京藝術大学奏楽堂で開催されたコンサート「音舞の調べ~超越する時間と空間~」で、 AI合奏技術 を用い、歴史的演奏家である故巨匠リヒテルの演奏を甦らせました。
それにより、現代の演奏家のベルリンフィル シャルーンアンサンブルと、故巨匠リヒテルとの時空を超えた共演のステージが可能となったのです。

レポート:音舞の調べ ~超越する時間と空間~

関連項目

技術出展

関連動画

論文

Deep Linear Autoregressive Model for Interpretable Prediction of Expressive Tempo
Akira Maezawa
Proceedings of the Sound and Music Computing Conference (SMC), pp. 364-371
International Conference
AI・機械学習ヒューマンインターフェイス
2019
Skeleton Plays Piano: Online Generation of Pianist body Movements from MIDI Performance
Bochen Li, Akira Maezawa, Zhiyao Duan
in Proc. International Society for Music Information Retrieval (ISMIR), pp. 218-224
International Conference
AI・機械学習ヒューマンインターフェイス
2018
MuEns: A Multimodal Human-Machine Music Ensemble for Live Concert Performance
Akira Maezawa, Kazuhiko Yamamoto
Proceedings of the 2017 ACM CHI Conference on Human Factors in Computing Systems, pp. 4290–4301
International Conference
AI・機械学習ヒューマンインターフェイス
2017
Automatic music accompaniment based on audio-visual score following
Akira Maezawa, Kazuhiko Yamamoto
in ISMIR 2016 Late-breaking
International Conference
AI・機械学習ヒューマンインターフェイス
2016
Unified inter- and intra-recording duration model for multiple music audio alignment
Akira Maezawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno
Proceedings of the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics
International Conference
AI・機械学習ヒューマンインターフェイス
2015
映像と音楽の同期システムを用いたヴィヴァルディ「四季」ライブアニメーションコンサート
桐山孝司, 薄羽涼彌, 上平晃代, 桒原寿行, 越田乃梨子, 前澤陽, 田邑元一
映像情報メディア学会誌 74(4) pp. 620–621
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2020
鍵盤演奏情報を用いたオンライン演奏動作生成
前澤 陽, Bochen Li
情報処理学会 音楽情報処理研究会 2018-MUS-118
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2018
人と息を合わせて演奏するための合奏技術
前澤 陽
第27回 Generative Music Informatics (GMI) Workshop
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2018
コンピュータと人間による合奏: 人と息を合わせて演奏するとは
前澤 陽
IPSJ-ONE
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2018
楽譜と演奏履歴を用いた深層自己回帰過程に基づく演奏タイミング予測
前澤 陽
情報処理学会 音楽情報処理研究会 2017-MUS-116
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2017
ヤマハ株式会社におけるAIへの取り組み
前澤 陽
第4回HEPTコンソーシアムフォーラム
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2017
ベルリンフィルと人工知能合奏技術による共演の試み
前澤 陽
日本電子キーボード音楽学会第12回全国大会
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2016
自動合奏のための演奏タイミング結合モデル
前澤 陽
情報処理学会 音楽情報処理研究会 2016-MUS-112
Domestic Conference
AI・機械学習ヒューマンインターフェイス
2016