AI合奏技術

人に合わせた演奏をAIが生成

人間が演奏している様子をAIがリアルタイムに解析し、それに合わせた演奏を生成する技術です。

AIは、人が演奏している音と演奏曲の楽譜データを照らし合わせ、人の演奏が今、楽譜上のどの部分を、どんなスピードで、どんな抑揚で演奏しているかを解析します。それに対し、少し先の演奏を予測することで、人間の演奏にタイミングを合わせて演奏を生成することができます。

AIの解析は、ピアノ演奏だけでなく、バイオリンやフルート、複数人の演奏、オーケストラといった複雑な音でも解析が可能です。また、人間の演奏の解析結果は、ピアノの伴奏だけでなく、照明・映像など、演奏に合わせた様々な他の装置のマニュピュレーションへの応用も可能です。

人に合わせた演奏をAIが生成

仕組み

AIは、大きく3つ観点から人間の演奏を解析しています。

● 音、動作の情報から人の演奏状態を分析

AIは演奏されている音をマイク等で聞き、人間の演奏に含まれる様々な情報を分析します。
また、演奏者の予備動作等をカメラで捉え、演奏のタイミングをより精緻に予測することができます。

音、動作の情報から人の演奏状態を分析

● 人間演奏に含まれるミスや揺らぎ、抑揚の推測

AIは、人間の演奏音と楽譜を比較することで、演奏されるテンポや表情を推測します。

人間の演奏にはテンポのゆらぎといった演奏表現や、演奏のミスなどが含まれるため、人間らしい楽譜からの逸脱を踏まえながら比較をする必要があります。そこでAIは、さまざまな曲の「人間の演奏データと対応する楽譜データ」を学習することで、人間の演奏に含まれる典型的なミスや楽譜からの逸脱を学びます。これにより、演奏がつまづいたりミスをしても、適切な対処ができるようになります。

他にも、「盛り上がっている」「静かに弾いている」といった演奏の抑揚も認識することができるようになります。AIも事前に演奏曲の様々な演奏表現を学習することで、人間の演奏の抑揚に併せて伴奏を生成することができます。

また、特定個人の演奏に特化させて学習を行うと、その人特有のテンポのゆらぎやミスの傾向などを学ぶこともできます。

人間演奏に含まれるミスや揺らぎ、抑揚の推測

● タイミングの調整

人間同士の合奏を聴くと一見全員が対等にテンポのコントロールをしているように聴こえますが、実際には各演奏者の音楽的な文脈に応じて、テンポのコントロールをする演奏者は変化します。このような絶妙なタイミングの合わせ方が音楽的な文脈に合った合奏を生み出します。

このような人間同士の演奏特有のタイミング調整を、AIは人間の演奏と対応する楽譜データに基づいて学習します。人間が、どのような譜面のときに相手の演奏者に譲歩し、どのような場面では演奏を主導したのかといった傾向を学習することで、楽譜の文脈に応じてごく自然にタイミングを補正することができるようになります。

タイミングの調整

応用事例

プロジェクトセカイ・ピアノ

2021年3月26日(金)から6月27日(日)まで開催された「プロジェクトセカイ・ピアノ」の体験企画に AI合奏技術 が技術協力をしました。
「プロジェクトセカイ・ピアノ」は、指定された「千本桜」(作詞・作曲:黒うさ)「青く駆けろ!」(作詞・作曲:まらしぃ)の楽譜を演奏すると、それに合わせてバーチャル・シンガーの初音ミク、星乃一歌(CV:野口瑠璃子)が歌う体験展示です。

レポート:初音ミク・星乃一歌があなたの演奏に合わせて歌う!

音舞の調べ ~超越する時間と空間~

2016年5月19日(木)に東京藝術大学奏楽堂で開催されたコンサート「音舞の調べ~超越する時間と空間~」で、 AI合奏技術 を用い、歴史的演奏家である故巨匠リヒテルの演奏を甦らせました。
それにより、現代の演奏家のベルリンフィル シャルーンアンサンブルと、故巨匠リヒテルとの時空を超えた共演のステージが可能となったのです。

レポート:音舞の調べ ~超越する時間と空間~

論文

International Conference

Akira Maezawa. “Using AI to inspire musicians.” AIxMusic Industry Application Oriented Research Session, Ars Electronica Festival. 2019.
2019
Akira Maezawa, Kazuhiko Yamamoto, Takuya Fujishima. “Rendering Music Performance With Interpretation Variations Using Conditional Variational RNN.” Proceedings of the Internal Conference on Music Information Retrieval (ISMIR), pp. 855-861, 2019.
2019
Akira Maezawa. “Deep Linear Autoregressive Model for Interpretable Prediction of Expressive Tempo.” Proceedings of the Sound and Music Computing Conference (SMC), pp. 364-371, 2019.
2019
Bochen Li, Akira Maezawa, and Zhiyao Duan, “Skeleton Plays Piano: Online Generation of Pianist body Movements from MIDI Performance”, in Proc. International Society for Music Information Retrieval (ISMIR), 2018.
2018
Akira Maezawa, Kazuhiko Yamamoto. “MuEns: A Multimodal Human-Machine Music Ensemble for Live Concert Performance.” Proceedings of the 2017 ACM CHI Conference on Human Factors in Computing Systems (CHI ’17; 25% acceptance rate), pp. 4290–4301, 2017.
2017
Akira Maezawa, Kazuhiko Yamamoto, “Automatic music accompaniment based on audio-visual score following” in ISMIR 2016 Late-breaking
2016
Akira Maezawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno. “Unified inter- and intra-recording duration model for multiple music audio alignment” Proceedings of the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics, 2015
2015

Domestic Conference

桐山孝司, 薄羽涼彌, 上平晃代, 桒原寿行, 越田乃梨子, 前澤陽, 田邑元一 : 映像と音楽の同期システムを用いたヴィヴァルディ「四季」ライブアニメーションコンサート, 映像情報メディア学会誌 74(4) 620 – 621 2020年7月
2020
前澤 陽, Bochen Li: MIDI2Pose: 鍵盤演奏情報を用いたオンライン演奏動作生成, 情報処理学会 音楽情報処理研究会 2018-MUS-118, 2018.
2018
前澤 陽: 人と息を合わせて演奏するための合奏技術, 第27回 Generative Music Informatics (GMI) Workshop, 2018
2018
前澤 陽: コンピュータと人間による合奏: 人と息を合わせて演奏するとは, IPSJ-ONE, 2018
2018
前澤 陽: 楽譜と演奏履歴を用いた深層自己回帰過程に基づく演奏タイミング予測, 情報処理学会 音楽情報処理研究会 2017-MUS-116, 2017.
2017
前澤 陽: ヤマハ株式会社におけるAIへの取り組み, 第4回HEPTコンソーシアムフォーラム, 2017.
2017
前澤 陽: ベルリンフィルと人工知能合奏技術による共演の試み. 日本電子キーボード音楽学会第12回全国大会. 2016.
2016
前澤 陽: 自動合奏のための演奏タイミング結合モデル, 情報処理学会 音楽情報処理研究会 2016-MUS-112, 2016.
2016

関連項目

技術出展

関連動画