AI演奏表情付け技術
人間の演奏表現をAIが再現
人間らしい自然な演奏
この技術は、様々なピアノの楽譜に対して、人間らしい自然な演奏をAIによって生成することを可能にするものです。さらに、自動演奏機能を搭載したハイブリッドピアノ Disklavier＊1 などを活用することで、本物のピアノ上で臨場感ある演奏を生成できます。
＊1 Disklavier™（ディスクラビア）は、鍵盤やペダルの動きを正確に再現する自動演奏機能を搭載したハイブリッドピアノです。
好きなアーティストのピアノ伴奏で、自由に演奏
AI合奏技術 と融合させることで、自分の好きなアーティストと自分の好きな時間に自由に演奏する体験が可能となります。時間や場所を問わず、だれもが憧れの相手との合奏を楽しめるような、新しい時代における音楽の楽しみ方を提供したいと考えています。
AIによる解析・学習
この技術では、ピアノ演奏者における演奏上の特徴や表現を、対応する楽譜データと紐付けてAI（深層ニューラルネットワーク）に学習させます。これによりAIは、任意の楽譜に対して人間らしい特徴や表現を持った、自然な演奏を生成できるようになります。また、特定の演奏者の演奏を重点的に学習させることで、その人物らしい演奏を、その人物が演奏したことのない曲でも生成することができるようになります。
学習には、人間の鍵盤演奏に関する『演奏データ』と、それに対応する演奏曲の『楽譜データ』を用意します。
演奏データは、鍵盤を押す速度・打鍵タイミング・離鍵タイミングのような、強弱やタイミングを制御する情報です。この情報は、Disklavierのようなハイブリッドピアノや電子ピアノ上で演奏を再現することができる形式で保持されます。このような演奏データはピアノ演奏の音源には直接含まれないため、音源に対して、Disklavierや特定の電子ピアノ上で最も忠実な響きで再現できるような演奏データを推定します。
学習時には、演奏データと楽譜データの対応関係を深層ニューラルネットワークで学習し、人間の演奏に含まれる局所的な特徴を楽譜と対応させ、演奏の特徴と楽譜の結び付けができるようになります。これにより、人間の演奏したことのない楽譜データを入力しても、楽譜上の特徴を頼りに演奏を生成することができるようになります。
このように、演奏データと対応する楽譜の局所的な対応関係を学習しますが、楽譜と演奏を直接学習させると楽譜に対してワンパターンな演奏しかできません。一方、人間の演奏者は同じ楽譜に対してでも毎回異なる表現で演奏します。そこで、楽譜だけからは説明できない、演奏における潜在的な変動要素をAIに同時に獲得させることで、幅広い表現の演奏をAIが生成できるようになり、ユーザの好みに合わせて表現を調整することが可能になります。
応用事例
Dear Glenn
世界的なメディアアートの祭典「Ars Electronica Festival（アルスエレクトロニカ・フェスティヴァル）2019」に、AIピアノ演奏表情付け技術を使用した、AIと人間の共創の可能性を追求するプロジェクト「Dear Glenn」を出展しました。
「Dear Glenn」は、AI演奏表情付技術で、1982年に没した伝説的ピアニストであるグレン・グールドの演奏タッチを再現。AI合奏技術 とAI演奏表情付け技術を融合させ、グレン・グルードのタッチを再現したピアノ演奏と、所縁のあるアーティストとの合奏を可能にしました。
