Dear Glenn

A.I.は、どこまで人の心を動かせるのだろう。

GLENN GOULD AS A.I. GLENN GOULD AS A.I.

Project

Dear GlennはAIと人間の共創の可能性を追求するためのプロジェクトです。
グレン・グールドは電子メディアによる録音に傾倒し、奏者と聴衆の新しい関係性に着目したことでも知られています。今回の取り組みは「Dear Glenn」というプロジェクト名のもとで進行されましたが、この名称はグレン・グールドの姿勢に敬意を評し、そして着想を得て開始したことに由来します。今回の取り組みを通じて、現代のテクノロジーであるAIと人間が互いに刺激し合い、共創する新しい音楽表現のあり方を提示したいと考えています。

Glenn Gould as A.I.

今回公開するのは、グレン・グールドらしい音楽表現で、任意の楽曲のピアノ演奏ができるというシステムです。未演奏曲でも、楽譜のデータさえあればすぐに演奏できるという特徴を持ち、その再現手法としては世界初※1となる「深層学習技術」※2を採用したAIシステムです。自動演奏機能付きピアノと、グレン・グールドらしい演奏データを瞬時に生成しピアノに演奏を指示するAI(ソフトウェア)から構成されます。
AI部分の開発にあたっては、彼らしい表現とは何かを追求するために、グレン・グールド・ファウンデーションの全面的な協力のもと、100時間を超えるグレン・グールドの演奏音源を解析し、得られたデータをもとに、深層学習技術を用いました。また、録音データのみならず、彼の演奏方法を熟知した複数のピアニストたちの演奏による「ヒューマン・インプット」もAIに学習させることで、かつてない再現度を実現しました。さらにこのシステムは、共演者である人間の演奏を瞬時に解析し先読みしながら演奏することで、人間と協調して合奏することも可能です。単に自動演奏を行うのではなく、グレン・グールドのタッチを感じながら、互いに刺激し合い、息の合った合奏を楽しむことができる“共創型”のシステムとなっています。

※1: 2019年8月現在、当社調べ ※2: コンピューターに物事を理解させるための機械学習方法の一つ。ニューラルネットワークという数理モデルを多層的に使用して情報処理を行うことが特徴。

Glenn Gould プロフィール

1932年カナダ・トロントに生まれ、1982年に50歳の若さで没した伝説的ピアニスト。1956年に発売されたデビュー盤「ゴルトベルク変奏曲」を皮切りに、特にJ.S.バッハの演奏について極めて高い評価と功績を残したことで知られる。1964年、コンサートからの引退を表明し、以降、録音に没頭するなど、電子メディアでの発表に傾倒した。また、低い椅子に腰掛けかがみこむように演奏する姿勢や、録音時にもかかわらず鼻歌を歌いながら演奏するなど、その斬新かつ独特の奏法も世間からの注目を集めた。晩年にはバッハの「ゴールドベルク変奏曲」をはじめ3枚のアルバムをヤマハのコンサートピアノで録音した。

Concert & Event

GLENN GOULD AS A.I. GLENN GOULD AS A.I.

ヤマハのグレン・グールドAIによる世界で初めての演奏会が2019年、アルスエレクトロニカ・フェスティバルにて行われました。

  • PIANO: GLENN GOULD, FRANCESCO TRISTANO
  • ARTIFICIAL INTELLIGENCE: CRAFTES BY Yamaha
PROGRAM

GOLDBERG VARIATIONS, BWV ARIA J.S.BACH

ART OF FUGUE, BWV1080/18 J.S.BACH

会期3日目の9月7日(土)に聖フローリアン修道院にて演奏会が開催され、AIシステムによるピアノ独奏曲をはじめ、フランチェスコ・トリスターノとのピアノ二重奏やリンツ・ブルックナー管弦楽団のメンバー(バイオリン、フルート)との三重奏といった“現代の演奏家との時空を超えた合奏”も披露しました。いずれの演奏楽曲も学習データには含まれておらず、AIは目標となる音源情報が無い中でどこまで彼の音楽性に迫ることができるのか、そして合奏という協調作業の中でどこまで人間との関係性を構築できるのかに注目が集まりました。

パネルセッション

日時 2019年9月7(土) 19:00~19:30
会場 聖フローリアン修道院(オーストリア・リンツ市)
登壇者 Francesco Tristano (Pianist), Brian M. Levine (Glenn Gould Foundation), Norbert Trawöger(Bruckner Orchestra Linz), Akira Maezawa (R&D, Yamaha Corporation)
テーマ AIと音楽家の共創の可能性とその未来について

コンサート(AIシステム 初公開)

日時 2019年9月7日(土) 20:30~21:00
会場 聖フローリアン修道院(オーストリア・リンツ市)
演奏者 Piano:Glenn Gould, Francesco Tristano
Flute,Violin:Norbert Trawöger, Maria Elisabeth Köstler(Bruckner Orchestra Linz)
プログラム J.S.バッハ 《ゴルトベルク変奏曲》(BWV 988)、J.S.バッハ《フーガの技法 2台チェンバロのための鏡像フーガ》※ (BWV1080/18)、J.S.バッハ《トリオ・ソナタ》(BWV1038)
※グールド未演奏曲

アルスエレクトロニカ・フェスティバルについて

ARS ELECTRONICAイメージ

オーストリア・リンツ市を拠点に置くメディアアートの研究機関である「アルスエレクトロニカ」が開催する、最先端のアート、テクノロジー、サイエンスをテーマにした祭典。1979年から続くイベントで、メディアアートのイベントとしては世界最大規模を誇る。期間中は、世界中から、専門家が集い、リンツの様々な場所で催される展覧会、パフォーマンス・イベント、国際会議を通して、議論を深め、新しい繋がりを生み出している。

ARS ELECTRONICAイメージ

Research and Development

AIの学習

STEP 01. 解析

グレン・グールドの録音を解析し、彼の演奏データ(タッチ)を推定します。

STEP 02. 学習

AI(ディープニューラルネットワーク)を用いて、楽譜データと演奏データの対応関係を学習します。これにより、AIは任意の楽譜に対する演奏を生成することができるようになります。学習においては、STEP 01で推定された演奏情報に加え、グレン・グールドの弾き方を深く理解している有識者の演奏者による「グレン・グールド特有の弾き方を強調した演奏」を併用します。
これにより、彼特有の表現をより忠実に再現することを目指します。

STEP 03. 演奏の生成

任意の楽譜データを与えると、 STEP 02で学習されたAIにより演奏が生成されます。

Dear Glenn - AIの学習

AIの学習

Dear Glenn - AIの学習

STEP 01. 解析

グレン・グールドの録音を解析し、彼の演奏データ(タッチ)を推定します。

STEP 02. 学習

AI(ディープニューラルネットワーク)を用いて、楽譜データと演奏データの対応関係を学習します。これにより、AIは任意の楽譜に対する演奏を生成することができるようになります。学習においては、STEP 01で推定された演奏情報に加え、グレン・グールドの弾き方を深く理解している有識者の演奏者による「グレン・グールド特有の弾き方を強調した演奏」を併用します。
これにより、彼特有の表現をより忠実に再現することを目指します。

STEP 03. 演奏の生成

任意の楽譜データを与えると、 STEP 02で学習されたAIにより演奏が生成されます。

人間とAIによる共演

Dear Glenn - 人間とAIによる共演 Dear Glenn - 人間とAIによる共演

このシステムは、グレン・グールドらしい表現でピアノの自動演奏を行うとともに、共演者である人間の演奏する音や仕草を瞬時に解析し先読しながら演奏することで、人間と協調して合奏することが可能となっています。

Interviews

Bruce Brubaker

Bruce Brubaker

Pianist

自身の音楽活動にグレン・グールドがもたらしてくれたこと
現在のテクノロジーを駆使すれば、グールドがやり残したことをいろいろと実現できますが、とりわけ、グールドの編集技術に関するアイデアは、私が今やりたいレコーディングの手法にとって、そして私がレコーディングについて考える上でも、重要な意味を持ちます。
グレン・グールドとテクノロジーとの関わり
グールドにとって、録音スタジオのテクノロジーとは、よりパーソナルで親密な体験を生み出し、1回の演奏では到達できない幅広い表現を実現するためのものでした。グールドは、コンサートホールや手の動きなどの物理的なリアリティーを追求するのではなく、イマジネーションを働かせて演奏をすることを通じて作品を構築しようとしたのです。
グレン・グールドの音楽表現

音楽史において、19世紀末の録音の発明は、音楽が発展する上で重要な段階だったと理解するべきです。録音以前の音楽を長い一つの時代ととらえて、録音とともに別の新しい何かが始まったと言ってもいいでしょう。録音は、音楽における人工知能の発展の第一段階だったのかもしれません。録音によって、音楽家は自分、そして自分の身体が生み出す芸術や音を認識できるようになりました。鏡の発明に似て、これまで聞けなかったものを聞く力を手にしたのです。

グールドとその芸術は、その発展の一端を担いました。クラシック音楽界では珍しく、グールドは、すべてが変わったこと、そして、録音を契機に演奏者の演奏も変わらなければならないことを自覚していました。コンサートホールも何もかもが変わりゆく中で、グールドはその流れを否定するのではなく、「今」の瞬間を取り込もうとしたのです。録音を媒介して音楽が作られることにより、現実に大きな変化がもたらされました。録音が音楽を変えたのではなく、私たちの耳が変わったのです。

トロントでは、グレン・グールドと直接関わりのあった人たちにインタビューしました。AIを聞いてもらうと、初めは少し違和感があったようですが、多くの場所では心地よく感じられて、涙を流す人もいました。AIが感情に訴えかけることができるのは、ある意味でとても素晴らしいことだと思います。

私たちは今、リスニング体験の観点から本当に価値のある音楽を人間が作るということについて、理解しつつあります。かつては、演奏者や演奏にまつわる一種の魔術や人智を超えたものが、聴く者の感情やスピリチュアルな反応を引き起こしているかのように考えられていました。しかし、認知心理学者がマイクロ・タイミングの研究を進めたり、音楽家がライブで何を行っているかを知り得るようになったりするにつれて、私たちの音楽への反応は、美しく人間的で、一期一会とすら思われるものの、他方では、そうした反応はある具体的な現象の結果であることが分かりつつあるのです。こうした現象は、かつては個人が生み出すユニークなものだと考えられていましたが、こうした反応の引き金が何なのか、徐々に理解が進んでいます。

今でも身体を使って音楽を奏でている私たちが、自分たちがやっていることの意味をより微細に理解する上で、こうした知識が役に立つのは興味深いと思います。例えば、私はよく「まったく同じ拍は2つとしてない」と言ってきました。ジョークといえばジョークですが、人間が演奏するときはその通りなのです。しかし、「正確に均等な拍で弾きなさい」と生徒に言う見識の欠けた先生方がいかに多いことでしょう。均等な拍で弾くのは不可能ですし、望ましくもありません。リスナーが均等な拍と感じる境界がどこにあるのかは、実に興味深いテーマです。均等な拍を容易に生み出せる、スタジオで作られた音楽が聞かれるようになった1980年代以降、この境界は大きく変化したように思います。こうした音楽が現在では主流になっており、ある種のポピュラー音楽では、完璧に均等なビートが採用されています。

AIの発展について思うこと

個人的にDear Glennが特に素晴らしいと思うのは、プロジェクト自体ではなく、未来に私たちを待ち受けているものについて大いに語ってくれる点です。AIは、人間のプレーヤーの芸術的感性や精神をとらえるために活用できるのです。

皆さんがどうお考えかは分かりませんが、私は、AIが完全に新たな進化であるとは考えていません。すでに起こりつつあったことの延長線上にあるもので、もちろん重要なものであることは火を見るよりも明らかですが、こうしたトレンドや考え方は、しばらく前からすでに存在していました。

AIが録音だけではなく、あるテーマの微妙なニュアンスの理解を追求してあらゆる芸術作品を生み出せる未来が容易に想像できます。人による演奏の世界が急速に変化し続け、録音が20世紀に普及した後の頃のように、ある時点では、人間が演奏することの価値や意味が再び問い直される時が来るのではないでしょうか。他の分野ではすでに変化の波が訪れていますが、音楽の世界でも、私たちが思っているよりも早い時期に変化するだろうと私は思います。

本プロジェクトで達成できたことと今後の課題

このプロジェクトで私たちが聞く演奏は、機械的ではなく、どこか人間味を強く感じさせる表現力豊かなものだという感覚をもたらしてくれます。もちろん、私たちはこれまで、人間がある感情やアイデア、思想といったものを抱いて音のパターンに置き換えて、それを別の人が受け取ることで、初めの人と類似の体験をすると考えてきたわけですから、表現力とは何か、というそもそもの問題は残ります。

今後のことについて言えば、課題はまだまだたくさんあります。例えば、ピアニストがソステヌートペダルに足を乗せる動作は、録音を聞いても解明しがたい複雑な現象であり、より一層の調査が必要です。リズムのタイミングが与える具体的なニュアンスについても多くの研究が必要ですが、本プロジェクトはこの点について説得力のある成果を上げており、大変素晴らしいと思います。当初は、人間の生演奏に近い不均等なリズムを演奏するのは難しいだろうと考えていましたが、すでにあと一歩のところまで来たように思います。さらなる研究が必要で、それ自体大変興味深いテーマですが、一人ひとりの人間の演奏の最もパーソナルな側面が表れるのがリズムだと思います。リズムのわずかな揺らぎは、リズムや表現における音楽家の署名のようなものですが、この点は今後さらに解明されていくはずです。

グレン・グールドが今ここにいたら、ヤマハのAIを評価してくれるでしょうか

ええ、そうだと思います。2つの可能性が心に浮かびます。グールドは恐れを抱くかもしれないですが、ワクワクするかもしれないとも思います。多分両方でしょう。

「恐れ」というのは、音作りをグールドの手の及ばないところに引き離してしまうからです。そして「ワクワク」というのは、何か新しいことが生じる可能性があるからです。おそらく、その両方とも正しいでしょう。

Collaborators

"Dear Glenn" Ambassador and AI Collaborator

  • Francesco Tristano (LU):Pianist and Composer

AI Collaborators and Advisors

  • Brian Levine (CA):Executive Director of Glenn Gould Foundation
  • Norbert Trawöger (AT):Flutist and Artistic Director of Bruckner Orchestra Linz
  • Maria Elisabeth Köstler (AT/DE):Violinist from Bruckner Orchestra Linz
  • Bruce Brubaker (US):Pianist
  • Adam Sherkin (CA):Pianist
  • Kevin Ahfat (CA):Pianist

Pianists from Tokyo University of the Arts

  • Sho Okuya (JP)
  • Genki Takai (JP)
  • Shimon Ono (JP)

Special Thanks
Glenn Gould's Dear Friends

  • Adele Armin (CA)
  • Janet Somerville (CA)
  • Lorne Tulk (CA)
  • Roxolana Roslak (CA)

Official Partner

  • Glenn Gould Foundation

Supported Partner

  • Tokyo University of the Arts

Contact

Dear Glennに関するお問い合わせは、下記お問い合わせフォームからアクセスして下さい。

グレン・グールド・ファウンデーション
Tokyo University of the Arts
JAPAN-AUSTRIA 1869-2019