研究者紹介：日下 湧太

現在の仕事内容

私は先進技術を開発するチームで、音楽情報処理分野に関する研究に携わっています。これまでは、様々な楽器音・歌声が混ざった楽曲から所望の音を抽出する技術である音源分離や、電子楽器の演奏サポートのために入力した楽曲に類似する伴奏音源を推薦するシステムの研究に取り組んできました。現在は、実環境でも頑健に動作する自動採譜技術について研究しています。

自動採譜(Automatic Music Transcription; AMT)とは、人間が弾いた楽器の音から、その演奏の楽譜表現を推定するタスクです。自動採譜を活用すると、楽器の演奏音をMIDIと呼ばれるコンピュータが解釈できる形式の楽譜データに変換できます。MIDIは汎用的なデータ形式であり、ヤマハが開発しているさまざまなAI技術もMIDIを入力形式として利用しています。

ここに自動採譜を組み合わせることで、演奏をMIDIとして出力する仕組みを持たないアコースティックピアノやアコースティックギターの演奏に合わせて自動的に伴奏を鳴らして一人でもアンサンブルしたり、演奏をデータとして記録して楽器練習に役立てたりすることができます。このように、自動採譜は、ヤマハの音楽AIの適用範囲を大きく拡張できる可能性を持っていると考えています。

音楽AIをユーザーへ届けるために

私が研究において難しくも面白く感じている部分は、機械学習モデルをいかに実環境で上手く動かすか、というところです。近年の自動採譜において主流である深層学習に基づくモデルの多くは、制御された環境下で収録された楽器音を学習に利用します。例えばピアノの場合、同一のピアノ・部屋・マイクを利用し、環境ノイズが小さな環境で収録されたデータがモデル学習に用いられます。しかし、このような特定の収録条件しか含まないデータで訓練されたモデルを実環境で運用すると、音符が欠落する、環境ノイズが誤って楽器音として推定されてしまう、といった性能劣化が起こります。これは学習時と実運用時でモデルに与えられるデータの分布が異なるため発生する現象で、ドメインシフトと呼ばれます。現在、私は自動採譜モデルにおけるドメインシフトを抑制するための手法について研究しており、工夫したモデルをアプリケーションとして実装し、実環境でも上手く動いたときに達成感を得られます。

このように、企業とアカデミアでの研究の方向性の違いのひとつに、実環境での運用想定があります。最先端の性能を目指したり、挑戦的なタスクに取り組んだりするのも面白いですが、どうすれば自分の研究が音楽を楽しむユーザーの体験価値に繋がるか、ということを考えながら日々の研究を進めています。

国際会議への参加・研究成果の発表

ヤマハは、数年前から音楽情報処理分野の学術会議 International Society for Music Information Retrieval (ISMIR)のスポンサーを努めており、人材獲得や音楽情報処理分野の研究者とのネットワーキングのために現地参加しています。2023年にイタリアで開催されたISMIR2023では、ヤマハとQueen Mary University of Londonの共同研究のポスター発表にて、公開したデータセットの活用例としてピアノ採譜技術の実装デモを行いました。

2024年8月にフランスで開催されたEuropean Signal Processing Conference (EUSIPCO)では、リアルタイムピアノ採譜の研究結果について報告しました。初めての国際会議での口頭発表であったため緊張しましたが、上司の論文執筆・資料作成のサポートや社内研修として受講できる英会話講座のおかげもあり、無事発表することができました。セッション終了後も、発表を聞いてくださった方から「発表面白かったよ！」と声をかけていただいたり、会場に残った参加者の方と発表内容について踏み込んだディスカッションをすることができました。また、出張先では現地の料理を楽しんだり、会場周辺を散策したりすることもでき、今後の研究に対するモチベーションが高まりました。

働く環境

ヤマハの研究開発部門は、自発的に研究を進めることができるところです。もちろんトップダウンの研究テーマもありますが、自分の興味のある分野・疑問に思っていることを研究テーマとして取り組むことができます。様々な研究分野に精通しつつ、楽器の演奏経験も豊富なチームメンバーが揃っているため、お互いの研究内容について議論することで、演奏科学のような理論的な視点や演奏者からの視点など、複数の観点から研究テーマを深めることができます。また、研究成果を国内外の学術会議や論文誌に投稿するための仕組みもしっかり整っています。私が学生の頃に想像していた、企業での研究はクローズドであるというイメージとは異なった、オープンな環境で研究に取り組むことができています。

浜松での暮らし

ヤマハ本社がある浜松市は、「音楽の街」として知られていますが、「バイクのふるさと」としても有名です。せっかく浜松で暮らすならバイクに乗ってみようと思い、社会人1年目でバイクの免許を取り、週末はツーリングに行って楽しんでいます。浜松周辺には奥三河や大井川といった自然豊かなツーリングスポットがあり、少し足を伸ばせば東は富士・伊豆、北は岐阜・長野、西は紀伊半島まで気軽に行くことができます。業務ではPCに向き合う時間が長いですが、バイクに乗って美味しいものを食べにいったり、壮大な景色を見にいったりすることでリフレッシュできています。