2022年度実習テーマ:
優先:対面代替:オンラインエフェクトで音の画像が変わる! - 画像AI楽器音識別とエフェクトの影響を調べる

研究開発統括部 第1研究開発部 音響信号処理グループ

[ 画像 ] 研究開発統括部 第1研究開発部 音響信号処理グループ

優先:対面代替:オンライン

音信号を時間周波数表現という「画像」へ変換し、それを入力とすれば、画像AIにおける最先端深層学習技術の恩恵を受け、楽器音の識別精度を大幅に高められます。
音響学会などで発表もされたこれまでの研究では、高精度な識別性能を確認しています。

本実習では、楽器の音信号に様々なオーディオエフェクトを適用し、画像AIを用いた処理に与える影響を比較します。
比較結果より、画像AIへ入力する特徴量がオーディオエフェクトごとにどのように変化するのか、また、特徴量の変化が画像AI性能に与える影響を統計的に分析していただきます。
本実習の最終成果物として、ソースコード及び精度比較結果の資料を提供いただきます。

<実習の一例>

  • 文献調査
  • オーディオエフェクトを適用したデータセットの用意
    (エフェクト適用前の楽器ごとの信号は弊社の方で用意いたします)
  • オーディオエフェクトによる性能比較実験
  • エフェクトごとの考察

12月21日(水)PM

優先:対面代替:オンライン

2月6日(月)~2月17日(金)※土日祝を除く

優先:対面

ヤマハ本社(静岡県浜松市)

代替:オンライン

ご自宅

情報

  • 深層学習を使った研究の経験
  • Python利用経験があることが望ましいです
  • ディジタル音響信号のプログラミング経験のある方
  • オーディオエフェクトの基礎知識

楽器音の識別技術を実現するための機械学習手法の一例を挙げ、「入力」となる特徴量を具体的に定義し、上記手法を用いて楽器音識別ができることを説明してください。(500文字以内)