音信号を時間周波数表現という「画像」へ変換し、それを入力とすれば、画像AIにおける最先端深層学習技術の恩恵を受け、楽器音の識別精度を大幅に高められます。
音響学会などで発表もされたこれまでの研究では、高精度な識別性能を確認しています。
本実習では、楽器の音信号に様々なオーディオエフェクトを適用し、画像AIを用いた処理に与える影響を比較します。
比較結果より、画像AIへ入力する特徴量がオーディオエフェクトごとにどのように変化するのか、また、特徴量の変化が画像AI性能に与える影響を統計的に分析していただきます。
本実習の最終成果物として、ソースコード及び精度比較結果の資料を提供いただきます。
<実習の一例>
- 文献調査
- オーディオエフェクトを適用したデータセットの用意
(エフェクト適用前の楽器ごとの信号は弊社の方で用意いたします) - オーディオエフェクトによる性能比較実験
- エフェクトごとの考察