2022年度実習テーマ:
優先:対面代替:オンライン深層学習による遠隔会議用信号処理の開発

コミュニケーション事業部 CC開発部 UCソフトグループ

[ 画像 ] コミュニケーション事業部 CC開発部 UCソフトグループ

優先:対面代替:オンライン

遠隔会議の音声通話では、アコースティックエコーキャンセラー(AEC)、雑音除去(NR)、音声区間検出(VAD)等、様々な音声信号処理が用いられています。
昨今では、深層学習(ディープラーニング)をこれらの音声信号処理に適用し、さらなる性能向上に向けた取り組みも数多く行われています。

本実習では、遠隔会議で用いられる音声信号処理の一部を、深層学習を用いて開発していただきます。
会議システムで求められる開発要件をもとに機能実装していく過程の一部を体験していただきます。

<実習の一例>

  • Pythonによる開発環境の構築(もしくはGoogle Colabの利用)
  • オープンソースデータセットのライセンスについて学ぶ
  • 深層学習のための音声処理アプローチについて学び、既存手法について学ぶ
  • 会議システムの開発要件をもとにDNNモデル作成方針を立て、モデルの評価方法を決定する
  • 前処理、ネットワーク作成、学習ループの実装とモデル学習
  • 性能評価
  • モデルの改善と性能評価
  • まとめ

12月22日(木)PM

優先:対面代替:オンライン

2月6日(月)~2月17日(金)※土日祝を除く

優先:対面

ヤマハ本社(静岡県浜松市)

代替:オンライン

ご自宅

電気、情報、音響

Pythonを用いた音声信号処理に関する開発であるため、深層学習の知識、Pythonでの(特にTensorflowまたはPytorchを用いた)プログラミング経験があることが望ましいです。また文献や論文から情報を収集し数式やアイデアをプログラミングで表現できるとなお良いです。音声信号処理やRTOS、エッジAI、組み込み開発等の知識やスキルがあればより良いですが必須ではありません。

  • 音声や音楽に関わらず、あなたが注目する遠隔コミュニケーションに関する新技術やプロジェクト、論文などあれば紹介してください
  • 音声や音楽に関わらず、あなたが感じるオンラインミーティングの現在の課題と、解決する新たなアイデアなどがあれば教えてください
  • ソフトウェア開発経験があり、紹介可能なリポジトリやWEBサイト(Qiitaやブログでも良いです)などがあればURLを教えてください。守秘義務等の都合があれば、共有できる範囲で開発内容や関連分野のトピックについて教えてください。特になければ、ご自身の予定している研究テーマを教えてください。