電子鍵盤楽器を練習するユーザに対して、上達に向けた支援をすることで楽器をより長く楽しんでもらえると考えられます。
本実習では、鍵盤演奏者を対象とした練習支援システムに関して、下記のいずれかを体験いただきます。
- より使いやすくするためのUI/UX設計
- より適切に支援をするための要素技術の研究開発
＜実習の一例＞
- サブトピックの選択
- 要素技術やシステム設計の学習
- UI/UXないしは要素技術に対する改良案の実装・評価
2022年度実習テーマ：
電子楽器練習アプリの研究開発: AI、UI/UX
受入部門
研究開発統括部 第1研究開発部 音楽情報処理グループ
![[ 画像 ] 研究開発統括部 第1研究開発部 音楽情報処理グループ](images/picts_001.jpg)
実習内容
面接選考日程
12月19日（月）PM
実習期間
2月6日（月）～2月17日（金）※土日祝を除く
実習場所
ヤマハ本社（静岡県浜松市）
ご自宅
望ましい学科系列
情報
望ましい専門知識
Pythonによる要素技術ないしはFlutterによるUIの開発となるため、以下の専門知識が望ましいです。
- 情報処理
- プログラミング（要素技術の場合はPython、UI/UXの場合はFlutter/Dart）
- 音楽情報処理（要素技術開発の場合）
- インタラクション（UI/UX改善の場合）
- 機械学習
テーマ別質問
以下のうち2問を回答ください。
- ある瞬間に鳴っている複数のピアノの音高を計算機で判別したい。
そこで、音声認識でよく使われる、13次元のMFCCを入力とし、音高の数だけのラベルが存在するオートエンコーダを考えた。
学習のため、エンコーダの出力に対してソフトマックス関数を適用した後のベクトルと正解ラベルとの間のクロスエントロピを最小化した。
上記アプローチのおかしな点と改良点を述べてください。 - メトロノームを使った練習の有効性を検証したい。
そこでピアノ演奏経験のある被験者5名に、1分程度のオリジナル曲の楽譜を提示し通し演奏をさせテンポの分散S1を記録した。
被験者はところどころ一時停止し楽譜を確認しながら演奏しているようだ。
次に、メトロノームを使った練習を15分間させた後で、同じ曲を再度演奏させ、テンポの分散S2を記録した。
S1とS2に対してtwo-sidedなF検定を行ったところ、p値が0.07だったので、有意水準0.1としてメトロノーム練習の有効性が示されたと結論づけた。
この実験・考察のまずい点とよりよい実験計画を述べてください。 - 過去2年の間における、国際会議ISMIR/ICASSP/Interspeech/CHI/ACEで面白かった論文1本の概要と、その論文が面白いと感じた理由を200-300字程度でまとめてください。
- 査読あり国際会議で発表されたことがある場合は論文についての情報を記載してください。
もしくは、QiitaやZennなどに技術に関する記事を書いたりGithubで独自のコードを公開したことがあればURLを記載してください。