特定の人の歌声に変換する技術 TransVox™

よく行われる声質変換

例えば、音響機器のエフェクターのような定型の信号処理よる声質変換では、入力した歌声に対してあらかじめ決められた信号処理を施し、加工された歌声を出力します。
この場合、シンプルな信号処理で安定した変換が行える一方、加工された歌声の中に元の歌声の特徴が残ってしまったり、機械的で不自然な声質になったりする問題があります。

TransVoxでの歌声変換

TransVoxでは、深層学習を用いてその問題を解決しています。
まず、入力された歌声を分析して「歌唱の内容成分」を抽出します。この歌唱内容成分は、歌声の中から「それが誰の歌声か」という情報が削除され「どのような内容を歌っていたか」の情報のみを持ちます。その歌唱内容成分をもとに目標歌手の歌声を改めて作り直すという処理を行います。

この「歌声の再合成」では、あらかじめ深層学習によって学習された目標歌手の歌声の特徴が自動的に再現されます。そのため、入力された歌声が、目標歌手が歌ったことのない歌であったとしても、「目標歌手が歌ったらこのような歌声になるはず」という歌声が推定され、出力されます。その結果、再合成された歌声は歌った人の歌声の特徴をほとんど含まない、目標歌手本人が歌唱したような歌声になります。

TtransVox は、ある程度まとまった量の目標歌手の歌唱データがあれば、それを教師データとして深層学習を行い、歌声を再現できます。

なりきりマイク feat.ELT　持田香織 スペシャルルーム

TransVoxの技術を使用した「なりきりマイク feat.ELT　持田香織 スペシャルルーム」が、2022年8月25日〜10月11日の期間、ビッグエコー3店舗にて期間限定開催されました。

「なりきりマイク」は、このマイクで歌うと、Every Little Thingのボーカルである持田香織さんの歌声で歌うことができるマイクです。持田さんの歌声の再現性の高さなどから、多くのテレビ番組やYouTubeチャンネルに取り上げられるなど、各メディアやSNSで大きな注目を集めました。

なりきりマイクは、Every Little Thingの楽曲の持田さんのボーカルデータを教師データとして深層学習を行い、持田さんの歌声の特徴を把握しました。また、自動的に1オクターブ上の歌声に切り替える「オクターブスイッチ」を用意することで、低い声の方でも自然な歌声変換を体験できました。

「Every Little Thing」の伊藤一朗さんのYouTubeチャンネル「ELT 伊藤 一朗いっくんTV」では、「なりきりマイク feat.ELT持田香織」を体験した動画を公開しています。

YOXO FESTIVAL 2023 ～横浜でみらい体験～　TransVox Experience

自分の声がプロの声優の声に変換され、キャラクターになりきることができる体験「TransVox Experience」を、イノベーション創出のための交流イベント「YOXO FESTIVAL　2023～横浜でみらい体験～」に出展しました。

TransVoxの技術は、歌声にとどまらず、会話音声にも拡張することが可能です。これにより、通常の会話音声をプロの声優による本物のアニメの場面のような感情のこもった音声に変換させることで、どなたでも“声優になりきる”ことができる展示です。
自分の声が、プロの声優が表現する“落ち着いた雰囲気のある少年”や“冷静に物事を見極める大人な女性”などの音声に変換され、キャラクターになりきることができます。

開催期間中のブースは常に大盛況で、多くの人でにぎわっていました。自分の声が、プロの声優による本物のアニメシーンのような感情のこもった声に変換されると、参加者は一様に驚きの表情を見せていました。