TransVox PROJECT

[画像] TransVox PROJECT

そのマイクで歌えば、自分の声が、
あこがれのアーティストの歌声に
変換される。
この世界になかったその技術は、
人に、喜びと感動の波を呼び起こす――

「なりきりマイク」開発プロジェクト

2022年、ヤマハのAI歌声合成技術による、ユニークなサービスが各メディアやSNSで話題となる。その名も「なりきりマイク」。そのマイクで歌えば、自分の歌声がAIによって変換され、Every Little Thing (ELT)持田香織さんの歌声になるというサービスだ。このかつてない価値を実現した技術「TransVox」の開発と同サービス実現に向けた取り組みにスポットを当てる。

Project Member

才野 慶二郎

研究開発統括部 第1研究開発部 音楽情報処理グループ
2008年入社/情報工学専攻修了

世の中にない技術で、人々に感動を届けよう。

これまでにないアプローチを。

才野が所属する第1研究開発部音楽情報処理グループのミッションは、ボーカロイドのような歌声合成技術や、人間の奏者に合わせてAIがピアノを自動演奏するAI合奏技術など、音楽に関わるさまざまな技術の「種」を創り出していくことだ。「なりきりマイク」の原点となった「TransVox」もそのうちのひとつ。この技術は、チーム内のある議論がきっかけで生まれたものだという。
「『TransVox』は歌声の音色から個人性をなるべく排除した『歌唱内容成分』をデータとして抽出し、『〇〇さんがこの内容で歌ったら』という歌声に変換するという技術です。楽譜のデータから歌声を生み出すAI歌声合成技術や、音声のデータを取得して、加工するボイスチェンジャー技術とは違うアプローチで、新たな技術を生み出せないか。そんなアイデアから開発がスタートしました」
彼らが生み出した「今この世界にない技術」は、社内のマーケティング担当者の好奇心をかき立てた。「面白いことができそうだ」。社内の技術評価プレゼンテーションをきっかけに、「なりきりマイク」の企画が立ち上がり、実証研究に向けたプロジェクトが発足することになったのだという。

「リアルタイム」と「実環境への対応」にこだわり抜く。

誰もが知っている持田さんの歌声。その個性をカタチにするために、彼女の歌唱データを取り込み、「持田さんなら、どう歌うか」をAIで再現する。才野はサービスの実現に向けてのポイントを次のように語る。
「技術面において、とくにこだわっていたのが『リアルタイム性』です。歌声を変換するまでのタイムラグが大きくなれば、自分で歌っている感覚が薄れ、『持田さんになりきる』ことができなくなってしまいます。少しでも遅延をなくすことで、『本当の意味で楽しい体験』を届けたい。その点はとくに意識していましたね」
もうひとつのこだわりは、「現実の運用環境に対応すること」だった。「なりきりマイク」は、大手カラオケボックスチェーンの特定の店舗に設置されることが決まっていたが、その環境はラボとは大きく異なるもの。そこで、技術の価値を発揮させることには大きな問題があった。
「言うまでもなく、カラオケボックスには、さまざまな音が飛び交っています。スピーカーから出るBGMに、友だちの声……。それらの音声がノイズとなって、変換処理がボロボロになるといった事態に陥ってしまったのです。問題の解決に向けては、とにかく試行錯誤の連続。苦労した記憶しかありません(笑)」

時代を超えて、つながり合う喜び。

数多の困難を乗り越えて、無事にリリースされた「なりきりマイク」は、各メディアやSNSで大きな注目を集めることになった。
「多くのテレビ番組やYouTubeチャンネルに取り上げられるなど、なりきりマイクは大きな注目を集めました。技術の魅力を紹介してくれたり、さまざまな企画で面白おかしくイジってくれたり(笑)。チームみんなが、その影響力を実感できたと思います」
何より力をくれたのは、ユーザーの声だ。ELTのファンとして夢が叶った。この技術、本当に面白い。SNS上には、このサービスを体験した人たちから、さまざまな感想が寄せられている。その感動は実に多様で、技術者が想定していた反応もあれば、想定外の楽しみ方をしている人もいる。
「SNS上で発信された、とあるメッセージがとくに印象に残っています。その内容は『カラオケの履歴がELTで埋め尽くされている。令和の時代に、同じELTファンと心が通い合ったように感じた』というもの。同じアーティストを愛する人たちが、時代を超えて繋がり合う。私たちの技術がそのきっかけになれたわけですからね。これほど嬉しいことはありません」

既成概念を打破したい。

「なりきりマイク」の成功をさらなる挑戦の原動力にかえて。才野らは、また新たな技術の「種」を創出すべく、日々の研究に打ち込み始めている。日々、進化を続ける歌声合成技術・文化にどのような価値を提供していくのか。どのような感動を届けていきたいのか。最後に、その展望を聞いた。
「ボーカロイドってこういうもの。そんな既成概念を打破するような、革新的な技術を生み出していきたいと思っています。ボーカロイドが持つ、ピーキーな存在感を大事にしながらも、歌声合成の技術としてはクラシックや演歌の世界など、さまざまな音楽ジャンルの魅力や表現力をもたせるなど、まだまだできることはたくさんあると思っています。世の中にまだない技術で、人々に驚いてほしい。喜びを感じてほしい。研究畑の人間にとって、それ以上にしあわせなことはありませんからね」