Vtuberファンとして、最近技術で見逃せないのが口パク」技術と「音声合成」技術
まずは口ぱく技術から
◇日経記事から
☆(N)人気VTuberも利用 自然な「口パク」技術手がけるCRI (18日2:00)
記事から
音声に合わせて、ゲームなどのキャラクターの口を自然に動かす「リップシンク」と呼ばれる技術に注目が集まっている。
ヴァーチャルユーチューバー、キズナアイさんが、20年3月に20年度の卒業生に向けて投稿した動画の中で、卒業ソングを歌うキズナアイさんの口元が、歌詞に合わせて自然に動いたことから、話題を呼んだ。
※(註)オタクの間では、これよりも、『デレスポ』(アイドルマスター・シンデレラガールズスターライトスポット)がソフト『CRI ADX LipSync』を採用した方が、反響が大きかった。キズナ陣営は、それを知り、このソフトを取り入れた。
この「口パク」技術を提供するのが、東証マザーズ上場のCRI・ミドルウェアだ
音声データから自然な口の動き(口パターン)を自動生成するソフトは、1990年代からゲームソフトメーカー向けに提供してきた。最新の口パターン生成ソフト「CRI ADX LipSync」の最大の特徴は、音声データをリアルタイムに解析して瞬時に口パターンを生成できる点だ。遅延はわずか0.02秒程度だ。
歌声だけでなく、会話など通常の発話にも対応する。解析言語に制限がないのも特徴だ。VRゲームが楽しめるヘッドセット「オキュラス・クエスト」向けのゲームソフトとして、20年12月に発売された「ALTDEUS: Beyond Chronos」では、日本語と英語の両方の音声に対応した口パターンが生成されている。直近では国内のアプリ課金ランキングで首位をひた走るスマートフォンゲームの「ウマ娘 プリティーダービー」にも採用された。ゲーム分野での実績は十分。
という内容、さて、音声合成技術であるが、こちらは、先週4月15日、マーケットプレス『相場の福の神、この企業に注目』で社長吉田さんが出演した株式会社「エーアイ」が提供する技術。
この技術の元は、2007年登場した『初音ミク』に始まる(※その技術はもう少し前から使われていたが、やはり、ここを原点とするのが一番しっくりくる)。すべて機械が音声を創り、バーチャル女子が歌を唄うというキャラクターとして登場。瞬く間に、オタクの間に広まった。その後、クリプトン・フューチャー・メディアから発売された音声合成ソフト『鏡音リン・レン』(2008)へとつながっていく。技術は、多方面に広がっていった。「リンレン」自体は、男女ペアバーチャルシンガーとして登場、ソフト『リン・レン』で創った声で、歌を披露、好評を博した。塩の誤、その技術が進歩し、現在では、エレベーターここ恵、電車車内放送、駅の放送、防災の声、車の音声等、多方面で利用されている。これは、元々、人間が録音していたのだが、失敗を恐れた社員や、声とイメージが違う等、陰で言われるのを社員が嫌がったことなどから、各企業がこの技術を取り入れるようになった。その技術を1提供しているのが『エーアイ』。今ではなくてはならない技術となっている。
さてオタクの話に戻ろう。『リン・レン』の技術は、以前ここで書いたことがあるが、その後、ボカロ(ボーカロイド)へと発展している。今はボカロ曲のマーケットが大きくなってきている。というより、ボカロ曲から曲を選び、それを編曲して、新曲発表と言うことが行われている。Vtuberの間では普通のことである。
他にもVtuberの様に、アバターを使い技術が企業の受付などで使われ始めている。
さらには、Vtuberのイベント技術が、今や有名アーチストが行うネットイベントに使われているのだ。その技術なくして、イベントが成立しないくらいである。
こうして、バーチャルな世界の技術が、今や一般社会に使われていることが多い。『オタク』文化侮れず。
『オタク』とコラボする観光協会も増えてきている。大洗は、今や『ガールズ&パンツァー』オタクの聖地である。Vtuber『名取さな』は、鳥取県名取市の献血キャンペーンに協力。その他、CM にもVtuberが多数起用され始めた。
今や、『オタク』を避けて話をすることが難しくなった世の中になってきている。だが、本当にVtuber技術の進化が発揮されるのは、5Gが普及してからのことになる・今の4Gおよび4G+では、通信速度が遅く、転送容量が小さすぎて、リアル視聴、視聴者が会場に入り込めず限界がある。
5Gが実現できれば(本当の意味での5Gで、日本がとりあえず目指している4G+代用での5Gではない)以降になれば、視聴者が会場に3Dで入り込めるライブ配信が可能になる。2周遅れの日本では10年先か・・・
ここに強調したいのは、Vtuberの技術は、最先端技術を必要としているのです。
こんな、くだらないことを書いて気が付くともう夕方6時になる。
もうろくじじいになってしまった