AIの力を借りてVTuberのキャラクターを作って動かしてみた

今回は、AIの力を借りてVTuberのキャラクターを作って動かしてみることに挑戦してみました。ついでに音声も変えられるように取り組んでいます。

これらの過程を紹介していきます。ちなみに今回はMac M1で対応しています。

目指すものを考える

まずはどんなものを最終形とするのか考えます。

自分の場合はVTuberといえば、YouTubeで配信している方々がぱっと思い浮かびました。実際にYouTubeを見ていると、どうやら自分の動きに連動してVTuberのキャラクターを動かすことができるようです。

この仕組みをどうやっているのか調べたところLive 2Dでできるらしいということを知りました。

LIVE 2Dの詳細はこちら

ここからキャラクターを動かすには、キャラクターの部位を分ける必要があります。例えば、髪の毛、目、眉毛などのようにパーツごとに分けて作成し、psdデータにするとLive 2Dに読み込めます。

ちょうどPhotoshopがあったので、これでできそうだと思い方針を固めました。

その後の動きに連動させる対応や、音声変換については、あとから調べてやる方針でも大丈夫と思い、一旦キャラクター作りから始めることにしました。

AIでキャラクターを作成する

使ってみたAIは、GPT-4の下記になります。

今回は女性のアニメキャラクターを作ってみることにしました。理由は個人的に作っていて楽しそうだったからです。配信しているキャラクターもほとんど女性ですので、需要もありそうということで紹介していきます。

VTuberキャラクターデザインメーカー ver.2 – VTuber Designer Pro

一旦デフォルトのプロンプトでやってみると、かなり細かく書く必要がありそうです。

上記からできあがったキャラクターは下記になります。

想像以上にクオリティが高くびっくりしました！プロンプトの内容がしっかり反映されていますね。

ここでこのVTuberキャラクターデザインメーカー ver.2だけでもキャラクター作成は困らないかもなと思いました。

それではここからオリジナルのプロンプトを考えていきます。先ほどのプロンプトの内容を参考に下記のように考えました。

下記に基づいて生成をお願いします。
・髪型：肩にかかるくらいの長さでウェーブのある髪で緑色。髪の一部を花型のクリップで留めて、アクセントにします。
・服装：山や森、自然がモチーフのデザイン。トップスは麻の素材で半袖、ワンポイントで花のモチーフがあります。ショートパンツとタイツを履いていて動きやすく、アクティブなイメージです。
・アクセサリー：耳には葉っぱ形のピアス。
・色彩：緑と茶色を基調に、アクセントとして黄色を使用。
・生成イメージ：全身、アニメ風

できあがったキャラクターは下記になります。

かなりいい感じでしたので、このキャラクターでこの先も進めることにしました。

またこのVTuberキャラクターデザインメーカー ver.2では、生成された画像に対してブラシのようなもので変更したい範囲を塗りつぶして別の服装に変えたり、取り除いたりといったことができるようです。

今回の例では、取り除かれませんでしたが、別の画像に置き換わりました。

商用利用についても聞いてみましたが、大丈夫そうです。

DALL · E3

DALL · E3を先程と同様のプロンプトで試してみました。結果は下記のとおりです。

少しイメージと離れていたため、今回は見送ることにしました。カラーパレットやパーツを生成してくれるのはいいですね。

何回かプロンプトを見直して生成すればイメージ通りの画像はできそうです。こんな感じの画像も生成してくれました。

キャラデザメーカー ver.2 – Creative Character Designer

最後にキャラデザメーカー ver.2です。こちらもさきほどと同様のプロンプトで対応しましたが、イメージ通りの結果にはなりませんでしたので、見送ります。

一応別のパターンも何度か試してみて、下記のようにはなりました。

生成した画像をパーツ分けする

事前にここでの失敗を伝えておきますが、全身で生成すると画像サイズに限界があるため、少し粗くなりやすいです。Photoshopのスーパー解像度などで画質をきれいにしておくことをおすすめします。またPhotoshopがなくても、上半身だけ生成するなどの工夫をすればいくらかましにはなると思います。

さて、ここからPhotoshopで髪の毛、目、口などにパーツ分けしていくのですが、相当面倒で時間がかかるなと思ったのでAIでできないか調べてみました。LayerDividerでやるとやってくれるみたいです。

LayerDividerで対応してみる

下記の記事を参考に対応してみましたが、今の自分には力がなくできませんでした。macのPCだとなかなか難しいようなお話も目にしました。

Photoshopで手動で切り抜く

技術力不足を痛感しましたが、仕方なく手作業でPhotoshopでマスクをかけて切り抜いていく作業を6時間ほどかけて対応することにしました笑。実際のイメージは下記になります。

こんな感じで髪の毛でも、サイドやトップなど細かく分けて切り抜いていく必要があります。動きにこだわりたい人はここで頑張りましょう笑。

また少しPhotoshopのスキルも求められます。今回はPhotoshopの技術的なことには触れませんのでご了承ください。

例えば1枚絵の場合、後ろ髪が描画されてませんので、切り抜いてからあとで自分で付け足す必要があります。下記のようなイメージです。

これがめちゃくちゃ大変です。特に髪の毛は大変ですので、個人的には作業を楽にする場合は、髪型をショートボブで生成するのがおすすめですね。

すべてできあがったら、psdデータで保存しましょう。

Live2Dで動きを設定する

Live2D Cubism Editorを下記からダウンロードします。

Live2D Cubism Editor

下記画像に沿って進めましょう。

あとはpsdデータを取り込み、動きの設定をすればOKです。取り込み方法や動きの付け方は下記を参考にして対応しました。

イラストを動かす準備

作成したデータは書き出しておきます。

VTube Studioでカメラに連動して作成したキャラクターを動かす

VTube Studioを使うには、Steamというソフトもあわせてインストールする必要がありました。他の方法もあるかもしれませんが、本記事ではこの方法で進めます。

ダウンロードはこちら

起動すると下記の画面がでてきます。人のピクトグラムのアイコンをクリックして、左下のIMPORT MODELを選択します。

フォルダの中にLive 2Dで書き出したファイルを入れればOKです。

フォルダの中身も参考として添付します。

取り込めたら、あとは背景をグリーンバックにして動きをみてみます。グリーンバックにしているのは、動画配信するときに重宝するからです。では動きを確認してみましょう！

画像が粗くてすみませんが、まばたきをしたり、口を開閉したり、頭を左右に揺らしたりすると、キャラクターが連動して動くようになりました！

これまでめちゃくちゃ苦労したこともあって、動いたときは感動しましたね。

キャラクターの音声を作ってみる

どうせなら自分の声を女性の声にして配信できたらおもしろいよなと思い、挑戦してみることにしました。

いろいろ試しましたが、下記の2つがいいかもしれません。

ただこれらでも男性の声から女性の声にするのは少し違和感が残りますので、本格的に始めたい人は有料の声を購入するのがいいでしょう。

ガチコエ!について

使い方は下記記事を参考にしました。

使い方の参考サイト

いろいろ試しましたが、求めているような声にはなりませんでした。ただよくテレビで出てくるような犯罪者の低い声や、ヘリウムガスを吸ったような高い声を簡単に出すことができるので、そういった遊びには使えそうです笑。

つくよみちゃん公式RVCモデル／つくよみちゃんUTAURVCについて

こちらを使うには少しハードルが高いです。RVC WebUIというのを構築する必要があります。参考記事も下記に載せますね。

実際にうまくいくと、下記のような画面になりますので、つくよみちゃんのモデルを選択して、GAINのinやout、TUNEなどの設定をして、自分の声がいい感じに聞こえるよう調整していきましょう！

自分の場合ですが、PCのスペックの問題なのか、自分が話した声が1秒ほど遅れてしまいました。これを調整する方法はまだ自分には見つかっていません。

OBS Studioでキャラクターの表示と声を連動させる

キャラクターの動きと音声が設定できたら、あとはOBS Studioを使ってYouTubeなどでLIVE配信ができるよう設定していきます。下記あたりを参考にしました。

できあがったのがこちらになります！音声データもお見せしたかったのですが、今回は無音にさせていただきます。

まとめ

ここまでくるのに相当な時間がかかっていますが、なんとか形にすることができてよかったです。

自分のように絵が書けない方でも、AIの力を借りて簡単にVTuberのキャラクターの生成することができました！

動かしたりすることまで考えるとなかなか大変ですが、キャラクターを手軽に作りたいだけでしたら、そこまで労力かけることなくできるのでおすすめですよ！