今回はテキストから画像を生成するAIサービスのLeonardo.Aiを使って、人物が走っている2〜3秒のループ動画を作成してみましたので、その制作過程についてお話ししたいと思います。
元となる写真を用意すれば、ControlNetで思い通りのポーズを生成できることがわかったので、アニメーションにしたらどうなるかな？という好奇心だけで無謀にも挑戦してみました。無料版を使っているので１日に生成できる枚数は150枚まで。まずは短めなやつを作ってみようということで、３秒程度のループ動画から始めてみたのですが…なかなか根気のいる作業であることを痛感しました。
ちなみにControlNetの詳しい解説はこちらの記事で紹介していますので興味のある方はお読みください。
元素材の準備
ControlNet機能を使って画像生成するためには元になる写真を用意する必要があります。今回は動画素材から連番のJPG画像を作り、元素材として使いたいと思います。
まずはループできそうな映像素材の選定します。今回はenvato element で走る人物の映像素材を選びました。
次に Adobe Premiere Pro を使用してループ映像として切り出し、640×832サイズの連番JPGとして書き出します。JPGは全部で66枚となりました。
写真からイラストにする
用意したJPGをLeonardo.Aiに読み込んでイラスト化していきます。
ControlNet機能には、Pose to Image／Edge to Image／Depth to Image の３種類があります。静止画のイラストとしてはPose to Imageが自然な印象に仕上がるのですが、微妙に手脚の角度等か変わってしまうので、今回はDepth to Imageで書き出した画像で進めました。これならほぼ一発で狙った通りのポーズを作成できます。
Leonardo.Aiの生成画面左下のドロップエリアに元画像を読み込んで、Depth to Imageが選択されていることを確認し、Generateボタンを押します。あとはひたすらこれの繰り返しです。
プロンプトの工夫
後から気づいたのですが、元写真の日差しが強く影がかなり濃く写っています。AIがこれを真面目に描こうとして、肩の周辺に毛髪を描いたりするのですが、「ショートヘアー」と書き込むことで回避できました。
着ている服が毎回バラバラになってしまうのはAIイラストの特性上現時点ではどうにもできません。できる限り統一したいと思って色々と試行錯誤した中では、プロンプトに「白いTシャツ」と書き込むのが一番良い結果となりました。
あと人物の背景もかなりランダムに出力されてしまうので、とりあえず「ビーチ」というプロンプトを入れて統一感を出そうとしたのですが、連番で生成するとやはりパカパカが気になりました。Leonardo.Aiにはアルファチャンネル付きのPNGで出力する機能が付いているので、人物だけを切り出すことも可能です。この機能を使ってもいいのですが、トークンを2つ消費してしまうのと、アルファの縁が薄っすらと黒くなってしまうので、今回はPhotoshopから切り抜きを行いました。
アニメーションの作成
出来上がった66枚の画像を After Effects に読み込んでから書き出した映像です。背景アリのままではさすがにキツイですね。これだとかなり高速で走っている印象です。
次は人物をアルファチャンネルで切り抜いたバージョンです。人物のアクションだけに注目すれば想像以上になめらかな印象です。AIで出力する際に衣装のばらつきがなくなるように何度もトライすれば、もう少しクオリティーを上げることもできると思いますが、今回はこれくらいにしたいと思います。
ちなみに今回のケースではシード値を固定したとしてもむしろ逆効果でバラツキが出てしまったので、ランダムのまま生成しましたが、顔立ちは意外にも統一感がありました。使用モデルはRPG4.0です。
今回は以上です。最後までお読みいただきありがとうございます。
コメント