iPhoneで撮った動画をAI変換で「本格的アニメ」にする方法

現在の「AI技術」を用いれば簡単に実写動画からアニメ映像を作成することができます。AI技術によってどのようにアニメ作品をつくることが出来るのか、海外YouTubeチャンネル「Corridor Crew」が解説しています。

*Category:テクノロジー Technology *Source：Corridor Crew,Unreal Engine（Wikipedia）

実写動画からAIで「本格的アニメ」ができる過程

アニメの内容は、王位を巡って2人の兄弟がジャンケンで勝負をするというものです。最初は、オーバーリアクションであいこを繰り返します。しかし、最終的には兄がチョキで勝利するというストーリー。シナリオは他愛ないものですが、映像クオリティは本格的です。

このアニメの制作方法は、まず演者がアニメのキャラクターに扮して演技するというもの。ちなみに動画はiPhoneで撮影されており、この時点での背景はグリーンバックです。

背景はUnreal Engineを使ったもので、アニメーションキャラクターに合うよう作られています。その後、AIを用いて映像をアニメ化していきます。トレーニングに使われた素材はYouTube上に無料公開されているアニメ映画「バンパイアハンターD」で、フレームを取り出しAIに学習させたとのこと。

そして動画のフレームごとにAIで変換します。技術の主要部分は、「diffusion」という機械学習プロセスを使ったとのこと。このようにして作成したAIアニメには特有の「ブレ」が出てしまいますが、VFX技術を応用してこの問題も解決できたそうです。キャラクター以外にも、照明の場所を細かく指定したり、背景を1990年代のアニメ映画のように変更することも可能です。

この手法で撮影する際の注意点は、同じ服装などで撮影を続けることです。シーンが変わっても統一感のある映像を作るためには、演者の顔、体、様々なポーズを一貫性を持たせて学習させなければならないのです。

最後にビフォー・アフターを見比べてみましょう。

このアニメはあくまでテスト的なものであり、内容や使われた技術は比較的単純なものです。制作者の「Corridor Crew」は、このような方法で映像が作れるようになったため、多くの人がアニメーションを作りやすくなるのではないかと述べています。