はじめに
現在、ショート動画を中心にSNSマーケ（YouTube Short, TikTok, インスタリール動画）を行なっている。
- YouTube：https://www.youtube.com/@mia-cat-dialect
- TikTok：tiktok.com/@mia_cat_robot
- Instagram：instagram.com/miacat0610
動画作成ソフトCapCutを使ってショート動画を手動で作成する方法は、こちらの記事で記載した。
今回は、無料動画生成AIの「Luma AI Dream Machine」を、ショート動画生成が実用に耐えうるか検証してみる。
https://lumalabs.ai/dream-machine
Dream Machineとは？
「Dream Machine」は、AIスタートアップの米Luma Labsが6月12日（現地時間）発表した、動画生成AIサービス。動画の内容を指示するプロンプトと1枚の写真から5秒の動画を生成する。
生成スピードは1コマ1秒としており、120コマ（24fpsで5秒）を2分で生成できる。
高品質な動画生成AIは、OpenAIが「Sora」を発表しているが、Soraはまだ一般公開されておらず一部の人しか使えない。そんなSoraに先駆けて発表されたのがDream Machine。
ちなみに、「Dream Machine」で無料枠で生成できるのは、1か月間で30回かつ1日で10回という制限がある。無料枠を使い切ったら、下記有料プランが案内される。
120回まで$29.99、400回まで$99.99、2000回まで$499.99 どのプランも1回あたりの価格は約$0.25
ちなみに、利用規約で、下記の記載があるので、実際に生成されたショート動画をSNSで使う場合には有料登録しなければならない。
出力を商用利用する場合には、有料サブスクリプションに加入してください。
いくつかの方法で、動画AI生成を試してみる
今回4パターンで試してみた。
できたショート動画のサムネがこちら。
ちなみにプロンプトは日本語だとうまくいかないことが多いみたいなので、英語にした。
ものにもよるが、生成までかかる時間は2-3分程度。
パターン１）テロップ付きの静止画
プロンプト
cat talking japanese dialects, such as osaka and hakata
入力画像
出力動画
途中でテロップが乱れたり、猫っぽいアイコンが入ったりして、これはこれで面白いけど、実用的ではない
プロンプト
talking cat robot speaking japanese dialects
入力画像
出力動画
めっちゃおもろいけど、、、もはやサービス違うw 想像超えてくるあたりはすごい。
画像のみ
画像からの動画生成が綺麗とのことなので、今度はプロンプトのテキストをなしにして、画像のみ入力。
入力画像
出力動画
確かに、動きはあるものの、これだと静止画の場合とほとんど変わらないので、今回の用途としては厳しい。
画像＋詳細なテキストプロンプト
最後に下記のプロンプトを実行してみる。
まず、日本語で作成したものをDeepLで英語に翻訳
添付画像のような白と黒の猫型ロボットが、さまざまな目の表情で、方言を話ししている様子。TikTokでバズりそうな面白いショート動画を生成して
↓
A black and white cat-shaped robot, as shown in the attached image, speaking in different dialects, with different eye expressions, generating interesting short videos that could be buzzed about on TikTok.
そして、下記画像を添えてDream Machineのプロンプトに入力
上記プロンプトを試したところ、「動画を生成できません」とエラーが出た。
generating interesting short videos that could be buzzed about on TikTokの部分がいけないのだろうか？試しに、該当箇所を省いたところ、無事生成された。
生成された動画
いきいきと動いている感じで、個人的には好きなのだが、黒ミーアの方が途中で目が潰れたりしていて、原型をとどめていない。
面白いけど、この動画を投稿すると、サービスの世界観は崩れてくるかも。。。
実物の方をこんな感じでリアルに動かせることができれば、良さそうだなぁ（難易度めちゃ高いけど）と思わされた。
まとめ
今回は、すでに実物がある状態でのショート動画生成なので、現段階では実用性に耐えなさそう。とはいえ、自分のプロンプト入力の問題もありそう。
実物を置いた状態で、背景だけ動画で変更させることができる（例えば南極にいるとか、ジャングルにいるなど）ことができれば、今回の場合はとても実用的になりそう。
おそらく近い将来にこういうのもできそうだと思うので、今後に期待したい。
