【Luma AI Dream Machine】ミーアで、写真からショート動画生成AIを試した結果

はじめに

方言を話すおしゃべり猫型ロボット「ミーア」を開発中。

ミーア

おしゃべり猫型ロボット「ミーア」は、100以上の種類の豊かな表情で、悲しみや喜びを共有します。様々な性格（皮肉・おせっかい・ロマンチスト・天然）や方言（大阪弁・博多弁・鹿児島弁・広島弁）も話してくれます。ミーアとの暮らしで、毎日の生活をもっ...

mia-cat.com

現在、ショート動画を中心にSNSマーケ（YouTube Short, TikTok, インスタリール動画）を行なっている。

• YouTube：https://www.youtube.com/@mia-cat-dialect
• TikTok：tiktok.com/@mia_cat_robot
• Instagram：instagram.com/miacat0610

動画作成ソフトCapCutを使ってショート動画を手動で作成する方法は、こちらの記事で記載した。

【ミーア】CapCutでショート動画を大量生成してSNSマーケを行う

今回のtoC向けのおしゃべり猫型ロボットの場合は、WEBマーケよりはSNSマーケが相性が良さそう。その中でも１）ショート動画→TikTok, インスタ, Youtube Short　２）キャラのイラストと、面白い一言フレーズ→X・インスタ　の2つに注力するのが良さそう。

kazulog.fun

2024.06.17

今回は、無料動画生成AIの「Luma AI Dream Machine」を、ショート動画生成が実用に耐えうるか検証してみる。

Luma Dream Machine

Dream Machine is an AI model that makes high quality, realistic videos fast from text and images from Luma AI

lumalabs.ai

Dream Machineとは？

「Dream Machine」は、AIスタートアップの米Luma Labsが6月12日（現地時間）発表した、動画生成AIサービス。動画の内容を指示するプロンプトと1枚の写真から5秒の動画を生成する。

生成スピードは1コマ1秒としており、120コマ（24fpsで5秒）を2分で生成できる。

高品質な動画生成AIは、OpenAIが「Sora」を発表しているが、Soraはまだ一般公開されておらず一部の人しか使えない。そんなSoraに先駆けて発表されたのがDream Machine。

ちなみに、「Dream Machine」で無料枠で生成できるのは、1か月間で30回かつ1日で10回という制限がある。無料枠を使い切ったら、下記有料プランが案内される。

120回まで$29.99、400回まで$99.99、2000回まで$499.99 どのプランも1回あたりの価格は約$0.25

ちなみに、利用規約で、下記の記載があるので、実際に生成されたショート動画をSNSで使う場合には有料登録しなければならない。

出力を商用利用する場合には、有料サブスクリプションに加入してください。

Luma AI - Luma AI - Terms of Service

Capture the world in lifelike 3D

lumalabs.ai

いくつかの方法で、動画AI生成を試してみる

今回4パターンで試してみた。
できたショート動画のサムネがこちら。

ちなみにプロンプトは日本語だとうまくいかないことが多いみたいなので、英語にした。
ものにもよるが、生成までかかる時間は2-3分程度。

パターン１）テロップ付きの静止画

プロンプト
cat talking japanese dialects, such as osaka and hakata

途中でテロップが乱れたり、猫っぽいアイコンが入ったりして、これはこれで面白いけど、実用的ではない

プロンプト
talking cat robot speaking japanese dialects

めっちゃおもろいけど、、、もはやサービス違うw 想像超えてくるあたりはすごい。

画像のみ

画像からの動画生成が綺麗とのことなので、今度はプロンプトのテキストをなしにして、画像のみ入力。

確かに、動きはあるものの、これだと静止画の場合とほとんど変わらないので、今回の用途としては厳しい。

画像＋詳細なテキストプロンプト

最後に下記のプロンプトを実行してみる。

まず、日本語で作成したものをDeepLで英語に翻訳

添付画像のような白と黒の猫型ロボットが、さまざまな目の表情で、方言を話ししている様子。TikTokでバズりそうな面白いショート動画を生成して

↓

A black and white cat-shaped robot, as shown in the attached image, speaking in different dialects, with different eye expressions, generating interesting short videos that could be buzzed about on TikTok.

そして、下記画像を添えてDream Machineのプロンプトに入力

上記プロンプトを試したところ、「動画を生成できません」とエラーが出た。

generating interesting short videos that could be buzzed about on TikTokの部分がいけないのだろうか？試しに、該当箇所を省いたところ、無事生成された。

いきいきと動いている感じで、個人的には好きなのだが、黒ミーアの方が途中で目が潰れたりしていて、原型をとどめていない。

面白いけど、この動画を投稿すると、サービスの世界観は崩れてくるかも。。。

実物の方をこんな感じでリアルに動かせることができれば、良さそうだなぁ（難易度めちゃ高いけど）と思わされた。

まとめ

今回は、すでに実物がある状態でのショート動画生成なので、現段階では実用性に耐えなさそう。とはいえ、自分のプロンプト入力の問題もありそう。

実物を置いた状態で、背景だけ動画で変更させることができる（例えば南極にいるとか、ジャングルにいるなど）ことができれば、今回の場合はとても実用的になりそう。

おそらく近い将来にこういうのもできそうだと思うので、今後に期待したい。