AI動画に日本語をしゃべらせる。7モデルで試した結果

今回試した7モデルは、どれもプロンプトに書いた日本語のセリフを日本語で話しました。開発元が日本語への対応を明記しているのはMiniMax H3です。ほかのモデルも、日本語のプロンプトをそのまま入力できます。

音声付きで生成できるモデルを選び、セリフを「」で囲んでプロンプトに書きます。「日本語で」と言語を明記し、話し方を添えると、意図どおりになりやすくなります。

同じプロンプトでも、生成のたびに結果は変わります。今回は各モデル1回だけ生成した結果で、選び直しはしていません。思いどおりにならないときは、同じプロンプトでもう一度生成すると改善することがあります。

生成した動画の音声をwhisperで書き起こし、句読点と空白を除いて、指示したセリフとの文字の違い（編集距離）をセリフの文字数で割りました。漢字とかなの表記の違いも1文字の違いとして数えています。

「小さな声で」「元気よく」などの話し方は、プロンプトに書けば反映されやすくなります。特定の声に近づけたい場合は、音声を参照素材として渡せるモデル（Seedance 2.5、Seedance 2.0、Wan 3.0、MiniMax H3など）を使います。

AZ8の利用規約では、法令、第三者の権利、生成前に表示されるモデル固有の条件を守る範囲で、生成した動画の商用利用が認められています。実在の人物の声や顔を真似た生成は避けてください。