AZ8 编辑部实测指南
让 AI 视频开口说日语,7 款模型实测结果
能连同音频一起生成视频的模型越来越多,提示词里写的日语台词,已经可以让画面里的人物说出来。我们用 7 款模型生成同一段台词,确认实际听起来怎么样。
最后更新 AZ8 编辑部
想让角色说日语台词,该选哪款模型?
这次实测中,Seedance 2.5 和 Kling 4.0 把两句台词一字不差地说了出来。Seedance 2.0、Wan 3.0、Gemini Omni Flash 除了转写的写法差异和句尾多出的一个音,也都按指定内容说出了台词。无论哪款模型,只要用「」把台词括起来,都会用日语说出。
- 7 款模型都用日语说出了指定台词
- Seedance 2.5 和 Kling 4.0 零错误,连车站广播也是日语
- 每款模型只生成 1 次,没有挑选结果
7 款模型生成同一段台词的结果
我们用下面的提示词在每款模型上各生成 1 次,再用 Whisper(medium 模型)转写音频。字符错误率是转写结果与指定台词之间不同的字符数,除以台词字数得到的值。
提示词
夕方の駅のホームで、制服姿の女子高生が友達に振り向いて、日本語ではっきりと「また明日ね、遅れないでよ」と言う。友達は笑って「わかってるって」と答える。電車の到着音と駅のアナウンス。
指定台词
- 「また明日ね、遅れないでよ」
- 「わかってるって」
| 模型 | 转写(Whisper) | 字符错误率 |
|---|---|---|
| Seedance 2.5 | また明日ね 遅れないでよ わかってるって | 0% |
| Kling 4.0 | また明日ね 遅れないでよわかってるって | 0% |
| Seedance 2.0 | また明日ね、遅れないでよ 分かってるって | 6% |
| Wan 3.0 | また明日ね。送れないでよ。 わかってるって。 | 6% |
| Gemini Omni Flash | また明日ね遅れないでよ わかってるってよ | 6% |
| MiniMax H3 | また明日ねおこれないでよ わかってるって | 11% |
| Veo 3.1 Lite | これ、また明日ね。遅れないでよ。分かってるって。 | 17% |
Seedance 2.5
- 16:9
- 720p
- 8 秒
两句台词一字不差。提示词里指定的车站广播「まもなく1番線に電車が参ります」也是日语(不计入错误率)。
Kling 4.0
- 16:9
- 720p
- 8 秒
两句台词一字不差。开头还有日语车站广播「ご注意ください、電車が参ります」(不计入错误率)。两人面对面的构图也很自然。
Seedance 2.0
- 16:9
- 720p
- 8 秒
台词与指定内容一致。唯一的误差是「わかって」被转写成「分かって」,只是写法不同,读音相同。
Wan 3.0
- 16:9
- 720p
- 8 秒
「遅れないで」被转写成「送れないで」,但两者读音都是「おくれないで」。从听感上看,与台词一致。
Gemini Omni Flash
- 16:9
- 720p
- 8 秒
两句台词基本照原样说出,唯一的差别是句尾多了一个「よ」。
MiniMax H3
- 16:9
- 768p
- 8 秒
「わかってるって」准确无误,「遅れないで」听起来像「おこれないで」。它是 7 款模型中唯一以 1344×768 宽画面输出的。
Veo 3.1 Lite
- 16:9
- 720p
- 8 秒
两句台词都是能听清的日语,台词前多了一句「これ」。在 7 款模型中,它试用所需的积分最少。
让日语台词不走样的提示词写法
- 01
用「」把台词括起来
把叙述和台词分开,模型就知道哪部分要念出来。这次的提示词也用「」括起了两句台词。
女子高生が「また明日ね、遅れないでよ」と言う。
- 02
写明「日本語で」
写明说话的语言,可以避免台词被换成英语或其他语言。再加上「はっきりと」(清楚地)之类的说话方式,会更容易听清。
日本語ではっきりと話す。
- 03
每个镜头的台词要短
5~10 秒的视频大约只能容纳两句短台词。较长的对话,按台词拆成多个镜头分别生成,再拼接起来。
每个镜头 1~2 句
按目的选择
关于日语台词的常见问题
视频生成 AI 支持日语吗?
这次测试的 7 款模型,都用日语说出了提示词里的日语台词。开发方明确表示支持日语的是 MiniMax H3。其他模型也可以直接输入日语提示词。
怎样让 AI 视频里的人物说日语?
选择能生成音频的模型,用「」把台词括起来写进提示词。再用「日本語で」写明语言,并补充说话方式,结果更容易符合预期。
每次实测结果都一样吗?
即使提示词相同,每次生成的结果也会不同。这次是每款模型只生成 1 次的结果,没有挑选。效果不理想时,用同一段提示词再生成一次,有时就会改善。
错误率是怎么计算的?
我们用 Whisper 转写生成视频的音频,去掉标点和空格后,计算与指定台词之间的字符差异(编辑距离),再除以台词字数。汉字与假名的写法差异也按 1 个字符计算。
可以指定声音或说话方式吗?
「小声地」「元气满满地」这类说话方式,写进提示词里就比较容易体现出来。想接近某个特定的声音,可以使用支持把音频作为参考素材的模型(如 Seedance 2.5、Seedance 2.0、Wan 3.0、MiniMax H3)。
生成的视频可以商用吗?
根据 AZ8 服务条款,在遵守法律法规、不侵犯第三方权利、并遵守生成前显示的模型专属条件的前提下,生成的视频可以商用。请避免生成模仿真实人物声音或长相的内容。