AZ8 编辑部实测指南

让 AI 视频开口说日语,7 款模型实测结果

能连同音频一起生成视频的模型越来越多,提示词里写的日语台词,已经可以让画面里的人物说出来。我们用 7 款模型生成同一段台词,确认实际听起来怎么样。

最后更新 AZ8 编辑部

想让角色说日语台词,该选哪款模型?

这次实测中,Seedance 2.5 和 Kling 4.0 把两句台词一字不差地说了出来。Seedance 2.0、Wan 3.0、Gemini Omni Flash 除了转写的写法差异和句尾多出的一个音,也都按指定内容说出了台词。无论哪款模型,只要用「」把台词括起来,都会用日语说出。

  • 7 款模型都用日语说出了指定台词
  • Seedance 2.5 和 Kling 4.0 零错误,连车站广播也是日语
  • 每款模型只生成 1 次,没有挑选结果

7 款模型生成同一段台词的结果

我们用下面的提示词在每款模型上各生成 1 次,再用 Whisper(medium 模型)转写音频。字符错误率是转写结果与指定台词之间不同的字符数,除以台词字数得到的值。

提示词

夕方の駅のホームで、制服姿の女子高生が友達に振り向いて、日本語ではっきりと「また明日ね、遅れないでよ」と言う。友達は笑って「わかってるって」と答える。電車の到着音と駅のアナウンス。

指定台词

  • 「また明日ね、遅れないでよ」
  • 「わかってるって」
模型转写(Whisper)字符错误率
Seedance 2.5また明日ね 遅れないでよ わかってるって0%
Kling 4.0また明日ね 遅れないでよわかってるって0%
Seedance 2.0また明日ね、遅れないでよ 分かってるって6%
Wan 3.0また明日ね。送れないでよ。 わかってるって。6%
Gemini Omni Flashまた明日ね遅れないでよ わかってるってよ6%
MiniMax H3また明日ねおこれないでよ わかってるって11%
Veo 3.1 Liteこれ、また明日ね。遅れないでよ。分かってるって。17%

Seedance 2.5

  • 16:9
  • 720p
  • 8 秒

两句台词一字不差。提示词里指定的车站广播「まもなく1番線に電車が参ります」也是日语(不计入错误率)。

Kling 4.0

  • 16:9
  • 720p
  • 8 秒

两句台词一字不差。开头还有日语车站广播「ご注意ください、電車が参ります」(不计入错误率)。两人面对面的构图也很自然。

Seedance 2.0

  • 16:9
  • 720p
  • 8 秒

台词与指定内容一致。唯一的误差是「わかって」被转写成「分かって」,只是写法不同,读音相同。

Wan 3.0

  • 16:9
  • 720p
  • 8 秒

「遅れないで」被转写成「送れないで」,但两者读音都是「おくれないで」。从听感上看,与台词一致。

Gemini Omni Flash

  • 16:9
  • 720p
  • 8 秒

两句台词基本照原样说出,唯一的差别是句尾多了一个「よ」。

MiniMax H3

  • 16:9
  • 768p
  • 8 秒

「わかってるって」准确无误,「遅れないで」听起来像「おこれないで」。它是 7 款模型中唯一以 1344×768 宽画面输出的。

Veo 3.1 Lite

  • 16:9
  • 720p
  • 8 秒

两句台词都是能听清的日语,台词前多了一句「これ」。在 7 款模型中,它试用所需的积分最少。

让日语台词不走样的提示词写法

  1. 01

    用「」把台词括起来

    把叙述和台词分开,模型就知道哪部分要念出来。这次的提示词也用「」括起了两句台词。

    女子高生が「また明日ね、遅れないでよ」と言う。

  2. 02

    写明「日本語で」

    写明说话的语言,可以避免台词被换成英语或其他语言。再加上「はっきりと」(清楚地)之类的说话方式,会更容易听清。

    日本語ではっきりと話す。

  3. 03

    每个镜头的台词要短

    5~10 秒的视频大约只能容纳两句短台词。较长的对话,按台词拆成多个镜头分别生成,再拼接起来。

    每个镜头 1~2 句

按目的选择

Seedance 2.5

台词准确度优先

这次实测中零错误的两款模型之一。单次最长 30 秒,有对话的场景不必切镜头就能一次做完。

查看 Seedance 2.5 详情

MiniMax H3

官方明确支持日语

开发方明确表示,包括日语在内的 11 种语言台词都很稳定。还支持 21:9 宽银幕和 2K。

查看 MiniMax H3 详情

Kling 4.0

有台词的电影感场景

这次实测中另一款零错误的模型。最长 30 秒,也支持 21:9 宽银幕。

查看 Kling 4.0 详情

Seedance 2.0

用 4K 交付的广告和短剧

这次实测中台词同样与指定内容一致。在 AZ8 上可选 4K,说话人物的特写也能保留清晰细节。

查看 Seedance 2.0 详情

关于日语台词的常见问题

视频生成 AI 支持日语吗?

这次测试的 7 款模型,都用日语说出了提示词里的日语台词。开发方明确表示支持日语的是 MiniMax H3。其他模型也可以直接输入日语提示词。

怎样让 AI 视频里的人物说日语?

选择能生成音频的模型,用「」把台词括起来写进提示词。再用「日本語で」写明语言,并补充说话方式,结果更容易符合预期。

每次实测结果都一样吗?

即使提示词相同,每次生成的结果也会不同。这次是每款模型只生成 1 次的结果,没有挑选。效果不理想时,用同一段提示词再生成一次,有时就会改善。

错误率是怎么计算的?

我们用 Whisper 转写生成视频的音频,去掉标点和空格后,计算与指定台词之间的字符差异(编辑距离),再除以台词字数。汉字与假名的写法差异也按 1 个字符计算。

可以指定声音或说话方式吗?

「小声地」「元气满满地」这类说话方式,写进提示词里就比较容易体现出来。想接近某个特定的声音,可以使用支持把音频作为参考素材的模型(如 Seedance 2.5、Seedance 2.0、Wan 3.0、MiniMax H3)。

生成的视频可以商用吗?

根据 AZ8 服务条款,在遵守法律法规、不侵犯第三方权利、并遵守生成前显示的模型专属条件的前提下,生成的视频可以商用。请避免生成模仿真实人物声音或长相的内容。