VoxCPM2
可本地运行的 48kHz 语音大模型(配合 VoiceStudio 与 MLX 量化版),最大特点是用自然语言描述就能定音色与情绪,不需要参考音频做声音克隆,还能随剧情逐句改语气。在一人 AI 剧组的配音环节里,它替代视频模型直出的中文配音,解决口音、吞尾音和多音字三类顽疾。
简介
VoxCPM2 是这篇 AI 短剧实录里承担「配音师」角色的本地语音合成模型,作者在本机装了 VoiceStudio + VoxCPM2(48kHz MLX 量化版),并与 DeepFilterNet3(降噪净音)和 mlx-whisper(词级时间戳)组成一条全自动多角色配音流水线。
它解决的问题很具体:视频模型直出中文台词时会出现咬字发飘、口音怪异、多音字与专有名词乱读(「监控」读成「中宫」、「为师」读成「喂师」)、句尾突然断掉。在监控俯拍、远景或中景喜剧里人物脸部占比本来就小,最干净的做法就是保留原视频的动作与环境底噪,把人声台词整条重配一遍。
与常见的「参考音频克隆」路线相比,VoxCPM2 的差异化在于控制方式是文字描述:直接写「30 岁成熟尊贵古装女性,声线温婉磁性,普通话字正腔圆」再追加「第一镜温柔深情,略带羞涩笑意;第四镜压低声音威严质问」,同一角色的多句台词可以分别给不同的表演指令。这对短剧尤其重要——同一个角色在 5 个镜头里情绪是变化的,而参考音频克隆通常只能锁住一个固定音色。
关键信息
- 类型:模型 / 语音合成(TTS)
- 领域:AI 配音、多角色短剧、本地化语音生产
- 运行方式:本机本地运行(VoiceStudio 界面 + VoxCPM2 48kHz MLX 量化版)
- 配套链路:DeepFilterNet3 降噪 → VoxCPM2 生成干音 → mlx-whisper 词级时间戳质检 → ffmpeg 混响/混音
- 输出规格(本文实操):48kHz 高清干音
- 相关概念:Whisper、AI视频剪辑自动化、视频生成模型、本地 TTS
核心特性
1. 自然语言控音,不需要参考音频
作者为《西梁国留婚》四个角色写音色指令:女王「30岁成熟尊贵古装女性,声线温婉磁性,普通话字正腔圆」;唐僧「28岁年轻俊朗古装书生僧人,嗓音温润清亮,吐字清晰」;孙悟空「机灵洒脱的青年男性声线,音色清脆明亮,富有穿透力」;太师/猪八戒「45岁精明干练女官 / 憨厚喜感偏低沉男声」。在同一音色基底上,再按每镜剧情追加表演指令(女王第一镜温柔深情、第四镜压低声音威严质问、第五镜柔中带刚)。
2. 句末省略号是防吞尾的实用开关
语音模型读到句号或感叹号时有时会提前收气,导致最后一个轻声字(「清楚」的「楚」、「松开呀」的「呀」)变轻甚至被切掉。实测最有效的一招是给送入模型的文本末尾加 ……,模型读完后会自然留出约 0.25 秒气息衰减,尾音完整。工程上再叠一层兜底:音频末尾拼接 0.45 秒静音缓冲。
3. 必须配 Whisper 做两遍质检
一遍查字准(漏字、多字、多音字读歪,不对就换种子重生成),一遍查首尾时间边界——中文 c/ch/q/x/s/sh 这类塞擦音前有约 50 毫秒无声闭塞段,若顺着往后找静音点裁剪,会把整个字切掉。正确做法是从 Whisper 识别出的最后一个字结束时间往回倒查最后一个发声帧,再往后留 0.26 秒余音淡出。
4. 干音必须加空间层,否则像画外音
录音棚级别的贴脸干音直接放进大殿监控画面会产生「画外音」感。作者的解法是给配音轨加轻微的大殿早期反射混响 aecho=0.85:0.82:22|48:0.14|0.07,再把原视频压低后的环境底噪垫在底下,人声才像从柱子之间传出来。
5. 口型对齐靠时间轴工程而非模型能力
脱节的两个成因:生成音频在分句间留下 1 秒以上死寂导致整句被拉长;前句拖堂把后句开口时间往后挤。解法是先用 Whisper 提取原视频里角色张嘴/闭嘴的时间真值,把大于 0.25 秒的长空白收窄成 0.14 秒换气口;仍偏长时用 ffmpeg atempo 做 1.05-1.15 倍微幅无损变速(不改音调音色),让每句台词首尾与唇动开合贴牢。
不同素材中的观点
- 2026-11-12-juejin-gemini4-omni12-ai-film-crew:本文把 VoxCPM2 定位成「配音师兼台词质检员」的一半(另一半是 Whisper)。核心判断是:在多角色短剧里,与其反复抽卡让视频模型把中文说准,不如接受画面动作、放弃模型原生人声、用本地 TTS 整条重配——成本更低且可控。作者还把它纳入「独立质检」工作流:每句配音生成后必须跑 Whisper 识别与尾音能量检测,达标才允许进入合成。这条经验对任何「视频模型自带中文台词」的路线都成立。
实用信息
- 快速上手步骤:① 本机安装 VoiceStudio + VoxCPM2(48kHz MLX 量化版),配好 DeepFilterNet3 与 mlx-whisper;② 为每个角色写一段固定音色描述(年龄 + 性别 + 声线质感 + 普通话水准);③ 每句台词前追加该句的情绪/语速指令,文本末尾加
……;④ 生成后用 Whisper 校字并复核首尾时间,再叠混响与底噪。 - 常用提示词/配置:混响
aecho=0.85:0.82:22|48:0.14|0.07;变速atempo=1.05~1.15;句间空白收窄到 0.14 秒;尾部保留 0.26 秒衰减、另拼 0.45 秒静音缓冲。 - 注意事项/避坑指南:① 不要把生成音频直接贴上画面——死寂长停顿会毁掉口型;② 不要在塞擦音前的闭塞段裁静音;③ 多音字先在文本里换同音单音字(「为师」→「维师」);④ 角色音色描述要一字不改地复用,否则同一角色在不同镜头会换声。