一个人指挥一支 AI 剧组:Gemini 4 + Omni 1.2 剧情短片制作实录
作者用「总导演兼程序员(Gemini 4,跑在 Antigravity 里)+ 摄影师兼演员(Omni 1.2,跑在 Google Flow 里)+ 配音师兼质检员(VoxCPM2 + Whisper,本地 MLX)+ 剪辑师兼特效师(Python + ffmpeg)」四件套,一个人做完 5 镜古装监控视角西游记喜剧(《真假美猴王》《西梁国留婚》)。核心判断是:会用视频生成工具是整件事里最简单的部分,真正的难点在剧本反差设计、跨镜头人物一致性、中文配音咬字与尾音、以及用代码而非模型来画字幕和监控 UI。全文给出 7 步流程与 6 组可直接复制的提示词。
基本信息
- 来源类型:网页文章(掘金 juejin.cn 长文,约 5.4 千字中文)
- 原文位置:
raw/articles/2026-11-12-185256-tg-209008.md - 原文 URL:https://juejin.cn/post/7706556848010231842
- 消化日期:2026-11-12
- 素材来源:Telegram bot 抓取(telegram_chat_id 5415079648,msg 4851),正文由
scripts/http_capture.py预抓取,非全文转载 - 作者产出:一系列「古装监控视角西游记喜剧」短片,代表作为《真假美猴王》《西梁国留婚》;文中以《西梁国留婚 · 监控实录》为贯穿案例,结构为 5 个固定监控机位、每镜 11-12 秒、总长约 60 秒
核心观点
-
流程比工具重要,7 步流水线是本文真正的资产:想法 → 剧本 → 分镜 → 视频提示词 → 浏览器自动生成 → 本地模型重配音 → 代码后期与全片复核。作者明确说「会用视频生成工具,反而是整件事里最简单的部分」,卡点集中在:把一句话点子扩成有反转的剧本、让五六镜的人物不串戏、解决中文吞尾音与多音字、用代码把字幕/界面/混音做干净。四工具分工表把「谁负责什么」写死,避免在十几个网页之间来回切换。
-
剧本阶段就要按视频模型的短板写,而不是拍完再修:四条硬规避——不写多人打斗/手脚缠抱(穿模)、不写当面吃喝吞咽(液体与吞咽易假)、画面角色不超过 3 人(人一多嘴型会配错脸)、同一时刻只允许一人开口(不写抢话)。配套的结构性解法是「多机位片段式」:5 个独立固定机位(迎宾大殿 → 后花园凉亭 → 偏殿耳房 → 夜间寝殿走廊 → 城门通关处),段间用切镜咔哒声连接,不硬接上一个镜头的动作,模型成功率直接翻倍。
-
每镜内部要有「正经场面 → 动作穿帮 → 旁人点破」的喜剧节拍:12 秒里三个人站着聊天必然无聊,笑点必须由肢体动作承担。文中范例:唐僧口念「贫僧一心向佛」,左手单掌行礼、右手死死按住通关文牒与婚书连指节都发白,孙悟空一句「师父,那你先把婚书松开呀!」。作者同时把「让 AI 换个身份挑刺」当成流程必需步骤——写完剧本不要问「写得好不好」,而要让它切换成「挑剔的喜剧导演兼 AI 视频技术总监」,专门找逻辑硬伤、包袱不响和模型拍不出来的地方。
-
跨镜头人物一致性靠 30 字「外貌服装死描述」原样复制:在纯文生视频、不给参考图的条件下,每个角色写一段约 30 字的固定描述,每一镜提示词里一字不改地粘贴(例:唐僧「身披大红织金锦襕袈裟,内穿素白僧衣,头戴五佛宝冠,面容白净端庄但眼神慌乱的年轻唐僧」)。机位同理要锁死:剧情喜剧/监控题材建议全程固定机位(如天花板右上角 35 度斜俯拍广角),把算力留给眼神、手部小动作和衣服褶皱;一旦让模型同时处理推拉摇移运镜 + 多人物精细表情,画面边缘很容易扭曲变形。
-
Omni 1.2 的五类翻车都有对应的提示词补丁:① 尾音被腰斩 → [00:08-00:12] 的台词必须在第 10 秒前(作者另一处写 10.5 秒)说完,最后 1.5 秒明确写「保持表情定格与眼神对视,不再开口说话」;② 长句吞半句 → 单句拆短、多用句号感叹号断句、每段台词 10-14 字以内;③ 多音字/现代词读错(古装戏里「监控」被读成「中宫」、「为师」读成「喂师」)→ 提示词里换成同音单音字(「为师」写作「维师」),或留到本地语音模型重配;④ 画面自己长出乱码英文 → 末尾加死命令「画面纯净,不带任何文字和水印,也没有字幕或监控边框」;⑤ 没说话的人嘴也在动 → 每次开口都写明「仅 A 开口说……,B 与 C 全程紧闭双唇不说话,只做表情反应」。
-
中文配音的顽疾不靠视频模型解决,靠「保留画面与底噪、整条人声重配」:VoxCPM2(48kHz MLX 量化版,VoiceStudio)+ DeepFilterNet3 降噪 + mlx-whisper 词级时间戳,构成全自动多角色配音流水线。四个关键细节:用自然语言描述给每个角色定音色与情绪(VoxCPM2 无需参考音频克隆);台词末尾加省略号
……诱发 0.25 秒气息衰减防吞尾;Whisper 做两遍质检(字准 + 首尾时间边界),裁静音必须从最后一个字结束时间往回找最后发声帧再留 0.26 秒,否则 c/ch/q/x/s/sh 这类塞擦音前的 50 毫秒无声闭塞段会被整字切掉;干音必须加一层空间早期反射混响(aecho=0.85:0.82:22|48:0.14|0.07)并垫低音量环境底噪,否则像画外音。口型脱节的两个成因是句间留下 >1 秒死寂、前句拖堂挤占后句开口,解法是收窄到 0.14 秒换气口 +atempo1.05-1.15 倍微幅变速。 -
凡是文字、边框、时间码,一律交给代码而不是模型:作者用不到 200 行 Python(PIL/numpy)+ ffmpeg 一次做完监控四角取景框与暗角扫描线、左上角闪烁
● REC | 西梁女国·金銮殿 [CAM-01]、右上角按帧递增时间码、人物身上的搞笑识别框(如唐僧头顶「[目标:御弟哥哥 | 心率:148 bpm | 状态:嘴硬手诚实]」)、底部带角色名的半透明字幕条、切镜 0.12-0.15 秒静电咔哒声。「代码画出来的东西,清晰度是 100% 稳定的」是全文最强的方法论断言。 -
「主创制作 + 独立质检」的四角色分工是对抗长上下文遗忘的工程手段:总导演(主做)、剧本与画面审核(只挑刺不改文件)、声音与字幕质检(Whisper + 音频能量分析)、需求备忘监督(把用户提过的偏好列成《项目铁律清单》,每阶段对照)。理由是单对话框聊到底时,「忘了画面不能有字」「忘了某个角色的衣服颜色」必然发生。最后一步「全片复核」要把成片当第一次看片,按每秒 2 帧抽图、切镜前后各取 3 帧、读音频波形与字幕时间轴,把问题分为「必须修的硬伤」与「可优化的细节」。
实操内容保留
Prompt 模板
① 写剧本的提示词
我想做一支 AI 视频,初步想法是:[填写你的想法,比如:用现代高清监控视角拍西游记女儿国留婚,共 5 个机位,总长约 60 秒]。
参考片亮点:[如有参考片,写明你想借鉴的节奏或反差感,要求学思路不抄袭剧情]。
请你先不要写分镜,先帮我打磨剧本大纲和分场剧情:
1. 故事结构:采用 5 个独立机位的片段式结构,每段 11-12 秒,段与段之间自然推进,最终在最后一镜完成大反转。
2. 戏剧反差:每一镜都要遵循"表面一本正经 → 手上小动作穿帮 → 旁人一句话点破"的喜剧节奏,用具体的肢体动作制造笑点,不要靠干聊。
3. 规避模型弱点:每镜画面不超过 3 人,同一时刻只有 1 人开口说话,不出现打斗缠抱、吃喝吞咽或复杂手指特写。
4. 台词要求:口语化、接地气、符合人物性格,每镜台词控制在 2-3 句(总字数 28-36 字以内),留出动作和反应时间。
请先输出 5 镜的剧情梗概、每镜核心包袱和台词初稿。② 审核剧本的提示词(换身份挑刺)
现在请你忘掉刚才创作者的身份,扮演一个挑剔的喜剧导演兼 AI 视频技术总监,审视上面这份剧本:
1. 哪一镜的包袱太老套或者只靠嘴说、缺少可视化的动作反差?
2. 哪一句台词字数太多,放进 12 秒视频里会导致语速过快或结尾被截断?
3. 哪一镜的动作设计超出了当前视频模型的能力边界,容易出现穿模或乱动?
4. 角色每一镜的动机是否连贯?
请直接列出问题清单并给出修改后的剧本定稿。③ 写分镜表的提示词
剧本已经确认。现在请为这 5 个镜头编写详细的《分镜设计表》,用表格加分镜卡片的形式输出,每一镜必须包含:
1. 镜号与场景名称(含时间、地点、光照模式:白天常规彩色 / 夜间红外黑白)。
2. 机位与构图(固定高角度斜俯拍监控广角,明确画面左、中、右分别站着谁,前景和背景有什么核心道具)。
3. 角色外貌锁死词(为每个出场角色编写固定的服装、头饰和长相特征词,跨镜头保持完全一致)。
4. 动作时间轴:按 [00:00-00:04]、[00:04-00:08]、[00:08-00:12] 三段,写清每个角色的具体肢体动作(手放在哪、眼神看哪、身体往哪偏)。
5. 精确台词与开口顺序(标明谁先说、谁后说、说话时的微表情)。④ 批量写视频提示词的模板(5 条铁律)
请根据确认好的分镜表,为全部 5 个镜头编写可直接提交给 Omni 1.2 的中文视频提示词。
严格遵守以下 5 条铁律:
1. 结构按【画风与机位】【场景与人物位置外貌】【00:00-00:04】【00:04-00:08】【00:08-00:12】【声音与画面纯净度要求】分段。
2. 每个时间段内只允许 1 个角色开口说话,必须写明"仅X一人开口用清晰标准普通话说道:'……',其余人紧闭双唇不说话"。
3. 台词里的易错多音字直接替换成同音单音字(例如"为师"写为"维师"),单句不搞复杂长从句。
4. [00:08-00:12] 段落必须在第 10.5 秒前说完台词,最后 1.5 秒写明角色保持表情与动作反应,不再说话,防止尾音被切。
5. 结尾统一写明:无背景音乐,画面纯净无任何文字,无字幕无水印,无UI界面。⑤ 让 Gemini 4 接管浏览器生成视频的提示词
我的 Chrome 已经开启了远程调试端口,里面打开了 Google Flow 页面。
请你直接接管浏览器,帮我把这 5 个镜头的视频全部生成并下载回本地项目目录:
1. 先检查生成配置:确认模式设为 Video,单次生成数量设为 x1,模型选择 Omni 1.2(或当前可用的高质量视频模型),画幅设为 16:9 横屏。
2. 按顺序提交第 1 到第 5 镜的提示词,等待生成完成。
3. 每生成完一条,自动获取高清原片直链下载到本地,按 `raw_scene_01.mp4` 到 `raw_scene_05.mp4` 命名保存。如果需要重拍某一条,新文件按 `_v2` 、`_v3` 递增命名,绝对不要覆盖旧文件。
4. 下载完成后,自动用 ffmpeg 对每段视频每秒抽 1 帧图片,并检查画面是否符合分镜要求、头尾有没有废帧。⑥ 全片重配音与对齐的提示词
原视频的画面已经就绪,但模型直出的中文配音有咬字不清和尾音截断问题。
请调用我本机的 VoxCPM2(或 VoiceStudio)+ DeepFilterNet3 + Whisper,编写脚本为全部 5 镜生成多角色配音并替换合成:
1. 角色音色设计:为每个角色设定固定的年龄、声线基底,并根据每句台词的剧情处境写入具体的情绪语气描述。
2. 多音字与防吞尾处理:把容易读错的多音字替换为同音单音字(如"为师"改为"维师"),每句送入模型的文本末尾加上"……"延长尾音呼吸,并在音频末尾拼接 0.45 秒静音缓冲。
3. Whisper 自动质检与防误切:每条语音生成后用 Whisper 识别校验字准,裁剪尾部静音时必须以 Whisper 最后一个词的结束时间为基准向后保留 0.26 秒自然衰减,严禁在塞擦音(如"清楚"的"楚")前的闭塞段提前切断。
4. 时间轴对齐与空间混响:对照原视频角色开口的时间窗口,将配音精准落位(语速偏差超过 8% 时微调语速或延长镜头首尾静止帧),加入轻微的室内早期反射混响与监控频段滤波,与低音量环境底噪混合输出。⑦ 代码做后期包装与母带合成的提示词
请用 Python(PIL / numpy)配合 ffmpeg 为这 5 段视频编写全自动后期包装与母带合成脚本:
1. 镜头首尾呼吸留白:检查每段视频第一句台词的开口时间与最后一句台词的结束时间,使用 `tpad` 滤镜克隆首尾帧,确保每镜开头至少有 0.35 秒环境铺垫、结尾至少有 0.45 秒表情定格余韵。
2. 逐帧绘制高清 UI 图层(1920x1080):
- 左上角绘制闪烁红点 `REC` 与当前机位名称、画面模式(常规彩色 / 红外夜视)。
- 右上角绘制按帧递增的实时监控时间戳与帧率标识。
- 四角绘制监控取景直角线与轻微扫描线质感。
- 画面底部绘制圆角半透明深色字幕条,严格按照每句配音的真实起止时间显示"角色名:台词内容",无台词时段不显示空字幕条。
3. 切镜转场与成片拼接:在每两镜交界处加入 0.12 秒的监控切镜静电咔哒声,将 5 段单镜母带( `master_cut_01.mp4` - `05.mp4` )无损拼接为最终成片 `final_master.mp4` 。
4. 完成后在成片的关键台词切点和转场处抽帧,检查字幕是否对齐、画面有无黑帧。⑧ 全片复核的提示词
这是刚合成出来的最终成片:[成片路径]。请你当作第一次看到这支视频,对它做一次全面体检:
1. 从头到尾按每秒 2 帧抽图,并在每次切镜前后各取 3 帧,同时读取音频波形与字幕时间轴。
2. 逐镜核查:
- 画面:有没有废帧、黑帧、人物脸部崩坏、多余的手指或画面边缘畸变?
- 声音:有没有哪句台词结尾被切半截、音量忽大忽小、或者两句台词之间撞车重叠?
- 字幕与UI:字幕出现的时间和人声开口时间是否严丝合缝?文字有没有错别字或压住人物关键动作?
3. 把发现的问题分为"必须修的硬伤"和"可优化的细节",修完后再把这次做片子踩过的坑整理成一份经验文档存进项目目录。⑨ 多角色协同制作提示词(主创 + 独立质检)
这支视频我们按"主创制作 + 独立质检"的流程来跑,请你统筹完成,直到最终成片交付:
1. 需求清单常驻:先把我交代过的所有创作要求整理成一份《项目铁律清单》存在项目目录下,每推进一个阶段都对照核查一遍,防止遗忘。
2. 提交生成前必审:写好分镜和视频提示词后,先按审核标准自查一遍(人物外貌词是否统一、同一时间是否只有一人说话、结尾是否留出 1.5 秒定格、是否写明无字幕无UI),确认无误再去浏览器提交生成。
3. 声音字字过关:每一句后期配音生成后,必须跑一遍 Whisper 识别与尾音能量检测,确保没有错字、漏字和尾音截断,达标后才能进入合成。
4. 留存全部资产:生成的所有视频片段、配音干音、分镜稿和后期脚本全部按版本号归档保存在项目文件夹里,方便随时回退或微调。单镜视频提示词范例(《西梁国留婚》第一镜原样)
固定高角度监控广角俯拍镜头,真实古装影视质感,86 版西游记美术风格,光线明亮清晰。
场景为西梁女国金銮宝殿内部,红柱金砖,中央摆放一张雕花长案,案上放着明黄色的通关文牒与大红婚书。
画面左侧站着女王(头戴九凤朝阳金冠,身穿大红绣金凤袍,容貌端庄华贵)。画面中央坐着唐僧(头戴五佛宝冠,身披大红织金锦襕袈裟,内着白僧衣,面容白净)。画面右侧站着孙悟空(金冠金甲,毛脸雷公嘴,手持金箍棒)。
[00:00-00:04] 女王面带温柔笑意,双手捧起案上的大红婚书推向唐僧,仅女王一人开口用清晰标准普通话温柔说道:"御弟哥哥,留下成亲,这江山都是你的。"唐僧与孙悟空紧闭双唇不说话。
[00:04-00:08] 唐僧立刻脸色微红,左手竖在胸前单掌行礼,但右手却死死按住桌上的大红婚书往自己怀里拽,指节用力,仅唐僧一人开口用清晰标准普通话急促说道:"陛下使不得!贫僧刚才没说清楚!"女王与孙悟空闭嘴观看。
[00:08-00:12] 孙悟空往前凑近一步,低头盯着唐僧按住婚书的右手,伸手指着婚书,仅孙悟空一人开口用清脆标准普通话调侃道:"师父,那你手先松开呀!"说完后最后 1.5 秒三人保持动作定格与眼神交锋,不再开口说话。
环境音为安静的宫殿室内自然混响与衣料摩擦声,无背景音乐,画面纯净无任何文字,无字幕无水印,无监控UI边框。代码/配置(文中给出的关键参数)
# 浏览器接管:Chrome 远程调试端口
open -na "Google Chrome" --args --remote-debugging-port=9222
# 首尾呼吸留白:克隆首帧前移 0.35s、末帧后移 0.45s
ffmpeg -i raw_scene_01.mp4 -vf "tpad=start_duration=0.35:start_mode=clone:stop_duration=0.45:stop_mode=clone" padded_01.mp4
# 干音加空间早期反射混响(大殿)
aecho=0.85:0.82:22|48:0.14|0.07
# 口型对齐:过长时用 atempo 做 1.05~1.15 倍微幅变速(不改音调)
atempo=1.08操作步骤(7 步主流程)
- 想法 → 剧本:写前先定多机位片段式结构、每镜「正经 → 穿帮 → 点破」节拍、规避模型弱点四原则、台词 28-36 字上限;写完换「挑剔导演 + AI 技术总监」身份审稿。
- 分镜:定机位(固定高角度斜俯拍监控广角)、写 30 字外貌服装死描述、安排一镜红外夜视黑白画面拉开视觉节奏(例:第 4 镜夜间走廊偷塞御弟金印为红外黑白、第 5 镜城门送别回到清晨阳光)。
- 视频提示词:按【画风与机位】+【场景与固定人物外貌】+【0-4s】+【4-8s】+【8-12s】+【声音与纯净画面要求】六段式;单句 10-14 字、每段仅一人开口、最后 1.5 秒定格。
- 浏览器全自动生成:Chrome 开 9222 远程调试 → Gemini 4 通过 DevTools 协议接管 Flow → 模式 Video / x1 / Omni 1.2 / 16:9 → 逐镜提交下载
raw_scene_0N.mp4(重拍用_v2、_v3,不覆盖)→ 每秒抽 1 帧自检。经验:旧文件别删(可拼前后半段);首尾半秒小毛病用代码裁帧而非重抽;首尾留白用tpad补。 - 重配音:本机 VoxCPM2(48kHz MLX)+ DeepFilterNet3 + mlx-whisper;角色音色用自然语言描述控制;文本末尾加
……;Whisper 校字 + 防误切;对照原视频开口窗口落位,>8% 偏差调语速或延长首尾静止帧;加混响与底噪。 - 代码后期:PIL/numpy 逐帧绘制 1920x1080 UI 图层(REC、机位名、时间码、四角取景线、扫描线、半透明字幕条)+ ffmpeg 切镜音效与无损拼接出
final_master.mp4。 - 全片复核:每秒 2 帧 + 切镜前后各 3 帧抽检,读音频波形与字幕时间轴,问题分「必须修 / 可优化」,最后把踩坑整理成项目经验文档。
关键概念
- Gemini — 在 Antigravity 里充当「总导演兼程序员」,负责剧本、分镜、视频提示词,并通过 Chrome DevTools 协议接管浏览器操作 Flow,最后写 Python/ffmpeg 后期脚本
- Omni 1.2 — Google Flow 内的视频生成模型,本文中充当「摄影师兼演员」,负责单段 8-12 秒片段生成(未建实体页)
- Google Flow — 视频生成前台,本文的生成环节全部发生在这里;由 Gemini 4 通过
--remote-debugging-port=9222自动操作而非人工粘贴 - Antigravity — Gemini 4 的运行环境(Agentic 编程工具),本文是它「规划→执行→写代码」能力的多模态实战
- Whisper — 本地 mlx-whisper 词级时间戳,承担「台词质检员」:校验字准 + 提供首尾时间边界防误切 + 计算字幕时间轴
- VoxCPM2 / VoiceStudio — 本地 48kHz MLX 量化语音大模型,用自然语言描述控制音色与情绪,替代参考音频克隆(未建实体页)
- DeepFilterNet3 — 配音链路的降噪净音环节(未建实体页)
- AI视频分镜 — 本文把分镜具体化为:机位、构图、外貌锁死词、三段动作时间轴、开口顺序五个字段
- 视频生成模型 — 本文提供了这类模型的 5 类可复现失效模式与提示词级补丁
- 提示词工程 — 时间轴分段、单一说话人约束、同音单音字替换、负向死命令四类技巧
- 监控视角短剧 — 用「极其现代严肃的画幅(监控录像/执法记录仪)装进极其古典荒诞的人物关系」制造反差(未建实体页)
- AI视频剪辑自动化 — 本文的后期段是它的具体实现:代码画 UI、tpad 补留白、ffmpeg 拼接
与其他素材的关联
- 与 2026-11-02-woshipm-jimeng-short-drama-studio 的关系:即梦走的是「一体画布 + 四大助手 + 智能预演」的平台内闭环,本文走的是「自建四工具 + Agent 写代码」的外挂式闭环。相同点是两者都把角色一致性和分镜前置,并把重拍/片段级返工当作常态;本文额外给出了平台外的可移植层(人物外貌死描述、Whisper 时间轴、代码画 UI)。
- 与 2026-10-26-从拆片到成片-我用-seedance-2-5-学做了一条网球短片 的关系:同一类「拆片 → 成片」实战笔记,但本文的重点不在镜头美学而在工程化补齐模型短板(配音/字幕/UI 全部外包给本地模型与代码),可作为该素材的下游工序补充。
- 与 2026-05-09-codex-visual-style-ppt 与 2026-07-06-woshipm-gpt-image-2-prompts-free 的关系:三者在「用固定描述词锁死一致性」上同源——PPT 是 Style Lock、分镜是角色设定板、本文是 30 字外貌服装死描述,都属于「把不可控生成收敛为可控规格」的同一方法论家族。
- 与 2026-07-26-youtube-claude-product-photo-ad-campaign 的关系:都是用 coding agent(Claude Code / Gemini 4)编排多个生成与后处理工具完成端到端成片;该篇用 Skill 做产品一致性 QC,本文用「独立质检角色 + 全片抽帧体检」做同类把关。
- 与 2026-10-14-opus55-编排式混合制作 的关系:同为「编排式」而非「单模型直出」的制作范式,差异在本文把编排对象明确扩到本机语音模型与 ffmpeg 脚本这一层。
- 与 2026-09-30-woshipm-coding-model-video-tutorial 的关系:那条路线是「不用视频模型,全靠代码逐帧画」;本文是「视频模型出画面 + 代码只做 UI/字幕/混音」,两者共同印证「凡是精确的文字与图形都该由代码承担」。
原文精彩摘录
真正让人头疼的是后面的全套制作:怎么把一句话点子扩成有反转的剧本,怎么让五六个镜头里的人物长相和衣服不串戏,怎么解决视频模型说中文容易吞尾音、读错多音字的老毛病,以及怎么用代码把后期字幕、界面和混音做干净。
现在的视频模型,最怕长镜头里连续走位还要接上下一个镜头的动作。怎么破?直接从剧本结构上绕开。……每个镜头都有独立的机位和场景,自己就能撑起一个小高潮。镜头之间靠切镜咔哒声连接,根本不需要硬接上一个镜头的动作,模型生成的成功率直接翻倍。
注意中文里的 c / ch / q / x / s / sh(比如”清楚”的”楚”),在发音前会有大约 50 毫秒的无声闭塞段。如果裁静音时顺着往后找静音点,很容易把”楚”字整个切掉!所以代码里必须从 Whisper 识别出的最后一个字结束时间往回倒查最后一个发声帧,再往后多留 0.26 秒余音淡出。
但凡涉及到 文字字幕、监控边框与动态时间码 的地方,全部交给 Gemini 4 写 Python(PIL 图像库)和 ffmpeg 代码来做。代码画出来的东西,清晰度是 100% 稳定的。
很多人用 AI 做视频,习惯开一个对话框从头聊到尾。聊到后面上下文越来越长,AI 很容易忘了你最开始定的规矩(比如忘了画面不能有字,或者忘了某个角色的衣服颜色)。
但不管工具怎么变,怎么讲好一个有反差的故事,怎么用分镜控制画面节奏,以及怎么用代码补齐模型的短板,这套导演思路是一直通用的。