Marico's space

最近折腾了一圈大语言模型（LLM）在视频创作中的应用，踩的坑不少。最让我头疼的不是某个漂亮的单镜头，而是连贯性——你好不容易定下来一个角色、一个场景、一件道具，往后走三步，模型就把其中一个悄悄忘掉了。于是我没问"哪个LLM写的故事最好"，而是问了一个拍电影真正关心的问题：

当导演不断改主意时，LLM能不能在从创意到分镜的全流程中保持对影片的控制？

测试内容

每个模型拿到一句剧情概述加上几条硬规则，然后在一次对话里扮演整个剧组：

1. 编剧：三幕剧作（严格控制角色数量、场景数量、禁用词列表、一个必备元素）
2. 选角导演：每个角色一条描述
3. 美术指导：场景道具和色调方案
4. 摄影指导：分镜表，每个镜头都要点名场景、角色和道具

然后导演依次给出三条修改意见，每条都不会明说具体后果：

• 时代变更："把整个故事搬到1890年代的北京/上海。"所有手机、电脑、日光灯必须从每个镜头消失。
• 预算削减："我们砍掉X场景。"所有相关镜头都要挪走，最终场景数要减少一个。
• 角色合并："角色A和B合并成C。"两个旧名字都不能出现。

每条意见后，模型返回完整阵容、场景和道具，但只列出有变动的镜头——跟真实改稿流程一样。没提到的镜头保持原样。所以模型得自己判断哪几个镜头受影响：漏掉一个，那个旧道具或角色名就还赖在里面。

测试用了12个创意（一家药房的黑色电影、一本未来的灯塔日志、退休博物馆保安的抢劫案等），分成两个Kaggle任务各6个：Creative Control A和B。两半分数取Kaggle自带的排行榜分，最终成绩是两次平均。

评分方式。大部分靠代码校验，不依赖另一个AI打分：

部分	代码校验内容
约束条件	阵容规模、场景数量、禁用词、必备元素
一致性	分镜表里每个角色、场景、道具都必须在阵容和美术设计里存在
导演意见	每条意见只有所有后果都落实了才算过，而且之后不能悄悄恢复
故事质量	唯一主观部分：裁判模型回答五个关于剧本的判断题

半吊子的意见等于没落实。1890年代的上海出现一台笔记本电脑，这不是5%的问题，是重拍。

我坚持了两条规则：

• 格式奇怪不等于创意失败。模型把JSON包在注释里、大写字段名、先写推理再给答案、忘记转义引号，我都宽松处理。只有缺失或乱码的内容才扣分。
• 每个步骤的回答必须控制在16,000个token以内。约等于最长回答的两倍。交不出剧本的剧组成员同样失去了控制权。

测试模型

我选了各厂商的大小模型，加上开源模型，想看看花大价钱买旗舰版到底能不能买到创意控制力。

模型	总分	A / B	导演意见	故事质量
GPT-5.5	0.94	0.96 / 0.92	0.94	0.85
Gemini 3.7 Flash	0.90	0.89 / 0.90	0.85	0.73
DeepSeek R1	0.88	0.87 / 0.90	0.83	0.70
Gemma 4 31B	0.84	0.85 / 0.82	0.71	0.65
Claude Sonnet 5	0.80	0.91 / 0.69	0.75	0.82
GPT-5.4 nano	0.76	0.74 / 0.77	0.40	0.70
Claude Haiku 4.5	0.69	0.64 / 0.73	0.50	0.62
GLM-5	0.64	0.55 / 0.74	0.75	0.69
Claude Opus 5	仅跑完A	0.43 / –	0.67	1.00

导演意见和故事质量取该模型完成项目的平均分。Claude Sonnet 5丢了一个创意，GLM-5丢了三个，Claude Opus 5的六个里因为16,000 token限制丢了三个——它习惯先想很久再回答，而时代变更要重写每个镜头，思考加回答超了长度。跑一次完整的Opus大概要19美元，超过Kaggle每天10美元模型预算上限，所以它只跑了A部分。

大多数模型的两半分数吻合度很高（差距在0.03以内），说明分数反映的是模型本身，而不是撞上了哪组创意。

有两个模型没法评估：Qwen 3 235B和GPT-OSS 120B。好几天里Kaggle共享服务在高负载下拒绝它们的大部分请求，加重试和退避也没用。我没把它们放进来，免得评分反映的是服务器拥堵。

发现

1. 跟进意见拉开的能力差距远大于写故事

故事质量除了三款旗舰外都在0.62到0.73之间。导演意见则是0.40到0.94。只看故事的话，大部分模型看起来差不多。给它们一道改稿题，差距就出来了。

2. 每个模型失控的方式各不相同

• GPT-5.4 nano忘了世界已经变了。12部电影里有7部，"搬到1890年代"之后还留着现代物件：1890年代上海/北京出现笔记本电脑、显示器和手机，1890年代挪威出现GPS导航，1890年代美国出现冰箱。其中6部到最终意见时这些物件还赖着。
• Gemini 3.7 Flash是场上最稳的模型。它唯一重复的"失误"后来证明是我自己的问题（见发现3）。
• Gemma 4处理时代干净利落，处理阵容就毛手毛脚。从没漏掉过现代物件，但4部电影里合并角色时把阵容搞错了。
• Claude Haiku 4.5更新了改过的镜头，忘了其他的。"合并这两个角色"之后，没重写的镜头里还留着旧名字（11部电影里5部如此）。时代变更后，它在道具清单里把道具改成了1890年代的叫法，但没改的镜头里还留着旧名。
• DeepSeek R1紧随Gemini其后，只有零星失误（1890年代上海出现霓虹灯招牌，1890年代美国出现日光灯管）。
• GPT-5.5知道什么时候该全部重来。时代变更时它重写了每个镜头——整个世界都变了，这是最稳的做法。预算削减和角色合并时它只动该动的镜头，而且没出错。这才是场记该干的事，也是它登顶的原因。

花旗舰版的钱有用吗？看厂商。GPT-5.5对比GPT-5.4 nano是全场最大跳跃：导演意见0.94对比0.40。Claude Sonnet 5对比Claude Haiku 4.5差距小一些，0.75对比0.50，Sonnet真正的优势在写作：故事质量0.82对比0.62。Claude Opus 5写了全场最好的故事（它完成的每部电影质量都满分），但经常因为长度限制交不了稿。而便宜的Gemini 3.7 Flash和开源的DeepSeek R1在跟进意见方面都打败了两家Claude旗舰。

3. 我的规则互相矛盾时，模型们选边站了

我自己写的需求说明出了bug。开头规则说"2到N个场景"，预算削减意见说"砍掉一个场景"。如果一部电影正好只有两个场景，这两条不可能同时满足，模型们泾渭分明：

模型	遵守原规则（造了一个新场景顶替）	服从导演（只剩一个场景）	避开冲突（一开始就设计了三个场景）
Gemini 3.7 Flash	7	3	2
Gemma 4 31B	6	5	1
GLM-5	1	6	2
Claude Haiku 4.5	0	9	2
DeepSeek R1	0	6	6
GPT-5.4 nano	0	4	8
GPT-5.5	1	4	7
Claude Sonnet 5	2	1	8

Gemini收到"砍掉会客厅"后建了个厨师办公室，收到"砍掉灯塔操作室"后加了风暴门廊：原规则赢了，导演的省钱方案从来没实现过。Haiku和DeepSeek永远站最新意见。旗舰们大多靠一开始就设计三个场景避开了冲突。

我的校验只接受"只剩一个场景"，这对遵守规则的模型不公平。我保留了Kaggle官方分数，但把同样保存的运行结果用两种选择都接受的方式重新打分：Gemini 3.7 Flash从0.90升到0.93，Gemma 4从0.84升到0.87，其他最多涨0.01，排名没有变化。

4. 大家都在同一个弱点上栽跟头

除了Claude Sonnet 5，每个模型的裁判最常给出的抱怨都一样："每个角色都有不同的欲望，这些欲望制造冲突"这一项失败了，在12个故事里6到9个都过不了。LLM写的短片往往是一个角色有目标，其他角色只负责反应。如果你在项目开发阶段用这些模型，这一点值得注意。

5. 演员从镜头里消失

一个常见的一致性错误是某个演员从头到尾没出现在任何一个镜头里。模型把他们选进来了，描述了外形，然后就忘了要拍他们。

6. 第二个任务：模型像不像摄影指导？

第二个任务要求在全新对话里为八个戏剧性时刻各写三种摄影指导：

• 指定技法："一个女人意识到晚宴上的每个人都知道了她的秘密。用镜头变焦（dolly zoom）。"它知道这个技法吗？
• 意图导向："……让观众感受到在拥挤房间里突然的孤立感。"能把感受转成镜头选择吗？
• 隐含需求：只给情境。看它自己会不会想到用镜头。

每个时刻还附上了套路化的处理方式（"她睡过头了"用闹钟特写，"他被跟踪了"用回眸一瞥），裁判检查方案是否依赖了这些套路。

模型	总分	避免套路：有提示→无提示	技法描述正确
Claude Sonnet 5	0.96	0.88 → 0.88	0.88
GPT-5.5	0.96	0.88 → 0.75	1.00
Gemini 3.7 Flash	0.96	0.88 → 0.75	1.00
Gemma 4 31B	0.95	1.00 → 0.88	0.71
GPT-5.4 nano	0.95	1.00 → 1.00	0.62
GLM-5	0.95	0.88 → 0.75	0.88
DeepSeek R1	0.92	1.00 → 0.75	0.83
Claude Haiku 4.5	0.91	1.00 → 1.00	0.67

摄影词汇已经不成问题了。每个模型都能规划出可拍摄、具体、有叙事动机的镜头，总分都在0.91到0.96之间。这是天花板，不是排名。我用完全相同的提示跑了两次这个任务，大多数模型的各列分数在两次运行间波动0.1到0.3，所以我不据此排名。有两点在两次运行中都站得住脚：

• 没人提点时，模型会套用明显的处理。所有模型在被告知用什么技法时，方案避开套路化处理的比例是93%，但只给情境时，第一轮是75%、第二轮是82%。
• 知道技法名字不等于知道原理。Claude Haiku两次都是这块最弱的。它把分焦点镜头（split diopter）描述成让一个演员清晰、另一个模糊；分焦点镜头其实相反，是让两边同时清晰。让它写"一个长而不间断的稳定器（Steadicam）镜头"，Haiku和DeepSeek R1规划了四个分开的镜头，中间还换了镜头。

局限性

• 12个创意样本偏小。一道漏掉的意见大约移动模型的意见分2%，所以接近的分数当平局看。
• 裁判是Gemini 3.8 Flash。它可能偏爱Gemini家族的故事，质量那列参考时留点余地。导演意见和一致性那两列是代码校验的，不受影响。
• 基础设施噪音。Kaggle的共享模型服务在高负载时有时会拒绝请求。基准测试用退避重试，但依然失败的创意记0分。

我的基准测试

Creative Control: LLMs as a Film Crew on Kaggle

Kaggle总排行榜把三个任务平均，所以排名比上面的电影流水线表格更紧凑：摄影任务对大家都在天花板附近。顺序在头部没变：GPT-5.5（0.94）、Gemini 3.7 Flash（0.92）、DeepSeek R1（0.90）。

基准测试有三个Kaggle任务，每个都有代码、笔记本和每个模型的完整对话记录：

• creative-control-a和creative-control-b：上面的电影流水线，各6个创意
• camera-storytelling：摄影任务

你可以看到每个模型具体是怎么处理每条意见的。