世界模拟器视角 — Sora 团队的架构哲学

从「画面拼接」到「世界模拟」

2024 年之前的文生视频模型，本质上是「逐帧拼接」：生成一帧画面，然后基于前一帧生成下一帧。好处是实现简单，坏处是帧与帧之间很容易断裂——物体变形、突然消失、穿模。

Sora 团队的核心转变是把视频生成看成一个持续运转的物理世界的渲染过程。模型内部有一个持续更新的世界状态：里面记录了场景、物体、人物、光照、物理规律——每一帧都是从这个状态里「拍」出来的一张照片。

为什么这个思路重要

这个思路带来的提升不是点状的，而是系统性的：

• 物理真实：因为世界状态里物理规律是内建的，物体行为自然符合规律
• 物体持久：物体不会凭空消失，因为世界状态里它一直在
• 多镜头一致：所有镜头都是同一个世界的不同视角，自然能对上
• 可控性：你可以修改世界状态里的某个属性（比如「把这个人换成穿蓝色衣服」），然后从这个状态继续渲染

世界模拟器的上限

Sora 团队在官方博客里表达了一个更大的愿景：

通用世界模拟器和能够在物理世界中运行的 AI 系统，将从根本上重塑社会。

这不是只做视频生成——世界模拟器是机器人、自动驾驶、物理交互 AI 等所有需要理解物理世界的领域的基础能力。Sora 2 只是第一个大规模演示这个思路的产品。

当前瓶颈

OpenAI 自己也承认世界模拟器远没成熟：

• 模型仍然会在手部、人脸、复杂交互上出错
• 文本渲染基本是坏的（生成不了清晰的文字）
• 精确控制还做不到（你不能精确指定镜头运动或每帧的动作）
• 训练视频数据的量和质量仍然是瓶颈

这个思路影响了谁

Sora 2 的世界模拟器架构直接影响了后续的几个模型：

• Google Veo 3 公开提到借鉴了 Sora 的物理建模思路
• Runway Gen-3 在多镜头连续性上大幅提升
• 国产视频模型（可灵、即梦等）也在物理模拟上明显进步

延伸阅读：Sora 2 模型 vs Sora 1