万字实录：RL与CV世界模型差异解析

世界模型：通往通用人工智能的关键拼图

今天，我们深入探讨人工智能领域的一个核心概念：世界模型。它听起来或许抽象，但正日益成为连接计算机视觉、强化学习乃至通用人工智能的关键桥梁。简而言之，世界模型旨在让AI智能体像人类一样，拥有一个对现实世界的“内在模拟器”，能够理解事物间的逻辑与因果关系，从而做出更明智的决策。这对于自动驾驶、机器人（具身智能）等领域的突破至关重要。

近期，一场主题为“世界模型——通向通用智能的关键拼图”的线上圆桌会议成功举办，汇聚了来自学界与工业界的多位前沿研究者。会议由清华大学智能产业研究院（AIR）助理教授赵昊主持，他与宁波东方理工大学助理教授金鑫、浙江大学特聘研究员廖依伊、布里斯托大学助理教授杨梦月、伯克利人工智能实验室博士后研究员郑文钊，共同展开了一场深度对话。

讨论从世界模型的定义与范畴开始，逐步深入到其与强化学习的异同、通用视频生成模型的进化路径，最后聚焦于自动驾驶和具身智能这两个最具潜力的落地场景，剖析了构建相关世界模型的难点与未来方向。其中，关于如何为具身智能构建世界模型，嘉宾们分享了颇具启发的见解。

郑文钊指出，具身智能与自动驾驶有相似之处，都对三维精度和物理规律有极高要求。未来需要结合重建与生成，并更精准地建模因果性。由于数据稀缺，纯数据驱动难以训练出符合物理规律的世界模型，因此需要探索如何将物理规律“注入”数据驱动模型，这可能是未来的关键趋势。

金鑫同样强调了物理真实性对具身智能的重要性。他提到，探索方向不应仅依赖数据驱动，还应借鉴传统仿真领域的经验，将图形学中基于规则的物理建模方法与数据驱动的生成模型相结合，以期构建出既物理真实又外观逼真的世界模型。

杨梦月则提出了另一种思路：在具身场景中，通过智能体主动探索来捕捉物理规律，并将其整合成因果模型，进而用于反事实预测。廖依伊在赞同前两位观点的同时，提出了一个根本性的路线选择疑问：是否必须显式地进行3D建模？在数据充足的情况下，2D层面学习交互可能更简单，尤其是在处理非刚性物体（如叠衣服）时，3D建模的复杂度会急剧上升。如何做好2D与3D的结合，仍是一个待解的难题。

以下是此次圆桌讨论的精华内容整理：

一、如何定义世界模型？

赵昊：大家好。世界模型是串联计算机视觉、图形学与机器人等领域的核心技术。我们首先界定其范畴：最狭义的是自动驾驶领域的世界模型；拓展一层是具身智能的世界模型；第三层可涵盖通用视频或传感器生成模型；而最广义的，则是训练通用智能体的世界模型。

金鑫：我认为核心在于“表征学习”——首先要理解世界，找到合适的表征，再基于此构建蕴含物理规律的世界模型。我们团队关注的“解耦表征学习”，旨在分离特征空间中的关键因素，这能提升AI的可解释性，并为后续任务提供便利。

廖依伊：我们研发的HUGSIM是一款基于3D高斯的仿真器，能与自动驾驶算法互动，这属于狭义的世界模型研究。

杨梦月：当前大模型的训练本质是对数据的模仿，可能只学到了数据表面的关联，容易出现“幻觉”。表征学习更偏向可解释，我们希望智能体真正理解世界背后的构成因素及其因果关系。

郑文钊：若要迈向通用智能，世界模型的定义必须更泛化。它某种程度上是更具泛化性的语言模型，但其核心是寻找比语言更完备、更细节的世界表征方式，比如三维空间信息。表征的选择是关键。

二、强化学习与计算机视觉的世界模型有何不同？

赵昊：强化学习（RL）界和计算机视觉（CV）界的世界模型，核心差异是什么？

金鑫：RL中基于模型的“模型”，与CV中用于自动驾驶的“模拟器”，核心都是通过模拟环境让智能体进行交互训练。

杨梦月：核心区别在于服务对象不同。CV界侧重于建模世界本身，关注如何刻画世界的形态；而RL界侧重于服务智能体，建模世界的最终目的是让智能体掌握知识以提升决策策略。

廖依伊：一方面，CV界更关注与图像平面相关的状态变量；而RL界的状态变量可以是任意形式的抽象状态。另一方面，RL的世界模型通常不仅要预测下一状态，还要学习奖励机制。而当前CV界的视频生成，更关注预测下一帧的视觉外观。

郑文钊：RL界的世界模型更像判别式模型，输出奖励值；CV界的则更像生成式模型，展示动作会导致的世界状态。此外，RL的世界模型更依赖智能体反馈，是局部的；CV的世界模型更接近独立运行的全局模型，并能涵盖动作建模。

三、通用视频生成模型的未来

赵昊：通用视频生成模型，何时能成为真正的世界模型？

廖依伊：关键在于需要引入动作和因果性。当前先进的视频生成方法大多采用“三维注意力机制”，但真正的世界模型需满足“当前状态+动作→下一状态”的逻辑。动作因素的引入仍有大量开放性问题。

郑文钊：当前通用视频生成模型与世界模型的最大差距，在于对动作的反馈机制。这包括动作如何定义，以及模型能否对动作做出准确且符合因果关系的反馈。

赵昊：我认为还缺少编辑能力、文本对齐能力和指令遵循能力。如果视频生成模型能通过文本指令实现高精度编辑，那它必然已学到世界的某些深层知识。

杨梦月：因果关系是否为必需，需根据场景判断。若要用模型训练在真实世界决策的智能体，就需要模型贴近真实，遵循因果关系；但从艺术创作角度，可能无需严格遵循。

金鑫：“反事实生成”能力很重要。真正的世界模型若能生成全新场景或反事实结果，可能更接近通用智能。

四、自动驾驶的世界模型发展现状

赵昊：自动驾驶的世界模型发展到什么阶段了？

金鑫：自动驾驶技术已相对清晰，接近落地阶段。学术界将技术推进到60%-70%，剩余的“最后一公里”由工业界完成。而从自动驾驶转向更具挑战的具身智能，是学术界需要突破的方向。

廖依伊：目前，尚未有足够说服力的工作证明自动驾驶世界模型在训练闭环中发挥了关键作用。当前CV界的研究多关注生成或渲染质量，而非服务于智能体决策。将世界模型有效纳入训练闭环的工作仍较为缺乏。

郑文钊：自动驾驶对世界模型的精度要求极高。关键挑战在于：如何实现对未来的精准预测及对动作的精准响应。未来趋势可能是三维与二维结合，并提升模型泛化到未见但符合物理规律场景的能力。

杨梦月：从因果推理角度看，智能体需要具备反事实想象能力，这就要求它理解场景的因果结构。提升模型性能不能仅依赖训练数据，还需要在真实系统中进行干预获取反馈，并用反馈更新世界模型。

五、具身智能的世界模型构建路径

赵昊：具身智能的世界模型应如何构建？

郑文钊：具身智能对三维精度和物理规律的要求比自动驾驶更严格。未来发展有两个方向：一是实现重建与生成的结合，提升三维建模精度；二是更精准地建模因果性。需要探索如何将物理规律“注入”数据驱动模型。

金鑫：物理真实性对具身智能至关重要。探索方向应结合数据驱动与传统图形学中的物理建模方法，构建既物理真实又外观逼真的世界模型。

杨梦月：可以考虑让智能体在具身场景中主动探索，捕捉物理规律，并将其整合成可用于反事实预测的因果模型。

廖依伊：我赞同上述观点。但面临一个根本选择：是否必须显式进行3D建模？若有足够数据，在2D层面学习交互可能更简单。如何做好2D与3D的结合，是一大难题。

赵昊：感谢各位老师的精彩分享。希望今天的讨论能为大家带来启发。