百度无人车搞出“黑客帝国”！世界模型实时推演全局，跑一天抵三年
杰西卡 发自 凹非寺
量子位 | 公众号 QbitAI
100万公里——
大约是地月平均距离的2.6倍，足够沿着赤道绕地球25圈。
一套L4无人驾驶系统，如果要完成如此规模的真实路测，意味着什么？
按照单辆车每天行驶150公里计算，相当于连续行驶超过6600天。即便投入上百辆测试车同时上路，也要耗时两个多月。何况真实道路上的复杂情况，很多时候也不会按照测试计划出现。
很长一段时间内，这都是无人驾驶规模化发展面临的一道现实难题。每一次车队运营范围扩大、驾驶系统更新，往往都伴随着大量需要验证的交通场景。
但如今，这种在真实世界中费时费力的验证方式，有了新的思路。
刚刚，百度Apollo正式披露了全新世界模型ApolloWorld。它能够利用AI构建持续变化的虚拟交通环境，让无人车在其中经历不同天气、道路和交通参与者，完成一整趟Robotaxi行程。
无人车的加速、减速或者变道，都可能改变周围交通参与者的选择，进而演化出不同的结果。
啊这……看起来像是自由度很高的交互式游戏。
而这座虚拟城市，如今已经有了实际用途。
据介绍，ApolloWorld已开始应用于萝卜快跑无人车的全球化测试与验证，把更多原本需要在真实道路上完成的训练和验证，放到云端进行。
最直观的变化就是效率。
按照百度披露的数据，ApolloWorld一天完成的虚拟路测里程，相当于一辆配备安全员的真实测试车连续行驶大约三年。
这代表一度需要依靠大量车辆、人员和时间积累的部分测试任务，现在借助计算资源就能并行开展。
与之配合的车端技术也有了进展。百度新一代L4端到端模型架构，已在国内一定规模的车辆上投入实际运营，正逐步替换此前的传统方案。
世界模型提供虚拟训练和验证环境，驾驶模型在其中反复接受考验，再进入真实道路运行，直观理解就是用AI来教AI开车。
对于业务覆盖全球28座城市的萝卜快跑而言，这套技术体系恰好出现于全球化扩张加快的阶段。
随着无人车走进更多城市，研发需要应对的交通环境愈发复杂。而在真实道路上，最值得研究的那些意外，却常常最难遇见。
一座没有剧本的虚拟城市，跑一天抵三年
看过电影《黑客帝国》的朋友，大概都对那个由程序构成的世界印象深刻。不管是街道、建筑、车辆还是行人，看起来都和真实世界毫无二致，其背后却是一套庞大的计算系统在运转。
没想到只是二十多年过去，这套剧本中的虚拟世界，真的从电影走入了现实。
百度展示的ApolloWorld，生成的就是各种供无人车行驶的虚拟城市。不同之处在于，虚拟城市里的交通参与者还能根据环境自行作出判断。
比如一辆无人车行驶到高架入口，旁边支路上的汽车正准备汇入主路。
如果无人车选择驶上高架，支路车辆获得足够空间，就会顺势驶入主路。
但如果无人车改变路线，沿右侧辅路继续行驶，占据了原本的汇入空间，另一辆车也会改变决定，减速停车等待：
百度智能驾驶事业群组杰出架构师、世界模型负责人杨泽博士介绍，在这套系统中，世界模型团队采用了多智能体驱动的技术方案，虚拟道路上的车辆、行人等交通参与者，都被建模为具有决策和互动能力的AI智能体。
每个智能体都有自己的行动目标和行为逻辑，也会根据其他交通参与者的动作调整决定。
不仅是交通参与者，虚拟城市的交通状况也能自行调整，比如设置不同的稀疏、适中或密集的车流，或者改变其他车辆的驾驶风格，让其开得更谨慎或是更激进。
类似的复杂交互，以往可能需要无人车反复上路、等待特定情况出现，现在都可以主动组织到虚拟环境中。
不过真正要完成Robotaxi任务，仅仅是根据环境实现变道、避让等操作还远远不够。
真实情况下，一趟行程可能持续二三十分钟，途中经过数十个路口。
无人车每一次决策，都可能改变后续遇到的交通情况。它需要在连续变化的环境中完成整段驾驶任务，需要与大量交通参与者交互，前一次的驾驶决策还可能影响后面的行程。
ApolloWorld此次展示的，正是完整行程级别的虚拟路测。
在深圳滨海大道、香港机场附近等不同场景中，几辆无人车可以从同一地点出发，驶向不同目的地，周围交通参与者的行为、道路环境的变化，以及相机、激光雷达的观测数据，都由世界模型持续生成。
杨泽博士提到，支撑这套系统运行的，是智能体交互建模、多视角多模态生成，以及完整驾驶闭环等技术的协同。
简单理解，就是世界模型根据已有环境状态和车辆动作，预测下一时刻的交通变化；驾驶模型读取生成的传感器数据后，做出转向、加速或者制动决策，再把动作反馈给世界模型。
为了让生成速度跟上驾驶决策，百度还通过知识蒸馏等方法加快模型推理，使虚拟环境能够实时响应车辆动作。
一套AI负责构建道路环境、不断提供新的驾驶考验，另一套AI则在其中反复练习，两者的关系就像教练与学员。如此循环，无人车就能在持续变化的环境里完成驾驶任务。
如果驾驶系统在某个场景下作出错误判断，研发人员还可以保留相同初始条件进行复现，调整周围车辆的行为，观察系统在不同情况下的表现。
没有固定剧本、可交互、可纠错、可溯源，这样的虚拟城市，由此具备了成为无人车训练场的条件。
不过，能持续运转只是前提之一。更关键的问题在于，什么样的世界模型，才能真正承担起无人驾驶的训练与验证？
给世界模型一个可验证的标准
仿真技术原本就是无人驾驶研发的重要组成部分。
早在生成式世界模型成为行业热点之前，工程师就习惯于把真实道路上的交通场景记录下来，搬进虚拟环境中反复测试。
但这种研发方式存在一个长期难题。
长期以来，自动驾驶仿真中常见的一类方法，仍然依赖真实道路数据的非响应式回放。
简单来说，即便无人车改变了驾驶策略，周围车辆仍按照原始记录的轨迹行驶，交通环境不会作出相应调整。
这恰恰是问题所在。
真实道路上的驾驶是一场持续交互，无人车改变动作，其他车辆也可能跟着改变决定。如果测试环境无法响应，便很难检验驾驶系统在动态交通中的真实表现。
而生成式世界模型解决的正是这种局限，让虚拟交通参与者根据无人车的动作重新作出判断，使驾驶系统能够在不断变化的环境中接受检验。
百度智能驾驶事业群组首席架构师、IDG技术委员会主席王亮博士，将其概括为“可交互的生成”。
这是百度从无人驾驶的实际需求出发，对世界模型的一种理解。
而放眼整个AI领域，“世界模型”这个词被用得越来越宽泛。
能够生成逼真视频的模型，可以叫世界模型；能够构建三维空间、让人自由漫游的系统，也可以叫世界模型；能够根据外部动作，持续推演环境变化的技术，同样被称为世界模型……
几类技术看起来都在构建虚拟世界，实际具备的能力却不在同一个层次。
李飞飞团队曾将世界模型分为渲染器、模拟器和规划器三种类型，分别侧重视觉生成、环境状态推演以及行动规划，也从另一个角度说明了这个概念所覆盖的技术范围之广。
概念边界不断扩展，带来的问题也逐渐显现。模型生成的世界足够逼真，是否就意味着它真正理解物理规律？能够连续生成交通画面，是否就意味着它能根据无人车的动作，推演不同的驾驶结果？
对于无人驾驶研发，这些差别可不是无关紧要的技术分类。
如果模型无法准确响应车辆动作，或者生成的交通变化不符合真实物理规律，即便画面再逼真，也很难成为可靠的训练与验证依据。
百度对世界模型标准的重视，恰恰源于这种实际需求。
在百度的技术思路中，世界模型需要什么能力，首先取决于它最终要承担什么任务。既然目标是训练没有安全员的L4无人车，就必须明确模型需要理解怎样的交通关系、遵守哪些物理规律，以及能否支撑长时间、实时交互的驾驶任务。
先把目标任务、能力边界和工程要求想清楚，再围绕这些要求构建技术体系。这种正向设计的思路，也让百度此次提出的世界模型，从一开始就有清晰的目标指向。
这种思路也有其现实背景。
李飞飞曾将无人驾驶汽车比作一个进行二维避障的方盒子，以此说明汽车与能够完成复杂三维操作的机器人之间的区别。
王亮博士则认为，无人驾驶的困难，远不止驾驶动作本身。
没有安全员的Robotaxi身处完全开放的道路，需要持续面对大量具有独立意图的交通参与者。看似普通的变道决策，背后也可能涉及多辆车之间的判断与博弈。
而比动作复杂度更重要的，还有安全责任的变化。
王亮博士拿纪录片《徒手攀岩》作了一个类比。
影片中的攀登者挑战一面高约900米、近乎垂直的岩壁。为了完成挑战，他经历了漫长而枯燥的练习。
在王亮博士看来，L2辅助驾驶就像有保护绳的攀岩。攀岩者可以尝试漂亮、惊险的动作，因为保护措施仍然存在；辅助驾驶车辆的主驾也有人，关键时刻能够接管。
然而L4无人驾驶就像是无保护攀登——“保护绳”被撤掉了，主驾空空如也。
驾驶动作看起来没有发生根本变化，背后的风险和安全要求，却已不可同日而语。那些不在聚光灯下的反复训练、每一处细节的验证，最终都要为整套系统的可靠性负责。
王亮博士曾参与L2量产研发，又长期投入L4纯无人系统，对两者之间的鸿沟有切身体会。
也正因如此，在他看来，世界模型能否真正用于L4训练，需要一套更加严格、明确的判断方法。
百度提出了面向物理AI的“2+3”世界模型评价框架。
其中，“2”指的是因果性和交互性两项基础条件。
因果性强调模型能够根据已知状态推演后续变化；交互性则要求外部动作能够持续改变环境，让不同的决定产生不同结果。
而“3”分别代表物理准确性、持久性和实时性，用于衡量模型能否真正承担物理世界中的任务。
毕竟世界模型再逼真，如果对真实物理规律的理解出现偏差，测试结果就可能失去参考价值。
雨天就是一个典型例子。
路面湿滑会改变车辆的制动距离，雨滴还会干扰激光雷达的回波，让点云出现大量噪点。如果虚拟世界只有下雨的画面，车辆却依然按照晴天的条件制动、感知，虚拟测试也就失去了意义。
看似不起眼的细节，恰恰是世界模型研发最难啃的部分。
王亮博士给出的判断是，世界模型的概念并不稀缺，各家都能投入研发，而真正可能形成壁垒的，是渲染速度、长时记忆、物理真实性等长期积累的工程能力。
就拿激光雷达来说，激光遇到雨滴后的反射干扰，涉及相当复杂的物理现象。要让世界模型准确学会这些变化，远远比生成视觉上逼真的大雨要更费工夫。
类似的工程打磨，被王亮博士称为“dirty work”。所谓技术壁垒，往往也只有在这些问题被逐一解决的过程中，才会慢慢显现。
由此，百度提出的“2+3”世界模型评价框架，实际上为世界模型进入L4研发划出了具体的能力门槛，也为这套技术应该如何设计、如何验证，提供了一条清晰的工程路径。
在世界模型的定义仍然模糊、技术路线不断分化的阶段，百度能够给出这样一套面向真实任务的判断方法，本身就体现了长期L4研发积累的价值。
另外，一趟完整Robotaxi行程可能持续数十分钟。世界模型必须在长时间推演中维持环境连贯，还要及时响应车辆动作。
物理准确性、持久性和实时性，最终都将影响虚拟训练的价值。
百度此次提出的“2+3”，也为一项仍在不断扩展定义的技术，给出了面向真实L4任务的工程坐标。
不只是百度，全球无人驾驶头部企业如今都在探索这一方向。
今年2月，Waymo正式发布Waymo World Model。它基于Google DeepMind的Genie 3进行适配，支持根据驾驶动作、场景布局和自然语言调整虚拟环境，并生成相机和激光雷达数据。
把两家最新披露的世界模型放在一起，ApolloWorld面向完整Robotaxi任务的特点愈发鲜明了。
△根据双方公开技术资料整理，图表由AI生成
比较下来，如果把世界模型看作无人车的考场，Waymo更突出如何制造复杂考题，百度则展示了一套覆盖完整出行任务的考试体系。
且ApolloWorld已进入萝卜快跑的实际测试与验证流程。背后的“2+3”工程评价框架，又对虚拟环境的因果性、交互能力和工程性能提出了明确要求。
由此，无人驾驶的测试，开始逐渐减少对真实道路上随机出现的复杂交通情况的依赖。
而新的考验也随之出现。究竟哪些偶然发生的情况，才是值得被识别、理解并反复验证的？
比里程更难复现的偶然
百度还向量子位透露，团队在真实路测中，曾经遇到过一个非常特别的案例。
洒水车经过施工区域时，路边的锥筒在水流的冲击下，滑向了无人车的行驶路线。洒水车、施工锥筒这些都是再寻常不过的道路元素，偏偏碰到一起，造就了一个很难预料的场景。
这类偶然情况，工程师也很难提前写进测试脚本。即便真实发生过一次，也难按照原来的条件重新安排。
百度的计划就是让世界模型能够重现类似的场景，让无人车反复接受检验。
这个例子背后，是无人驾驶研发中一个悬而未决的问题。
真实道路上的风险千变万化，但不是所有交通情况都具有相同的研发价值。部分极为罕见的意外，可能涉及严重安全风险；另一些寻常场景，则会频繁影响车辆的通行效率和乘坐体验。
虚拟城市能够生成大量交通情况，可这反而带来了新的取舍：哪些问题值得重点研究？这个判断会直接决定哪些场景能真正进入训练与验证过程。
那怎么筛？
只能吃经验。
据百度披露，其业务已覆盖全球28座城市，累计完成超过2300万次出行服务，累计行驶里程突破3.5亿公里，其中全无人驾驶里程超过2.4亿公里。
3.5亿公里，大家可能没有概念，举个例子，时速300公里的高铁，要连续跑133年才能跑完。
这是百度无人车十年积累下的数据，沉淀了不同地区的道路环境、交通习惯，以及长期运营中遇到大量复杂交互的经验。
百度地图多年积累的道路与地理信息，也为不同区域的虚拟场景构建提供了基础。
伴随车队规模增长，这些真实交通经验持续进入世界模型，经过筛选、整理和推演，转化为更多训练与验证任务。
针对同一段真实经历，研发人员可以改变车辆速度、周围交通流或道路条件，观察驾驶系统在不同情况下如何应对。经过反复训练和验证，新的驾驶模型再投入实际运营；车队驶入更多城市，又会带回此前没有遇到过的情况。
由此，那些原本只发生过一次的交通经历，有了被反复研究、持续利用的价值。
随着真实运营不断积累，模型获得更多训练材料；驾驶能力的提升，又有机会推动更快部署，进一步扩大数据来源。
运营积累越深，模型获得的有效训练材料越多；世界模型能力提升，又有机会提高驾驶系统的迭代效率，进一步推动实际运营规模扩大。
规模与模型能力相互促进，Scaling Law的增长逻辑由此逐渐显现。而百度十余年的无人驾驶积累，也正在世界模型时代显现出新的价值。
因为全球真正将新一代端到端驾驶模型推至百辆级纯无人运营的，只有百度和特斯拉两家。
对于百度而言，ApolloWorld的加入，又让这套真实运营体系获得了持续积累虚拟训练经验的能力，成为下一轮技术迭代可以持续利用的资源。
而规模优势带来的第一个变化，是扩张效率。
世界模型让已有经验能够复用到更多区域，新城市不必再从头验证一遍——无人驾驶由此有机会摆脱过去一城一城艰难扩张的模式，进入更高效率的规模化发展阶段。
世界模型让已有经验能够服务于更多区域，部分测试提前转移到云端，新城市的部署有机会减少重复摸索。
一旦技术迭代的速度能够转化为开城扩区的速度，改变的将不只是一家企业的研发效率，还有整个无人驾驶产业的扩张节奏。
资本市场对相关技术和产业能力的关注，也在持续升温。
今年2月，Waymo完成160亿美元融资，投后估值达到1260亿美元，并随后发布Waymo World Model。9月，AMD宣布以约82亿美元的全股票交易收购李飞飞创办的World Labs。
一家拥有大规模无人驾驶运营基础，另一家则专注于AI理解、生成和模拟物理世界。两笔交易涉及的商业路径不同，却共同折射出AI向物理世界延伸的产业价值。
真正具有跨时代意义的突破，往往不止于一项新技术的出现，还在于它改变了整个行业的发展方式。
iPhone改变了智能手机，GPT改变了AI应用。对于无人驾驶，类似的分水岭或将出现在驾驶能力能够被更高效地迁移、复制，支撑越来越多城市的规模化运营之时。
世界模型带来的想象空间，也因此会让无人驾驶获得更加具体的技术基础，从而迎来属于无人驾驶自己的产业质变时刻。
届时，真实道路上十余年的积累，将不再只是过去驶过的里程，也可能成为下一轮增长的起点。
无人驾驶的新一轮产业变革正在酝酿。百度不仅站在了变革发生的现场，也正成为推动它向前的重要力量。