特斯拉 FSD V15 不用游戏引擎,全靠 AI 实时生成画面
牛逼,我承认我之前格局小了。😂
之前我只是看了 FSD V15 的演示,还没仔细研究,还仅仅是感慨这画面简直像是用游戏引擎实时渲染出来的,既视感堪比 GTA 6。
结果老马亲自来透底,没有用游戏引擎,画面由 AI 实时生成,而且只用了一个 AI4 TRIP 神经网络加速器一半的算力… 我尼玛,那这就非常屌了。
现在市面上的 AI 视频生成,不管是 Seedance 还是其他主流视频模型,基本都依赖云端 GPU 进行推理。 而特斯拉直接把实时生成式可视化跑在了车载 AI4 芯片上,纯靠本地算力。
更关键的是,这套系统还要根据摄像头感知到的真实道路环境,持续生成与车辆周围场景同步变化的画面,同时呈现 FSD 接下来准备怎么开。 大家可以想象一下,这对实时性、空间一致性和端侧推理效率的要求有多高。
虽然它和 Seedance 这类视频模型有很大区别,但在功耗、算力和实时性都受到严格限制的车端,做到这种程度,依然非常夸张。
而且还有一个更牛逼的点。 V15 的这套可视化由同一个端到端驾驶模型参与生成,而且新版画面更加逼真,计算开销却比以前的可视化方案还要低。 画面质量大幅提升,计算成本反而下降。 搞过 AI 端侧部署的兄弟应该知道,这是多么屌的模型和推理优化能力。
但我又深度联想了一下,觉得这里面可能还藏着特斯拉更大的野心。 就是 Optimus 擎天柱。
人形机器人对算力、功耗、散热和体积的限制,甚至比汽车还要苛刻。模型每减少一点推理开销,都有可能让机器人在有限的硬件条件下运行更复杂的智能系统。 而特斯拉这次在端侧模型效率上的突破,恰恰证明了它正在不断积累这方面的工程能力。
另外 FSD V15 的官方更新说明还透露了一个信息,FSD、Robotaxi 和 Optimus 已经共享升级后的视觉编码器,并且这个视觉编码器还利用数百万段互联网视频进行了训练。 这意味着,特斯拉已经在让汽车和人形机器人复用一部分底层视觉理解能力了。
汽车每天要识别道路、车辆、行人,理解空间关系,预测周围物体的运动轨迹。 而 Optimus 同样需要理解三维空间、识别物体、预测运动,只不过它还要进一步学会抓取、搬运和完成各种物理操作。 两者在具体任务上存在很大差异,但底层视觉理解能力有相当大的共通性。
所以,假如特斯拉能持续利用汽车业务积累的真实世界数据,结合互联网视频训练和机器人专用数据,不断完善共享的视觉基础模型,就有机会让这些技术成果同时服务于 FSD 和 Optimus。 这样一来,汽车业务积累的数据、资金、芯片研发和端侧部署经验,都有可能成为未来机器人业务的重要基础。
这也是我认为特斯拉真正厉害的地方。 它正在尝试把汽车、自动驾驶和人形机器人整合进同一套不断进化的 AI 技术体系。 竞争对手未来也许可以模仿这套酷炫的车机画面,但想复制背后完整的数据积累、模型训练、自研芯片和端侧部署能力,难度就完全不同了。
所以我现在越来越觉得,特斯拉未来最大的商业价值,可能真的会超出汽车本身。
今天,FSD 在学习理解道路。 未来,Optimus 要学习理解和操作整个物理世界。 如果这条技术路线最终跑通,那现在特斯拉在自动驾驶上积累的一切,很可能都在为未来大规模部署人形机器人提前铺路。