过去国内辅助驾驶从业者经常说,端到端是黑箱,其推导过程不可知。
那么特斯拉是怎样的呢?
Ashok 阿肖克·埃卢斯瓦米(Ashok Elluswamy,特斯拉AI副总裁)在ICCV上的演讲中,提到了端到端的模型是如何监测其过程,并且保证安全性的。
结果是,其实,端到端模型还会生成很多过程性的结果,虽然是辅助性的,但是可以用来辅助预测,最终的结果是否正确或者安全:
BigBite思维随笔总结:
可以看到这样的端到端系统不仅输出了下一个驾驶控制指令,还在决策规划信号前输出了很多中间结果,包括了带速度信号的3D占据网格,3D高斯特征,车辆,行人,骑行人等动态障碍物,交通信号灯,信号牌,道路边沿、车道线等静态物体,还有限速,道路属性,以及语言模式表达的决策信息。
这些中间结果信息不仅仅用于车机可视化渲染,更加可以通过条件概率,也就是大语言模型中广泛应用的思维链COT(Chain-of-Thought)形式以及过程校验手段,确保了最终输出驾驶控制信号的正确性。




