理想正式启动端到端 VLM的早鸟计划：让自动驾驶成为老司机

中新网巴黎6月11日电 当地时间6月10日，“聆听深圳——郎朗和他的城市”深圳国际形象巴黎专场文旅推介会成功举行。　　当天的活动由深圳市人民政府外事办公室及深圳市文化广电旅游体育局主办。中国驻法国大使馆金旭东公参、文化处王茵参赞，法国文化部文化监察长鲁杰丽、前法国驻华大使白林出席活动并致辞，巴...

快科技7月5日消息，理想在今晚的夏季发布会上宣布，正式启动端到端 的早鸟计划。

据介绍，端到端最大的特点就是取掉了NPN，不依赖于先验信息，可以真正实现全国都能开，有导航就能开。

则更进一步，通过传感器将数据输入模型，就能直接输出行驶轨迹。

通过车内的端到端和大模型部署，可以让自动驾驶快速处理，延迟更低、上限更高，用户所能感受到整套系统的动作、决策更加拟人。

VLM则是，整体算法架构是由一个统一的Transformer模型组成，将Prompt（提示词）文本进行Tokenizer（分词器）编码，然后将前视120度和30度相机的图像以及导航地图信息进行视觉信息编码，通过图文对齐模块进行模态对齐，统一交给VLM模型进行自回归推理。

VLM输出的信息包括对环境的理解、驾驶决策和驾驶轨迹，并传递给系统1控制车辆。

VLM会时时刻刻思考当前的驾驶环境，给系统1合理的驾驶建议，同时系统1也可以在不同场景下调用不同的Prompt问题，主动向系统2进行求助，帮助系统1解决部分场景。

简单来说，VLM可以让车辆具有思考能力，让自动驾驶的操作更像人类老司机的处理方式。