自动驾驶技术的演进随着 AI 和大模型技术的发展进入全新阶段，“端到端自动驾驶”作为其中最重要的一项技术演进趋势近来成为自动驾驶行业关注的焦点。在端到端自动驾驶领域，无论是产业界、学术界和资本市场，里程碑事件都有发生，各大龙头企业也纷纷布局这一核心关键技术路线。
2024年6月12日，辰韬资本联合南京大学上海校友会自动驾驶分会、九章智驾、宝通科技共同主办，招商银行、云道资本协办的“端到端引领自动驾驶新时代高峰论坛暨行业研究报告发布会”活动在上海成功举办。200多位产业专家、投资机构、研究机构及智能驾驶头部企业的代表共聚一堂，探讨端到端这一革命性技术为自动驾驶行业带来的挑战和机遇。
会上，辰韬资本、南京大学上海校友会自动驾驶分会、九章智驾三方联合重磅发布2024年度《端到端自动驾驶行业研究报告》（以下简称《报告》）。从端到端自动驾驶的基本概念、参与者、发展驱动力、落地挑战和未来展望进行全方位的分析，尝试为行业构建基础共识的认知和讨论基础，促进端到端自动驾驶行业更加蓬勃地发展。此《报告》也是辰韬资本继2020年以来，发布关于矿山、港口、环卫、末端配送、线控底盘等自动驾驶赛道研究报告之后的第6份行业最新研究成果。
2023年以来，在行业龙头企业特斯拉的标杆作用、大模型代表的AGI技术范式、以及自动驾驶拟人化和安全性需求的共同推动下，自动驾驶行业对于端到端的关注度一路升温。《报告》对30余位自动驾驶行业一线专家的调研显示，其中90%表示自己所供职的公司已投入研发端到端技术，端到端已逐渐成为自动驾驶行业的共识。
《报告》创新性地提出了一套可供参考的概念定义和术语体系，对端到端的基本概念进行了界定。《报告》显示，早期，端到端的核心定义是“从传感器输入到控制输出的单一神经网络模型”，近年来，端到端的概念有了更大范围的延展。本报告认为，端到端的核心定义标准应为：感知信息无损传递、可以实现自动驾驶系统的全局优化。
基于以上定义标准，结合自动驾驶系统中AI的应用程度，《报告》将自动驾驶技术架构分为四个阶段，分别是感知“端到端”、决策规划模型化、模块化端到端、以及One Model端到端，其中，后两个阶段符合前述端到端的定义标准。同时，本报告也对端到端与大模型、世界模型、纯视觉传感器方案等常常容易被混淆的相关概念的区别与联系做了辨析。
《报告》显示，端到端的落地也面临诸多挑战，包括技术路线、数据和算力需求、测试验证、组织资源投入等。如技术路线方面，端到端技术路线还未形成最佳实践，技术路线存在分歧；数据方面，在端到端技术架构下，训练数据的重要性得到前所未有的提升，其中，数据量、数据标注、数据质量和数据分布的相关问题都可能成为限制端到端应用的挑战；训练算力方面，端到端训练算力需求急剧提升，行业头部玩家均储备千卡~万卡级训练算力；测试验证方面，现有测试验证方法不适用于端到端自动驾驶，行业亟需新的测试验证方法论和工具链；组织资源投入方面，端到端需要组织架构重塑，也需要将资源投入倾斜到数据侧，对现有模式提出挑战。另一方面，虽然有观点认为车端算力不足和可解释性问题是端到端落地的限制因素，但本报告提出相反结论并进行辨析。
《报告》展望，基于自动驾驶行业头部玩家纷纷提出端到端量产规划，预计模块化端到端系统将于2025年开始上车，这将带动上游技术进步、市场和产业格局演变。在技术上，端到端的落地会推动其依赖的上游工具链、芯片等加速进步。市场端，端到端带来的自动驾驶体验提升，将会带来高阶辅助驾驶渗透率的提升；由于其强泛化性，端到端也可能驱动自动驾驶跨地理区域、跨国家、跨场景的应用。产业格局方面，端到端使数据和AI人才的重要性进一步提升，可能催生新的产业分工和商业模式。
此外，《报告》还对端到端自动驾驶与通用人形机器人进行延展分析。自动驾驶在发展的早期借鉴了很多机器人行业的积累，包括感知算法、规划算法、中间件和传感器等多个层面。近年来，自动驾驶技术和产业成熟度提高，其中端到端自动驾驶提供了一套已验证、可量产的基于数据驱动的AGI技术范式，对于通用人形机器人有较强的借鉴作用。《报告》认为自动驾驶和通用人形机器人已经成为物理世界AGI发展最重要的两个应用领域，比较二者在落地之路上遇到的问题和解决路径，可以给另一个领域更大的启发。
