-
让品牌有温度、有情感
专注品牌策划15年
- 为什么是毫末智行成为了DriveGPT的破壁人？
- HAOMO AI DAY定档4月11日 展示DriveGPT自动驾驶模型
- 毫末发布自动驾驶生成式大模型DriveGPT 中文名"雪湖·海若"
- DriveGPT雪湖·海若诞生，将重塑汽车智能化技术路线
- 当GPT遇到自动驾驶，毫末首发DriveGPT
自动驾驶生成式大模型DriveGPT
发布时间：2023-06-13 09:12:49
稿源：
创意岭 阅读：
74
大家好！今天让创意岭的小编来大家介绍下关于自动驾驶生成式大模型DriveGPT的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词，就能返回你想要的内容，有小程序、在线网页版、PC客户端和批量生成器
本文目录:
为什么是毫末智行成为了DriveGPT的破壁人？
作者 | 魏启扬
来源 | 洞见新研社
毫末智行有着天生的紧迫感。
很多科技公司一年才举办一次的品牌日活动，毫末智行硬是办成了一个季度一次，活动频次的提高，则意味着组织内部新陈代谢的提速，从研发到落地乃至运营，都要跟上步点节奏。
毫末智行用这样一种方式来鞭策自己在自动驾驶道路上的进取之心。
4月11日结束的第八届HAOMO AI DAY，活动规格再上台阶，吸引了中国汽车芯片联盟联席理事长、中国电动汽车百人会副理事长董扬，同济大学教授、汽车安全技术研究所所长朱西产，清华大学车辆与运载学院教授曹东璞、华为云人工智能领域首席科学家、国际欧亚科学院院士、IEEE/CAAI Fellow田奇等业内大咖参会。
在影响力持续扩大的同时，毫末智行再次更新了自己在技术、产品和生态上的进展，其中城市NOH即将量产上车与毫末DriveGPT 雪湖·海若的发布成最大亮点。
前者是中国首个重感知、不依赖高精地图的城市NOH，将最先落地北京、上海、保定等城市，后者则是全球首个自动驾驶生成式大模型。
NOH量产上车，毫末智行过去就曾做过预告，此次确定了更具体的落地时间，算是兑现了之前“夸下的海口”。
至于雪湖·海若 ，在GPT火热的当下，参与其中的自动驾驶公司也不少，为什么是毫末智行率先发布，成为很多人心中的谜团。
01 自动驾驶大考年，毫末智行冲在最前线毫末智行加快推进NOH的落地进程，很大一部分原因在于智驾产品已经进入到全线爆发的前夜。
来自工信部和高工智能汽车研究院的数据显示，2021年乘用车L2级智驾产品的搭载率是23.5%，全年共交付了476万辆。
到了2022年，乘用车上车的智驾产品升级到L2级以上，搭载率提升到29.4%，全年了交付了585.99万辆。
按照这一趋势预测，到2025年时，乘用车L2级以上智驾产品的搭载率将达到70%。
毫无疑问，正在经历的2023年和还没到来的2024年将十分关键，用毫末智行董事长张凯的话来说，“2023年既是自动驾驶的冲刺之年，也是大考之年”。
张凯判断，智驾产品今年的爆发将主要集中在两个方面。
第一个是城市导航辅助驾驶产品将围绕量产上车发力，主要玩家的城市辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。
另一个是行泊一体和无人车商业化将成为自动驾驶公司深耕的重点。在乘用车领域，搭载行泊一体功能的智驾产品将迎来前装量产潮。
事实上，毫末智行作为“渐进派”的代表，坚定认为辅助驾驶是通往自动驾驶的必由之路，因而在过往，一直致力于推动智驾产品上车。
2021年推出HPilot 1.0版本，当年即完成坦克300城市版、魏牌拿铁、魏牌玛奇朵、哈弗神兽5款车型的量产上车，搭载乘用车数量超过数万台。
2022年，毫末智行对HPilot进行了两次大版本更新，HPilot月度搭载增速超过200%，与此同时，毫末城市NOH辅助驾驶系统也完成了量产交付，搭载HPilot 3.0的新摩卡DHT-PHEV魏牌蓝山将在2023年先后上市。
根据毫末智行官方公布的数据，截至目前，毫末HPilot整体已搭载近20款车型。用户辅助驾驶行驶里程突破4000万公里，HPilot 2.0 辅助驾驶日均里程使用率达到了12.6%。
NOH的推进方面，目前已经在北京、保定、上海等城市开启泛化测试，即将量产上车，毫末智行预测，到2024年，城市NOH将有序落地100城，届时，毫末辅助驾驶乘用车总量也将来到百万量级别。
有业内人士评述，即便按照当前的节奏不变，毫末智行智驾产品量产落地的速度也已与友商拉开了差距，至少领先行业一年以上。
毫末智行的”快”主要体现在两个方面，一个是产品的推新和迭代速度快，一个是由量产落地而带动的规模覆盖。
不得不说毫末智行选择了一条最为“稳妥”的自动驾驶路线。
在应对行业竞争，推动自动驾驶落地的过程中，我们很清晰的看到，HPilot、城市NOH等智驾产品正在源源不断的为毫末智行提供营收，而随着这些智驾产品的每一次迭代升级，自动驾驶能力一点点的向上提升，毫末智行距离全无人驾驶的星辰大海也更近了。
除了自动驾驶量产上车之外，毫末智行还公布6P开放合作的进展，目前已与3家主机厂签署定点合同，相关项目正在交付中。
在此之前，行业对毫末智行发展潜力存疑的主要观点是过于依赖长城，如今6P合作实现突破，表示毫末智行开始走出长城，迈向更广阔的发展空间，构建属于自己的“长城”。
02 数据“第一性原理”，DriveGPT雪湖·海若的主要支撑点将ChatGPT与DriveGPT雪湖·海若进行对比，虽然都是GPT，但运行条件和应用场景还是有很大的不同。
ChatGPT是对话式的生成式自然语言模型，输入是自然语言的文本串，输出就是自然语言的文本，目前ChatGPT主要完成通用的下游语言生成任务，比如多轮对话、代码生成、翻译、数学运算等。
DriveGPT雪湖·海若是用于自动驾驶场景的生成式大模型，输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景Token化，形成“Drive Language”，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
DriveGPT雪湖·海若的实现过程是，首先在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管Clips数据完成反馈模型（Reward Model）的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。
毫末智行CEO顾维灏在自动驾驶技术领域的眼光独到，布局非常领先。
早在 2021 年，毫末智行就已经开始了 Transformer 大模型技术的探索，并快速落地应用到 BEV 视觉感知算法当中，然后又以五大模型的方式来实现自动驾驶感知、认知算法的快速升级，现在这些大模型将统一到 DriveGPT 生成式大模型当中，最终目标是实现端到端自动驾驶。
很明显，和ChatGPT一样，DriveGPT雪湖·海若的技术原理并不复杂，但为何是毫末智行抢到了落地的头炮呢？
因为要想获得理想的训练结果，必须具备两个条件，海量的数据和超强的算力，而这恰恰是毫末智行区别于其他自动驾驶公司的优势长板。
先看数据。
去年9月的第6届HAOMO AI DAY上，CEO顾维灏向外界确认，毫末智行正式进入数据驱动的自动驾驶 3.0 时代。
如何理解？毫末智行依托HPilot的量产，目前已经积累了超过4000万公里辅助驾驶里程的数据，就场景来看，包括城市道路、城市快速路和高速；就数据分类来看，既有真实的感知数据，也包含真实的人驾数据。
毫末智行的数据优势并不是数据量的多少，而是获取数据的能力。
以HPilot为代表的智驾产品一直在持续的大规模量产上车，这也是说，毫末智行拥有稳定且优质的数据源，这些数据被投喂到MANA数据智能体系的训练中，推动MANA的进化成长，从而完成数据在其设计的技术架构内的闭环。
截至到2023年4月，MANA学习时长超56万小时，虚拟驾龄相当于人类司机6.8万年。
再来看看算力。
毫末智行很早就预见了算力对于自动驾驶研发的重要性，与特斯拉建设超算中心Dojo类似，毫末智行今年1月发布了中国自动驾驶行业最大的智算中心MANA OASIS（雪湖·绿洲），算力达67亿亿次/秒。
通过一系列的训练框架、性能、通信等优化，MANA OASIS可单机实现训练100亿参数规模的大模型的能力，同时执行多任务、多模态并行的训练，大幅提升计算效率。
为了支持DriveGPT雪湖·海若的训练，毫末智行还对MANA OASIS在算力层面进行三大能力的升级。
1、搭建了“全套大模型训练保障框架”，实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性；
2、研发出以真实数据回传为核心的增量学习技术，并将其推广到大模型训练，构建了一个大模型持续学习系统，自主研发任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%；
3、MANA OASIS通过提升数据吞吐量来降本增效，满足Transformer大模型训练效率，通过引入火山引擎提供的Lego算子库实现算子融合，端到端吞吐提升84%。
古希腊哲学家亚里士多德曾提出过“第一性原理”的哲学术语，翻译过来就是，“每个系统中存在一个最基本的命题，它不能被违背或删除。”
从毫末智行所表现出来的技术理念来看，无论是走“渐进式”路线，还是建设算力基础设施MANA OASIS，围绕的中心都是数据，在毫末智行的认知中，数据就是自动驾驶的“第一性原理”，基于此，毫末智行构建起行业竞争的护城河。
03 从毫末到雪湖再到海诺，自动驾驶的中国式浪漫在DriveGPT雪湖·海若发布之外，另外一个值得关注的点是，毫末智行还对外开放了该模型。
北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等单位成为首批合作伙伴。
此外，毫末智行在使用数据的过程中，还建立了一套极具性价比的，基于4D Clips数据的自动化标注方案。
目前，一张正确标注结果的图片在行业中的市场价是5块钱，如果使用DriveGPT的标注服务，这个价格将只需5毛钱。
毫末智行计划，这项图像帧及4D Clips自动标注服务将逐步向行业开放使用。
很明显，毫末智行发布DriveGPT雪湖·海若，并不是炒作跟风，而是真真切切的在做自动驾驶研发，更难能可贵的是，毫末智行很多前沿技术不光是为自己所用，还将其开放出来，以生态共建的形式，为行业的发展添砖加瓦。
其实，从毫末智行公司名字的由来，到自动驾驶智算体系MANA雪湖的命名，再到DriveGPT雪湖·海若的来源，能够窥视出毫末智行在自动驾驶这件事情上一以贯之的企业价值观。
“毫末”二字取自道家学派创始人老子之《老子·第六十四章》：“合抱之木，生于毫末。九层之台，起于累土。千里之行，始于足下。”强调的是一点一滴积累、脚踏实地耕耘的重要性。
“雪湖”这一名称，出自科幻小说《三体》第二部《黑暗森林》，说的是主人公罗辑在星空、雪山、森林、草地和湖畔之间徜徉思考，直到有一天在湖中寻找到了绿色“三体危机”、拯救地球的方法。
将其延伸，“雪湖”这个名字代表了毫末对人类社会和科技趋势发展的热情，承载着毫末以AI通向自动驾驶梦想的思考。
“海若”则出自《庄子·秋水》，里面有两个神话人物河伯和北海若。河伯请教北海若，何谓大小之分，北海若教导，不因天地而觉大，不因毫末而觉小。其中蕴含着智慧包容、海纳百川的寓意。
将上述命名来源进行梳理，可以发现毫末智行的企业价值观融汇了中国古代经典的道家思想和科幻巨作天马行空式的哲学思辨，再结合当前正在从事的最前沿的自动驾驶事业，毫末智行呈现出特立独行的气质，更宏观的视角，还能看到一种与众不同的中国式浪漫。
【本文来自易车号作者洞见新研社，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
HAOMO AI DAY定档4月11日 展示DriveGPT自动驾驶模型
易车讯 日前，我们从官方渠道获悉，毫末智行第八届 HAOMO AI DAY 正式定档4月11日，主题为“ HAOMO SPEED，AI SPEED ”。在主视觉中，DriveGPT、HPilot 3.0、MANA OASIS 等字样隐现，尤其是 DriveGPT 生成式大模型自2023年2月宣布后其进展一直备受关注。
第八届 HAOMO AI DAY 举办地设在中德交往与开放创新的重要窗口“北京中德产业园”。北京顺义区一直是毫末研发中心所在地之一，毫末的辅助驾驶产品 HPilot、末端物流自动配送车小魔驼，也一直在顺义开展道路测试。
此外，大会主视觉上齿轮与集成电路构成的 Logo 元素未来感炸裂，结合此前已经官宣透露的全球首个自动驾驶生成式大模型 DriveGPT 、中国自动驾驶行业最大智算中心“雪湖·绿洲”( MANA OASIS )、 中国首个重感知技术方案的毫末城市 NOH 已在北京、上海、保定等地路测、2023毫末四大战役等信息。
2023年开局，全球人工智能风起云涌，大模型驱动产业加速发展。ChatGPT 火爆出圈，让人工智能走向每一个终端用户。在智能时代的浪潮下，HAOMO AI DAY 已连续成功举办七届。每届 AI DAY 上，毫末都会分享全球最前沿自动驾驶 AI 技术趋势及领先产品进展。
上易车App首页点击销量排行，查看最全面的周销量数据。
毫末发布自动驾驶生成式大模型DriveGPT 中文名"雪湖·海若"
易车讯 日前，我们从官方渠道获悉，在第八届HAOMO AI DAY上，毫末智行发布自动驾驶生成式大模型DriveGPT，中文名"雪湖·海若"。生态方面，毫末官宣取得3个主机厂定点合同，商业化迎来跃升一步；同时毫末推出的中国首个重感知、不依赖高精地图的城市NOH即将量产上车，最先落地北京、上海、保定等城市。
毫末打造的自动驾驶生成式大模型DriveGPT雪湖·海若通过引入驾驶数据建立RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化，现阶段主要用于解决自动驾驶的认知决策问题，终极目标是实现端到端自动驾驶。
毫末DriveGPT雪湖·海若已开启对限量首批生态伙伴的开放合作，北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等高校与企业加入。
产品方面，毫末中国首款可大规模量产落地、重感知城市NOH，将首批落地北京、保定、上海等城市，并开启泛化测试，到2024年有序落地100城。首款搭载HPilot3.0的新摩卡DHT-PHEV即将重磅上市，这也是毫末DriveGPT雪湖·海若的首发落地车型，全面确保毫末城市NOH的行业领先性。
生态层面，毫末乘用车6P开放合作取得重大突破，已与3家主机厂签署定点合同，相关项目正在交付中。这是毫末商业化的重要一跃，全面保障了毫末高速发展态势。
毫末智行董事长张凯判断：“2023年智驾产品进入全线爆发期，大模型开启在车端的落地应用，车主的使用频率和满意度成为产品竞争力的重要衡量标准。毫末不断进步的数据驱动的六大闭环能力将进一步加速毫末进入自动驾驶3.0时代的步伐并形成相应的护城河。”
张凯认为，智驾产品正在进入快速增长的全线爆发期，2023年是非常关键的一年。首先，城市导航辅助驾驶产品在2023年将围绕量产上车发力，主要玩家的城市导航辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。其次，行泊一体和末端物流自动配送产业商业化将成为自动驾驶公司深耕的重点。在乘用车领域，搭载行泊一体功能的智驾产品将迎来前装量产潮；在末端物流自动配送领域，末端物流自动配送车在商超、快递等场景迎来爆发，2023年将在这些场景实现可持续商业化闭环。
首款搭载HPilot3.0的新摩卡DHT-PHEV即将重磅上市，第二款搭载毫末HPilot3.0的车型魏牌蓝山也将在今年发布。毫末HPilot整体已搭载近20款车型。用户辅助驾驶行驶里程突破4000万公里，HPilot2.0辅助驾驶日均行驶里程使用率达到了12.6%。海外布局方面，搭载毫末HPilot的车辆已运往欧盟、以色列等地区和国家，陆续交付到用户手中，接下来将在中东、南非、澳大利亚等市场陆续投放；同时，毫末HPilot即将量产墨西哥版本及俄罗斯版本。
3月，高工智能汽车研究院在每个年度基于前装量产数据库及定点车型库数据进行综合评估，通过对毫末前装近20款车辆等数据研究，为毫末颁发年度高阶智能驾驶系统量产份额领军奖。第三方数据佐证毫末是中国量产自动驾驶绝对领军者。
其次是“MANA大模型巅峰之战”，中国首个自动驾驶数据智能体系MANA架构已迎来全线升级。到2023年4月，MANA学习时长超56万小时，相当于人类司机6.8万年。毫末DriveGPT雪湖·海若，已经完成基于4000万公里驾驶数据的训练，参数规模达1200亿。
第三是“城市NOH百城大战”，中国首款可大规模量产落地、重感知城市NOH，已在北京、保定、上海等城市开启泛化测试，即将量产上车，到2024年有序落地100城。毫末会以“安全为先、用户为先、规模为先”的原则，加速赢得城市NOH百城大战。
最后是“末端物流自动配送商业之战”，毫末末端物流自动配送车小魔驼已在商超履约、智慧社区、校园配送、餐饮零售、机场巡逻、高校教育、快递接驳、智慧园区、大气环评等九大场景开启运营，加速商业化闭环能力。2023年3月，小魔驼2.0获北京亦庄无人配送车车辆编码，开启亦庄运营。毫末也成为《北京智能网联汽车政策先行区无人配送测试规范》升级后，准许在北京市高级别自动驾驶示范区公开道路进行无人配送车测试的首个公司。
“技术领先是生存根本，毫末鼓励所有技术研发同学投入到技术创新当中。”张凯在演讲中再次强调了毫末对于技术研发投入的坚定决心。截至目前，毫末已获得专利证书164件，国际顶级学术会议论文收录6篇，最新2篇更是分别入选计算机视觉识别领域三大顶会之一的CVPR和全球首个智能车专业期刊IEEE TIV。毫末已将所有论文在GitHub开源，与业内共享。
现场，张凯还向外界公布了毫末6P开放合作的重要进展，目前已与3家主机厂签署定点合同，相关项目正在交付中。“毫末始终认为，自动驾驶是一个共同进退、共享成果的前沿产业。只有健康的生态伙伴才能支持毫末高速发展。”张凯表示。
此外，毫末一直坚持场景化用户体验设计、人工智能技术、技术工程化能力均衡发展，不断以数据驱动闭环的方式完善用户体验。张凯介绍，三个月时间，毫末在数据驱动六大闭环体系上实现多重进展。
用户需求闭环方面，毫末对驾驶场景数据持续分析完善策略，并进行新功能体验反馈；研发效能闭环方面，毫末将数据驱动理念深入到产品需求定义、感知与认知算法开发等产品开发流程，整体开发效率提升30%；数据积累闭环方面，毫末在车端部署诊断服务数据场景标签覆盖92%的驾驶场景。
数据价值闭环方面，毫末大模型正在持续挖掘数据价值解决关键问题；产品自完善闭环方面，毫末实现售后问题处理速度较传统方式的十倍效率提升，实现最快10分钟定位售后问题。两年时间有效挖掘产品提升点，问题闭环率达76%；业务工程化闭环方面，毫末进一步完善了从采集回流、标注训练、系统标定、仿真验证等环节到最终OTA释放环节的产品研发全流程工程化闭环。
毫末DriveGPT雪湖·海若通过引入驾驶数据建立RLHF（人类反馈强化学习）技术，对自动驾驶认知决策模型进行持续优化。它的最终目标是实现端到端自动驾驶，现阶段主要用于解决自动驾驶的认知决策问题，后续持续会将毫末多个大模型的能力整合到DriveGPT。目前，毫末DriveGPT雪湖·海若实现了模型架构与参数规模的升级，参数规模达到1200亿，预训练阶段引入4000万公里量产车驾驶数据，RLHF阶段引入 5万段人工精选的困难场景接管Clips。
DriveGPT雪湖·海若的底层模型采用GPT（Generative Pre-trained Transformer）生成式预训练大模型，与ChatGPT使用自然语言进行输入与输出不同，DriveGPT输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景Token化，形成“Drive Language”，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
DriveGPT雪湖·海若的实现过程是，首先在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管Clips数据完成反馈模型（Reward Model）的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。同时，DriveGPT雪湖·海若还会根据输入端的提示语以及毫末CSS自动驾驶场景库的决策样本去训练模型，让模型学习推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。
现场，毫末宣布DriveGPT雪湖·海若首发车型是新摩卡DHT-PHEV，即将量产上市。顾维灏提到，DriveGPT雪湖·海若可以逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。有了DriveGPT雪湖·海若的加持，车辆行驶会更安全；动作更人性、更丝滑，并有合理的逻辑告诉驾驶者，车辆为何选择这样的决策动作。对于普通用户来说，车辆越来越像老司机，用户对智能产品的信任感会更强，理解到车辆的行为都是可预期、可理解的。
毫末DriveGPT雪湖·海若将携手生态伙伴率先探索四大应用能力，包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。当前，毫末在使用数据过程中，逐步建立起一套基于4D Clips驾驶场景识别方案，具备极高性价比。在行业上，给出正确的标注结果，一张图片需要约5元；如果使用DriveGPT雪湖·海若的场景识别服务，一张图片的价格将下降到0.5元。单帧图片整体标注成本仅相当于行业的1/10。接下来，毫末会将图像帧及4D Clips场景识别服务逐步向行业开放使用，这将大幅降低行业使用数据的成本，提高数据质量，从而加速自动驾驶技术的快速发展。
顾维灏介绍，毫末在2023年1月发布的中国自动驾驶行业最大的智算中心MANA OASIS（雪湖· 绿洲）此次从算力优化等层面升级了三大能力，进一步支持DriveGPT雪湖·海若的算力。首先，毫末与火山引擎全新搭建了“全套大模型训练保障框架”，实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性；其次，毫末研发出以真实数据回传为核心的增量学习技术，并将其推广到了大模型训练，构建了一个大模型持续学习系统，自主研发任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%；最后，MANA OASIS通过提升数据吞吐量来降本增效，满足Transformer大模型训练效率，通过引入火山引擎提供的Lego算子库实现算子融合，端到端吞吐提升84%。
毫末打造的中国首个自动驾驶数据智能体系MANA，在经过一年多的应用迭代后，本次AI DAY也迎来了全面的升级，正式开放赋能。顾维灏介绍，MANA计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS中；其次，MANA感知和认知相关大模型能力统一整合到DriveGPT雪湖·海若中；第三，增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本；同时针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。
此外，MANA的视觉感知能力持续提升，一方面可同时学习三维空间结构和图片纹理，并将纯视觉测距精度超过了超声波雷达，BEV方案也拥有了更强的通用性和适配性；另一方面可实现单趟和多趟纯视觉NeRF三维重建，道路场景更逼真，肉眼几乎看不出差异。通过NeRF进行场景重建后，可以编辑合成真实环境难以收集到的Corner Case。在原有的全局视角修改、添加光照/天气效果的基础上，新增合成虚拟动态物体的能力，可以在原有设定的运动轨迹上，合成各种Hard Case，模拟城市复杂交通环境，用更低成本测试提升城市NOH能力边界，更好提升应对城市复杂交通环境。
值得一提的是，面对目前行业里最难的视觉任务之一——单目视觉测量，继特斯拉后，毫末也在中国率先开始验证能否使用鱼眼相机代替超声波雷达进行测距，以满足泊车要求。毫末把视觉BEV感知框架引入到了车端鱼眼相机，做到了在15米范围内达到30cm的测量精度，2米内精度高于10cm的视觉精度效果。泊车场景使用纯视觉测距来取代超声波雷达，将进一步降低整体智驾成本。
易车超级评测体系重磅上线！专业、硬核、全面的汽车评测内容云集，易车年度车型榜单新鲜出炉！上易车App搜索“超级评测”，等你来看！
DriveGPT雪湖·海若诞生，将重塑汽车智能化技术路线
和 ChatGPT 在 AIGC（AI- Generated Content，人工智能生成内容）领域一样具备颠覆性的事情正在发生。
4 月 11 日，自动驾驶技术公司毫末智行在其第八届 HAOMO AI DAY 上，重磅发布行业首个自动驾驶生成式大模型 DriveGPT，中文名「雪湖·海若」，该模型参数规模达到 1200 亿，可用于解决自动驾驶研发过程中困扰已久的认知决策问题，并通过能力迭代，最终实现端到端自动驾驶。
此前，受制于传统模型「数据量小、基于规则」等局限性，智能驾驶技术进展一度较为缓慢，甚至不少从业者都对未来产生了自我怀疑，在这样的背景下，两年前，毫末率先投入到大模型技术的研发之中，旨在寻找新的突破。
经历了先行探索和反复验证，毫末成功找到了突破口——生成式大模型，通过在行业首个将 GPT 落地到自动驾驶领域，大大加速了更高阶智能驾驶的落地应用。
「生成式大模型将成为自动驾驶系统进化的关键，基于 Transformer 大模型训练的感知、认知算法会逐步在车端进行落地部署。」毫末董事长张凯在 HAOMO AI DAY 上对行业未来发展趋势作出论断。
毫末 CEO 顾维灏也表示：「DriveGPT 雪湖·海若将会重塑汽车智能化技术路线，让辅助驾驶进化更快，让自动驾驶更早到来。」
顾维灏在自动驾驶技术领域的眼光独到，布局非常领先。
事实上，毫末在 2021 年就已经开始了 Transformer 大模型技术的探索，并快速落地应用到 BEV 视觉感知算法当中，然后又以五大模型的方式来实现自动驾驶感知、认知算法的快速升级，现在这些大模型将统一到 DriveGPT 生成式大模型当中，目标将实现端到端自动驾驶。
毫末的探索始终走在行业技术探索的前列。
据了解，新摩卡 DHT-PHEV 即将首发搭载 DriveGPT 雪湖·海若量产上市，届时，用户市场还将迎来一轮新的震撼。
「毫末真正重塑了行业信心，」一位业内人士略微激动地说道，「这将是一场革命。」
01、DriveGPT 雪湖·海若，如何颠覆智能驾驶
在介绍 DriveGPT 雪湖·海若之前，先回顾一下 ChatGPT 的概念，其全称是 Chat Generative Pre-trained Transformer，字面意思是用于聊天的生成式预训练 Transformer 大模型。
其中 Transformer 是 ChatGPT 的重点，最早由谷歌在 2017 年提出，该模型基于注意力机制的设计，可以实现出色的算法并行性，因而迅速在自然语言处理（NLP) 领域流行起来，ChatGPT 就是其最新成果。
Transformer 大模型对于智能驾驶来说也不陌生，在 NLP 中奠定了核心地位之后，被逐渐被引入计算机视觉（CV）领域，后又被特斯拉、毫末智行等行业龙头先行引入自动驾驶系统中，用于提升感知端的模型效果。
如今，毫末在 Transformer 大模型的应用上更进一步，将其率先拓展到智能驾驶系统认知端，DriveGPT 雪湖·海若由此诞生。
从同样使用 Transformer 大模型的角度来说，ChatGPT 和 DriveGPT 雪湖·海若属于同宗同源。
其中，ChatGPT 是对话式的生成式自然语言模型，输入是自然语言的文本串，输出是自然语言的文本，可以完成通用的下游语言生成任务，比如多轮对话、代码生成、翻译、数学 运算等能力。
而毫末 DriveGPT 雪湖·海若是用于自动驾驶场景的生成式大模型，输入是感知融合后的文本序列，输出是自动驾驶场景文本序列，即将自动驾驶场景 Token 化，形成「Drive Language」，最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
DriveGPT 雪湖·海若首先在预训练阶段通过引入量产驾驶数据，训练初始模型，再通过引入驾驶接管 Clips 数据完成反馈模型 (Reward Model) 的训练，然后再通过强化学习的方式，使用反馈模型去不断优化迭代初始模型，形成对自动驾驶认知决策模型的持续优化。
具体来说，DriveGPT 雪湖·海若会通过人类反馈强化学习的方式进行迭代，用 DriveGPT 雪湖·海若最新模型 (Active Model) 对真实场景 Case 做生成，产出多种场景序列结果，再用反馈模型给这些结果进行打分排序，目标是把好的结果排上来，差的结果排下去，然后与初始模型 (Pretrain-Model) 的生成概率做比较，放大比分。最后通过强化学习的方式将参数再次更新到最新模型 (Active Model) 中，一直反复这个迭代过程。
其中，Reward Model(反馈模型) 的训练过程是独立的，使用带有偏序关系的 Pair 样本对来训练，这些样本对来自于接管 Case，毫末将与人类驾驶结果相似的模型结果作为正样本，与被接管轨迹相似的作为负样本，这样来构建偏序对集合，再利用 LTR(Learning To Rank) 的思路去训练 Reward Model，进而得到一个打分模型。
此外，DriveGPT 雪湖·海若还可以输出决策逻辑链：即在输入端提供 Prompts(提示语)，根据提示输出含有决策逻辑链 (Chain of Thought) 的未来序列。
毫末 CSS 自动驾驶场景库是 CoT 的重要输入，拥有超过几十万个细颗粒度场景，将 Prompt 提示语和完整决策过程的样本交给模型去学习，学到推理关系，从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程，完成可理解、可解释的推理逻辑链生成。
除了用作认知决策，DriveGPT 雪湖·海若还可以逐步应用到城市 NOH、捷径推荐、智能陪练以及脱困场景中。
有了 DriveGPT 雪湖·海若的加持，车辆行驶会更安全；动作更人性、更丝滑，并有合理的逻辑告诉驾驶者，车辆为何选择这样的决策动作。
对于普通用户来说，车辆越来越像老司机，用户对智能产品的信任感会更强，理解到车辆的行为都是可预期、可理解的。
尽管 DriveGPT 雪湖·海若刚出世就拥有强大的功能，但这还不是它的「终局」，毫末对于 DriveGPT 雪湖·海若的目标是实现端到端自动驾驶，后续毫末会持续将多个大模型的能力整合到 DriveGPT 雪湖·海若中。
与此同时，毫末也对外构建 DriveGPT 雪湖·海若生态，通过对行业提供开放服务，促进自动驾驶的从业者和研究机构，快速构建基础能力，释放创新。
汽车之心获知，毫末 DriveGPT 雪湖·海若首批定向邀请了北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等加入。
事实上，毫末对于大模型的开放从 DriveGPT 雪湖·海若的中文名「雪湖·海若」即可窥见。
据了解，「海若」一词出自《庄子·秋水》中的神话人物北海若，在该书中，另一神话人物河伯请教北海若，何谓大小之分，北海若教导河伯说，不因天地而觉大，不因毫末而觉小。
毫末据此把 DriveGPT 中文名命名为「海若」，寓意着智慧包容、海纳百川，为行业发展贡献力量。
02、自动驾驶生成式大模型「第一枪」，为何由毫末打响
自动驾驶领域顶级玩家众多，毫末凭何在全球首个推出了自动驾驶生成式大模型 DriveGPT 雪湖·海若？
要回答这个问题，首先要理清楚毫末 DriveGPT 雪湖·海若的本质，它是应用在智能驾驶上的人工智能，就必然离不开人工智能三要素：算法、数据和算力，而这三者恰恰是毫末具备领先性优势的地方。
首先在算法的技术路线上，毫末早早就坚定选择走渐进式发展路线，比「跃进式」玩家的量产时间更早，更快形成规模化，从用户真实使用场景中积累足够多的数据。
毫末还清晰地提出了从自动驾驶 1.0 时代到自动驾驶 3.0 时代的演进路径，并率先进入以数据驱动为核心的新时代。
从这时开始，自动驾驶获取的数据量与数据多样性将呈现指数级膨胀，在深度学习主导中，与大模型相辅相成，真正去解决自动驾驶最后的长尾难题。
在 2021 年 12 月第四届 HAOMO AI DAY 上，毫末发布中国首个数据智能体系 MANA，其由四大板块组成，分别是 TARS、LUCAS、VENUS 和 BASE。
其中，BASE 是整个系统架构的底层，包括数据底座、数据融合、PoseidonOS 等。
其他三大板块置于上层：
- TARS 代表毫末智行的开发的原型算法，包括感知、规划决策、地图定位、仿真引擎；LUCAS 是提取数据价值，以数据驱动系统能力持续迭代的核心子系统，解决场景泛化，评测和部署的问题；VENUS 则是数据看板，以参考标准评价算法的好坏。
<span style
【本文来自易车号作者汽车之心，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
当GPT遇到自动驾驶，毫末首发DriveGPT
GPT之于自动驾驶意味着什么？
文丨智驾网 黄华丹
ChatGPT带火了AI，那么，当GPT遇到自动驾驶，又会发生怎样的化学反应？
GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。
4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。
DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。此外，AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。
01.
什么是DriveGPT？能实现什么？
顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。
以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。
而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：
1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。
2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的同时，便会产生自车未来的轨迹信息。
3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的同时，输出整个决策逻辑链。
也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。
具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。
Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。
也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。
一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。
有了Drive Language，就可以对DriveGPT进行训练了。
毫末对DriveGPT的训练过程首先是根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。
然后，通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。
后续就是用强化学习的思路不断优化迭代模型。
在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。
目前，毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。
这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。同时，毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。
在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。
可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。
02.
实现DriveGPT毫末做了什么？
首先，DriveGPT雪湖·海若的训练和落地，离不开算力的支持。
今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。
当然，光有算力还不够，还需要训练和推理框架的支持。因此，毫末也做了以下三方面的升级。
一是训练稳定性的保障和升级。
大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。
毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。
二是弹性调度资源的升级。
毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。
毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。
三是吞吐效率的升级。
在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。
有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。
03.
MANA大升级，摄像头代替超声波雷达
毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。
据顾维灏介绍，本次升级主要包括：
1.感知和认知相关大模型能力统一整合到DriveGPT。
2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。
3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。
4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。
前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。
顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。
在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。
此外，在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。
通过对NeRF的升级，毫末表示可以做到重建误差小于10
【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】
以上就是关于自动驾驶生成式大模型DriveGPT相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
游戏辅助卡盟24小时自动发卡平台（游戏辅助卡盟24小时自动发卡平台文明重启）
赣公网安备 50019002502384号
