- 向外突围,毫末开启商业化新故事
- DriveGPT雪湖·海若诞生,将重塑汽车智能化技术路线
- 毫末发布自动驾驶生成式大模型DriveGPT 中文名"雪湖·海若"
- HAOMO发布自动驾驶生成式大模型DriveGPT
GPT大模型将发布(gpt 模型)
大家好!今天让创意岭的小编来大家介绍下关于GPT大模型将发布的问题,以下是小编对此问题的归纳整理,让我们一起来看看吧。
开始之前先推荐一个非常厉害的Ai人工智能工具,一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词,就能返回你想要的内容,有小程序、在线网页版、PC客户端和批量生成器
本文目录:
向外突围,毫末开启商业化新故事
终于拿到长城体系外订单
“我们还在等他们(毫末)的车交付之后,才能做技术上的对标。” 同为量产高阶智驾方案的某车企工程师这样评价毫末。
这一对标将在今年初见分销。
4月11日,在第八届AI DAY上,毫末发布了一个堪比BEV的新技术:自动驾驶生成式大模型DriveGPT——雪湖·海若。
2021年特斯拉用一个BEV架构模型搞定了自动驾驶的感知,而雪湖·海若Transformer则有望用一个模型解决自动驾驶的认知问题。
雪湖·海若将依次搭载在魏牌摩卡DHT-PHEV和蓝山上,首批落地在北京、保定、上海等城市,并于2024年开拓100个城市。
此外,毫末宣布与三家主机厂签订了定点合作协议,其中包括长城体系外的品牌。
新技术范式、百城大战,毫末的“野心”要如何实现?
01
一次解决所有问题
“(雪湖·海若)使我们在一个统一的生成式框架下,将规划、决策和推理等多个任务全部完成。”毫末智行CEO顾维灏在采访中表示:“(雪湖·海若)在更大数据的支持下,还是会让(自动驾驶系统的决策能力)有一个质的提升。这一新技术范式即使放眼全球也是非常独特和创新的。”
认知架构雪湖·海若和感知架构BEV一样,旨在通过一个大模型一次性解决问题。
在BEV之前,自动驾驶系统的感知是在各传感器端先进行感知,之后由多个小模型算法进行置信判断和融合之后,输出最终的感知结果。BEV则是一次性“吸收”所有传感器的原始数据,之后直接输出车辆周围360°的完整空间感知结果。
决策方面,目前业内主要包括预测、规划、控制几个环节:
基于感知结果,通过搜索等方法划定出可行使空间,再在其中根据自车和其它交通参与者可能的行动轨迹进行路线规划,最终决定出一条行驶路线,并将行驶路线分解为车辆动作命令传给执行器。
雪湖·海若则是基于感知结果,直接给出规划控制结果和理由:
一次性生成多个未来可能发生的全局场景,并且按照可能发生的概率排序;生成自车未来的轨迹信息;直接给出决策逻辑链。
例如在一个包含对向来车、左侧电动车、右侧过路行人的无保护左转的场景中:
传统方法是先对与自车最有可能交互的对向来车进行轨迹预测,基于预测结果判断自车应该的行驶轨迹。此轨迹如果涉及到电动车/行人等其它的交通参与者,则加入考虑后预测,再判断轨迹,如此往复。
但雪湖·海若是一次性看到路面的全局情况,基于预训练积累的“经验”,直接得出:对向来车已出线刹车概率低、电动车虽然未出线但惯于抢行、行人在路口通常谨慎行动变。如以安全为先,应当缓慢起步,让行电动车后,快速通过路口。
之所以出现这样不同的“思考”方式,在于传统方法和雪湖·海若在短期数据和长期知识上存在不同。
短期数据即当时当刻的路面情况。
由于目前决策大都使用参数有限的小模型,因此一次性能考虑的对象便相对有限。
雪湖·海若作为大模型,在云端参数高达1200亿个,由此在学习时能够做到全局思考。目前毫末未透露部署到车端时的参数规模。
长期知识则是交通规则和常识性的潜规则。
目前主流决策层算法仍以逻辑判断为主,对于“谁会如何”更多还是出自工程师经验。
雪湖·海若则是先在4000万量产车驾驶数据中进行学习,又用5万个经过筛选的人类接管数据做反馈训练,最终习得开车的知识和常识,能够更加类人的,根据当前交通情况推理出未来各类交通场景以及出现的概率。
对于神经网络作为黑盒,思考过程的不可解释化,毫末技术负责人艾锐向《赛博汽车》表示,通过添加限定规则,可以一定程度上解决这一问题。
在决策层引入GPT模型只是开始,未来毫末计划将雪湖·海若扩大为端到端的自动驾驶系统模型,即用一个大模型解决感知、认知的所有问题。
中国自动驾驶逻辑芯片企业地平线也持类似的观点。前不久,地平线作为第一作者发布了基于Transformer的自动驾驶端到端算法框架论文,首次将检测、跟踪、预测、箭头轨迹预测等多个模块用一个完整神经网络架构完整解决。
“让我们有可能像ChatGPT那样,用端到端的大规模的数据去训练整个的自动驾驶系统。”地平线创始人&CEO余凯在演讲中表示。
02
万事俱备,只待上车
一次解决所有问题,当然很棒,但却鲜少有玩家实践该技术。
在2022年的AI DAY和今年的投资者日上,特斯拉展示的预测算法仍是以蒙特卡洛树搜索为主。
小鹏汽车自动驾驶副总裁吴新宙则在4月明确表示,未来小鹏将在预测层面引入神经网络,但在规控层面,仍将以逻辑算法为主。“我对团队有一个明确的线,能用数学方法解决的问题,都先用数学的方法。”
事实上,即使想要应用,GPT也不是普通玩家玩得起的。
华为云人工智能领域首席科学家田奇在近日的演讲中表示,大模型开发和训练一次需要1200万美元。而且并不只是“钱”的事。
首先,雪湖·海若作为GPT(Generative Pre-trained Transformer)生成式预训练大模型,需要有大规模语料库来进行训练。
顾维灏在演讲中表示,雪湖·海若的一个关键设计是将场景Token(令牌,代表执行某些操作的权利对象)化表达:将驾驶空间进行离散化处理,每一个Token都表征场景的一小部分。如果输入一连串过去已经发生的场景Token序列,模型可生成未来所有可能的场景。目前毫末Token的词表空间是50万个左右。
大模型还需要超算中心来训练。
1月,毫末发布了670PFLOPS算力的超算中心——雪湖·绿洲。若按照一块19.5TFLOPS算力的英伟达A100计算,则绿洲或用了34.3万块英伟达A100。
绿洲还针对海若进行了针对性的升级改造。
一是建立全套训练保障框架,避免因个别服务器异常可能导致的训练中端;二是升级弹性调度资源的能力,使训练平台能够自适应每天回传数据不同的大小规模;三是吞吐效率的升级,通过算子融合端到端吞吐提升84%。
但就像ChatGPT和GPT4仍依赖于对话者不断调整问题问法,扩大数据库调用权限,才能表现得更加真实类人一样。
雪湖·海若要做到真正高速类人,在并行效率、算力需求、功耗等方面超过搜索等传统方法,甚至超过人类表现的前提,是源源不断的真实道路场景和人类反馈。
03
毫末的身份突围
2022年底,小鹏、华为、毫末三家抢跑城市领航功能落地。
从结果来看,小鹏、华为都已有了搭载城市领航功能的车队上路,毫末HPilot 3.0所搭载的新摩卡DHT-PHEV预计将于本月推出,而魏牌蓝山要到三季度才会推出激光雷达版。
与此同时,后来者也正逐步逼近,蔚来、理想等车企,和轻舟智航等智能驾驶供应商都已宣布了2024年落地高速、城市领航功能的计划。
之所以形成这样的局面,与毫末的身份不无关系。
毫末虽然出身长城,却无法像蔚小理的智驾团队一样,拥有自上而下的话语权,更多还是相对独立的供应商身份。
但背靠长城又使毫末的供应商身份不那么纯粹。对于出自ICT行业的华为,车企都尚且顾忌灵魂。出自同行的毫末作为供应商,自然也少不了被挑剔。
如何实现身份突围?
今年年初,毫末推出了包括全栈解决方案、云端服务、硬件、软件、模块、原型代码六个层面的6P开放合作模式。合作伙伴不仅可以获取毫末的功能产品,甚至可以获得原型代码这样的底层技术能力。
“您的灵魂您保留,我的灵魂您带走。” 毫末智行COO侯军表示:“(智能/自动驾驶)全栈自研是高成本、长周期的事情。毫末的6P开放模式帮助主机厂在不具备技术和时间的情况下参与竞争。
如果之后毫末的综合性价比能力赶不上合作伙伴进步的灵魂,我们被淘汰也是正常的。如果能赶上,我们愿意与合作伙伴长期携手同行。”
这样“白盒”开放的态度已经起到了效果,毫末已与三家主机厂签署定点合同,其中包括长城体系外的品牌。
在毫末的生态伙伴当中,除了高通这样的老朋友外,还多了英伟达、华为、地平线这样新朋友,未来合作方向值得玩味。
此外,毫末在2024年的百城计划也绝非说说而已。
目前,华为、小鹏的城市领航功能在核心区域仍需依靠高精地图。而毫末的方案则完全不采用高精地图,只用类似导航地图的标清地图,以感知信息的置信权重远高于地图信息,即所谓重感知轻地图方案。
要完全依靠感知信息做判断使毫末目前的城市领航功能更显保守,安全性要求远高于舒适和通行效率。
但由于完全不依赖高精地图,所以毫末HPilot 3.0的开城将不受地图资源限制,随着其感知能力打磨得愈发完善,开城速度也将愈发加速。
顾维灏在演讲中表示,毫末的视觉自监督大模型感知性能已提升20%。例如鱼眼摄像头在15米范围内的测量精度已达到30厘米,2米内精度可以高于10厘米。因此毫末正考虑取消超声波雷达,直接使用鱼眼镜头做泊车功能。
技术进步也正成为毫末作为供应商,持续降本的底气所在。毫末智行张凯表示:“未来(降本同效的策略)对我们和行业发展,都会有很好的推动作用。”
【本文来自易车号作者赛博汽车,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】
DriveGPT雪湖·海若诞生,将重塑汽车智能化技术路线
和 ChatGPT 在 AIGC(AI- Generated Content,人工智能生成内容)领域一样具备颠覆性的事情正在发生。
4 月 11 日,自动驾驶技术公司毫末智行在其第八届 HAOMO AI DAY 上,重磅发布行业首个自动驾驶生成式大模型 DriveGPT,中文名「雪湖·海若」,该模型参数规模达到 1200 亿,可用于解决自动驾驶研发过程中困扰已久的认知决策问题,并通过能力迭代,最终实现端到端自动驾驶。
此前,受制于传统模型「数据量小、基于规则」等局限性,智能驾驶技术进展一度较为缓慢,甚至不少从业者都对未来产生了自我怀疑,在这样的背景下,两年前,毫末率先投入到大模型技术的研发之中,旨在寻找新的突破。
经历了先行探索和反复验证,毫末成功找到了突破口——生成式大模型,通过在行业首个将 GPT 落地到自动驾驶领域,大大加速了更高阶智能驾驶的落地应用。
「生成式大模型将成为自动驾驶系统进化的关键,基于 Transformer 大模型训练的感知、认知算法会逐步在车端进行落地部署。」毫末董事长张凯在 HAOMO AI DAY 上对行业未来发展趋势作出论断。
毫末 CEO 顾维灏也表示:「DriveGPT 雪湖·海若将会重塑汽车智能化技术路线,让辅助驾驶进化更快,让自动驾驶更早到来。」
顾维灏在自动驾驶技术领域的眼光独到,布局非常领先。
事实上,毫末在 2021 年就已经开始了 Transformer 大模型技术的探索,并快速落地应用到 BEV 视觉感知算法当中,然后又以五大模型的方式来实现自动驾驶感知、认知算法的快速升级,现在这些大模型将统一到 DriveGPT 生成式大模型当中,目标将实现端到端自动驾驶。
毫末的探索始终走在行业技术探索的前列。
据了解,新摩卡 DHT-PHEV 即将首发搭载 DriveGPT 雪湖·海若量产上市,届时,用户市场还将迎来一轮新的震撼。
「毫末真正重塑了行业信心,」一位业内人士略微激动地说道,「这将是一场革命。」
01、DriveGPT 雪湖·海若,如何颠覆智能驾驶
在介绍 DriveGPT 雪湖·海若之前,先回顾一下 ChatGPT 的概念,其全称是 Chat Generative Pre-trained Transformer,字面意思是用于聊天的生成式预训练 Transformer 大模型。
其中 Transformer 是 ChatGPT 的重点,最早由谷歌在 2017 年提出,该模型基于注意力机制的设计,可以实现出色的算法并行性,因而迅速在自然语言处理(NLP) 领域流行起来,ChatGPT 就是其最新成果。
Transformer 大模型对于智能驾驶来说也不陌生,在 NLP 中奠定了核心地位之后,被逐渐被引入计算机视觉(CV)领域,后又被特斯拉、毫末智行等行业龙头先行引入自动驾驶系统中,用于提升感知端的模型效果。
如今,毫末在 Transformer 大模型的应用上更进一步,将其率先拓展到智能驾驶系统认知端,DriveGPT 雪湖·海若由此诞生。
从同样使用 Transformer 大模型的角度来说,ChatGPT 和 DriveGPT 雪湖·海若属于同宗同源。
其中,ChatGPT 是对话式的生成式自然语言模型,输入是自然语言的文本串,输出是自然语言的文本,可以完成通用的下游语言生成任务,比如多轮对话、代码生成、翻译、数学 运算等能力。
而毫末 DriveGPT 雪湖·海若是用于自动驾驶场景的生成式大模型,输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景 Token 化,形成「Drive Language」,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
DriveGPT 雪湖·海若首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管 Clips 数据完成反馈模型 (Reward Model) 的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。
具体来说,DriveGPT 雪湖·海若会通过人类反馈强化学习的方式进行迭代,用 DriveGPT 雪湖·海若最新模型 (Active Model) 对真实场景 Case 做生成,产出多种场景序列结果,再用反馈模型给这些结果进行打分排序,目标是把好的结果排上来,差的结果排下去,然后与初始模型 (Pretrain-Model) 的生成概率做比较,放大比分。最后通过强化学习的方式将参数再次更新到最新模型 (Active Model) 中,一直反复这个迭代过程。
其中,Reward Model(反馈模型) 的训练过程是独立的,使用带有偏序关系的 Pair 样本对来训练,这些样本对来自于接管 Case,毫末将与人类驾驶结果相似的模型结果作为正样本,与被接管轨迹相似的作为负样本,这样来构建偏序对集合,再利用 LTR(Learning To Rank) 的思路去训练 Reward Model,进而得到一个打分模型。
此外,DriveGPT 雪湖·海若还可以输出决策逻辑链:即在输入端提供 Prompts(提示语),根据提示输出含有决策逻辑链 (Chain of Thought) 的未来序列。
毫末 CSS 自动驾驶场景库是 CoT 的重要输入,拥有超过几十万个细颗粒度场景,将 Prompt 提示语和完整决策过程的样本交给模型去学习,学到推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。
除了用作认知决策,DriveGPT 雪湖·海若还可以逐步应用到城市 NOH、捷径推荐、智能陪练以及脱困场景中。
有了 DriveGPT 雪湖·海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。
对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。
尽管 DriveGPT 雪湖·海若刚出世就拥有强大的功能,但这还不是它的「终局」,毫末对于 DriveGPT 雪湖·海若的目标是实现端到端自动驾驶,后续毫末会持续将多个大模型的能力整合到 DriveGPT 雪湖·海若中。
与此同时,毫末也对外构建 DriveGPT 雪湖·海若生态,通过对行业提供开放服务,促进自动驾驶的从业者和研究机构,快速构建基础能力,释放创新。
汽车之心获知,毫末 DriveGPT 雪湖·海若首批定向邀请了北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等加入。
事实上,毫末对于大模型的开放从 DriveGPT 雪湖·海若的中文名「雪湖·海若」即可窥见。
据了解,「海若」一词出自《庄子·秋水》中的神话人物北海若,在该书中,另一神话人物河伯请教北海若,何谓大小之分,北海若教导河伯说,不因天地而觉大,不因毫末而觉小。
毫末据此把 DriveGPT 中文名命名为「海若」,寓意着智慧包容、海纳百川,为行业发展贡献力量。
02、自动驾驶生成式大模型「第一枪」,为何由毫末打响
自动驾驶领域顶级玩家众多,毫末凭何在全球首个推出了自动驾驶生成式大模型 DriveGPT 雪湖·海若?
要回答这个问题,首先要理清楚毫末 DriveGPT 雪湖·海若的本质,它是应用在智能驾驶上的人工智能,就必然离不开人工智能三要素:算法、数据和算力,而这三者恰恰是毫末具备领先性优势的地方。
首先在算法的技术路线上,毫末早早就坚定选择走渐进式发展路线,比「跃进式」玩家的量产时间更早,更快形成规模化,从用户真实使用场景中积累足够多的数据。
毫末还清晰地提出了从自动驾驶 1.0 时代到自动驾驶 3.0 时代的演进路径,并率先进入以数据驱动为核心的新时代。
从这时开始,自动驾驶获取的数据量与数据多样性将呈现指数级膨胀,在深度学习主导中,与大模型相辅相成,真正去解决自动驾驶最后的长尾难题。
在 2021 年 12 月第四届 HAOMO AI DAY 上,毫末发布中国首个数据智能体系 MANA,其由四大板块组成,分别是 TARS、LUCAS、VENUS 和 BASE。
其中,BASE 是整个系统架构的底层,包括数据底座、数据融合、PoseidonOS 等。
其他三大板块置于上层:
- TARS 代表毫末智行的开发的原型算法,包括感知、规划决策、地图定位、仿真引擎;LUCAS 是提取数据价值,以数据驱动系统能力持续迭代的核心子系统,解决场景泛化,评测和部署的问题;VENUS 则是数据看板,以参考标准评价算法的好坏。
<span style
【本文来自易车号作者汽车之心,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】
毫末发布自动驾驶生成式大模型DriveGPT 中文名"雪湖·海若"
易车讯 日前,我们从官方渠道获悉,在第八届HAOMO AI DAY上,毫末智行发布自动驾驶生成式大模型DriveGPT,中文名"雪湖·海若"。生态方面,毫末官宣取得3个主机厂定点合同,商业化迎来跃升一步;同时毫末推出的中国首个重感知、不依赖高精地图的城市NOH即将量产上车,最先落地北京、上海、保定等城市。
毫末打造的自动驾驶生成式大模型DriveGPT雪湖·海若通过引入驾驶数据建立RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化,现阶段主要用于解决自动驾驶的认知决策问题,终极目标是实现端到端自动驾驶。
毫末DriveGPT雪湖·海若已开启对限量首批生态伙伴的开放合作,北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等高校与企业加入。
产品方面,毫末中国首款可大规模量产落地、重感知城市NOH,将首批落地北京、保定、上海等城市,并开启泛化测试,到2024年有序落地100城。首款搭载HPilot3.0的新摩卡DHT-PHEV即将重磅上市,这也是毫末DriveGPT雪湖·海若的首发落地车型,全面确保毫末城市NOH的行业领先性。
生态层面,毫末乘用车6P开放合作取得重大突破,已与3家主机厂签署定点合同,相关项目正在交付中。这是毫末商业化的重要一跃,全面保障了毫末高速发展态势。
毫末智行董事长张凯判断:“2023年智驾产品进入全线爆发期,大模型开启在车端的落地应用,车主的使用频率和满意度成为产品竞争力的重要衡量标准。毫末不断进步的数据驱动的六大闭环能力将进一步加速毫末进入自动驾驶3.0时代的步伐并形成相应的护城河。”
张凯认为,智驾产品正在进入快速增长的全线爆发期,2023年是非常关键的一年。首先,城市导航辅助驾驶产品在2023年将围绕量产上车发力,主要玩家的城市导航辅助驾驶产品进入到真实用户覆盖和多城市落地的比拼。其次,行泊一体和末端物流自动配送产业商业化将成为自动驾驶公司深耕的重点。在乘用车领域,搭载行泊一体功能的智驾产品将迎来前装量产潮;在末端物流自动配送领域,末端物流自动配送车在商超、快递等场景迎来爆发,2023年将在这些场景实现可持续商业化闭环。
首款搭载HPilot3.0的新摩卡DHT-PHEV即将重磅上市,第二款搭载毫末HPilot3.0的车型魏牌蓝山也将在今年发布。毫末HPilot整体已搭载近20款车型。用户辅助驾驶行驶里程突破4000万公里,HPilot2.0辅助驾驶日均行驶里程使用率达到了12.6%。海外布局方面,搭载毫末HPilot的车辆已运往欧盟、以色列等地区和国家,陆续交付到用户手中,接下来将在中东、南非、澳大利亚等市场陆续投放;同时,毫末HPilot即将量产墨西哥版本及俄罗斯版本。
3月,高工智能汽车研究院在每个年度基于前装量产数据库及定点车型库数据进行综合评估,通过对毫末前装近20款车辆等数据研究,为毫末颁发年度高阶智能驾驶系统量产份额领军奖。第三方数据佐证毫末是中国量产自动驾驶绝对领军者。
其次是“MANA大模型巅峰之战”,中国首个自动驾驶数据智能体系MANA架构已迎来全线升级。到2023年4月,MANA学习时长超56万小时,相当于人类司机6.8万年。毫末DriveGPT雪湖·海若,已经完成基于4000万公里驾驶数据的训练,参数规模达1200亿。
第三是“城市NOH百城大战”,中国首款可大规模量产落地、重感知城市NOH,已在北京、保定、上海等城市开启泛化测试,即将量产上车,到2024年有序落地100城。毫末会以“安全为先、用户为先、规模为先”的原则,加速赢得城市NOH百城大战。
最后是“末端物流自动配送商业之战”,毫末末端物流自动配送车小魔驼已在商超履约、智慧社区、校园配送、餐饮零售、机场巡逻、高校教育、快递接驳、智慧园区、大气环评等九大场景开启运营,加速商业化闭环能力。2023年3月,小魔驼2.0获北京亦庄无人配送车车辆编码,开启亦庄运营。毫末也成为《北京智能网联汽车政策先行区无人配送测试规范》升级后,准许在北京市高级别自动驾驶示范区公开道路进行无人配送车测试的首个公司。
“技术领先是生存根本,毫末鼓励所有技术研发同学投入到技术创新当中。”张凯在演讲中再次强调了毫末对于技术研发投入的坚定决心。截至目前,毫末已获得专利证书164件,国际顶级学术会议论文收录6篇,最新2篇更是分别入选计算机视觉识别领域三大顶会之一的CVPR和全球首个智能车专业期刊IEEE TIV。毫末已将所有论文在GitHub开源,与业内共享。
现场,张凯还向外界公布了毫末6P开放合作的重要进展,目前已与3家主机厂签署定点合同,相关项目正在交付中。“毫末始终认为,自动驾驶是一个共同进退、共享成果的前沿产业。只有健康的生态伙伴才能支持毫末高速发展。”张凯表示。
此外,毫末一直坚持场景化用户体验设计、人工智能技术、技术工程化能力均衡发展,不断以数据驱动闭环的方式完善用户体验。张凯介绍,三个月时间,毫末在数据驱动六大闭环体系上实现多重进展。
用户需求闭环方面,毫末对驾驶场景数据持续分析完善策略,并进行新功能体验反馈;研发效能闭环方面,毫末将数据驱动理念深入到产品需求定义、感知与认知算法开发等产品开发流程,整体开发效率提升30%;数据积累闭环方面,毫末在车端部署诊断服务数据场景标签覆盖92%的驾驶场景。
数据价值闭环方面,毫末大模型正在持续挖掘数据价值解决关键问题;产品自完善闭环方面,毫末实现售后问题处理速度较传统方式的十倍效率提升,实现最快10分钟定位售后问题。两年时间有效挖掘产品提升点,问题闭环率达76%;业务工程化闭环方面,毫末进一步完善了从采集回流、标注训练、系统标定、仿真验证等环节到最终OTA释放环节的产品研发全流程工程化闭环。
毫末DriveGPT雪湖·海若通过引入驾驶数据建立RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化。它的最终目标是实现端到端自动驾驶,现阶段主要用于解决自动驾驶的认知决策问题,后续持续会将毫末多个大模型的能力整合到DriveGPT。目前,毫末DriveGPT雪湖·海若实现了模型架构与参数规模的升级,参数规模达到1200亿,预训练阶段引入4000万公里量产车驾驶数据,RLHF阶段引入 5万段人工精选的困难场景接管Clips。
DriveGPT雪湖·海若的底层模型采用GPT(Generative Pre-trained Transformer)生成式预训练大模型,与ChatGPT使用自然语言进行输入与输出不同,DriveGPT输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景Token化,形成“Drive Language”,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
DriveGPT雪湖·海若的实现过程是,首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管Clips数据完成反馈模型(Reward Model)的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。同时,DriveGPT雪湖·海若还会根据输入端的提示语以及毫末CSS自动驾驶场景库的决策样本去训练模型,让模型学习推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。
现场,毫末宣布DriveGPT雪湖·海若首发车型是新摩卡DHT-PHEV,即将量产上市。顾维灏提到,DriveGPT雪湖·海若可以逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。有了DriveGPT雪湖·海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。
毫末DriveGPT雪湖·海若将携手生态伙伴率先探索四大应用能力,包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。当前,毫末在使用数据过程中,逐步建立起一套基于4D Clips驾驶场景识别方案,具备极高性价比。在行业上,给出正确的标注结果,一张图片需要约5元;如果使用DriveGPT雪湖·海若的场景识别服务,一张图片的价格将下降到0.5元。单帧图片整体标注成本仅相当于行业的1/10。接下来,毫末会将图像帧及4D Clips场景识别服务逐步向行业开放使用,这将大幅降低行业使用数据的成本,提高数据质量,从而加速自动驾驶技术的快速发展。
顾维灏介绍,毫末在2023年1月发布的中国自动驾驶行业最大的智算中心MANA OASIS(雪湖· 绿洲)此次从算力优化等层面升级了三大能力,进一步支持DriveGPT雪湖·海若的算力。首先,毫末与火山引擎全新搭建了“全套大模型训练保障框架”,实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性;其次,毫末研发出以真实数据回传为核心的增量学习技术,并将其推广到了大模型训练,构建了一个大模型持续学习系统,自主研发任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到95%;最后,MANA OASIS通过提升数据吞吐量来降本增效,满足Transformer大模型训练效率,通过引入火山引擎提供的Lego算子库实现算子融合,端到端吞吐提升84%。
毫末打造的中国首个自动驾驶数据智能体系MANA,在经过一年多的应用迭代后,本次AI DAY也迎来了全面的升级,正式开放赋能。顾维灏介绍,MANA计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化,并集成到OASIS中;其次,MANA感知和认知相关大模型能力统一整合到DriveGPT雪湖·海若中;第三,增加了使用NeRF技术的数据合成服务,降低Corner Case数据的获取成本;同时针对多种芯片和多种车型的快速交付难题优化了异构部署工具和车型适配工具。
此外,MANA的视觉感知能力持续提升,一方面可同时学习三维空间结构和图片纹理,并将纯视觉测距精度超过了超声波雷达,BEV方案也拥有了更强的通用性和适配性;另一方面可实现单趟和多趟纯视觉NeRF三维重建,道路场景更逼真,肉眼几乎看不出差异。通过NeRF进行场景重建后,可以编辑合成真实环境难以收集到的Corner Case。在原有的全局视角修改、添加光照/天气效果的基础上,新增合成虚拟动态物体的能力,可以在原有设定的运动轨迹上,合成各种Hard Case,模拟城市复杂交通环境,用更低成本测试提升城市NOH能力边界,更好提升应对城市复杂交通环境。
值得一提的是,面对目前行业里最难的视觉任务之一——单目视觉测量,继特斯拉后,毫末也在中国率先开始验证能否使用鱼眼相机代替超声波雷达进行测距,以满足泊车要求。毫末把视觉BEV感知框架引入到了车端鱼眼相机,做到了在15米范围内达到30cm的测量精度,2米内精度高于10cm的视觉精度效果。泊车场景使用纯视觉测距来取代超声波雷达,将进一步降低整体智驾成本。
易车超级评测体系重磅上线!专业、硬核、全面的汽车评测内容云集,易车年度车型榜单新鲜出炉!上易车App搜索“超级评测”,等你来看!
HAOMO发布自动驾驶生成式大模型DriveGPT
【TechWeb汽车】4月12日消息,在HAOMO AI DAY上,HAOMO发布业内首个自动驾驶生成式大模型DriveGPT,中文名“雪湖•海若”,毫末智行CEO顾维灏表示,DriveGPT将重塑汽车智能化技术路线。据介绍,DriveGPT雪湖•海若首发车型是新摩卡DHT-PHEV,即将量产上市。
毫末智行董事长张凯表示:“2023年智驾产品进入全线爆发期,大模型开启在车端的落地应用,车主的使用频率和满意度成为产品竞争力的重要衡量标准。”
顾维灏介绍,DriveGPT通过引入驾驶数据建立RLHF(人类反馈强化学习)技术,对自动驾驶认知决策模型进行持续优化,现阶段主要用于解决自动驾驶的认知决策问题,终极目标是实现端到端自动驾驶。
目前,毫末DriveGPT雪湖•海若实现了模型架构与参数规模的升级,参数规模达到1200亿,预训练阶段引入4000万公里量产车驾驶数据,RLHF阶段引入 5万段人工精选的困难场景接管Clips。
DriveGPT雪湖•海若的底层模型采用GPT(Generative Pre-trained Transformer)生成式预训练大模型,与ChatGPT使用自然语言进行输入与输出不同,DriveGPT输入是感知融合后的文本序列,输出是自动驾驶场景文本序列,即将自动驾驶场景Token化,形成“Drive Language”,最终完成自车的决策规控、障碍物预测以及决策逻辑链的输出等任务。
顾维灏进一步阐释,DriveGPT雪湖•海若具有三个能力:
1. DriveGPT雪湖•海若可以按概率生成很多个场景序列,每个场景都是一个全局的场景,每个场景序列都是未来有可能发生的一种实际情况;
2.在所有场景序列都产生的情况下,DriveGPT雪湖•海若能把场景中最受关注的自车行为轨迹量化出来,也就是生成场景的同时,会产生自车未来的轨迹信息;
3. 有了自车未来的轨迹信息之后,希望这条轨迹是可解释的,而GPT模型最擅长的领域便是对话和推理,DriveGPT雪湖•海若也很好地继承了这种特性,在生成场景序列、轨迹的同时,也会把整个决策逻辑链给输出。
顾维灏介绍,毫末在2023年1月发布的中国自动驾驶行业最大的智算中心MANA OASIS(雪湖• 绿洲)此次从算力优化等层面升级了三大能力,进一步支持DriveGPT雪湖•海若的算力。
首先,毫末与火山引擎全新搭建了“全套大模型训练保障框架”,实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数个月没有任何非正常中断,有效保证了大模型训练稳定性;
其次,毫末研发出以真实数据回传为核心的增量学习技术,并将其推广到了大模型训练,构建了一个大模型持续学习系统,自主研发任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到95%;
最后,MANA OASIS通过提升数据吞吐量来降本增效,满足Transformer大模型训练效率,通过引入火山引擎提供的Lego算子库实现算子融合,端到端吞吐提升84%。
谈到DriveGPT雪湖•海若的实现过程,顾维灏介绍称,首先在预训练阶段通过引入量产驾驶数据,训练初始模型,再通过引入驾驶接管Clips数据完成反馈模型(Reward Model)的训练,然后再通过强化学习的方式,使用反馈模型去不断优化迭代初始模型,形成对自动驾驶认知决策模型的持续优化。
DriveGPT雪湖•海若的一个关键设计,就是场景的Token化表达,顾维灏把这种方式叫做Drive Language。
同时,DriveGPT雪湖•海若还会根据Drive Language输入端的提示语以及毫末CSS自动驾驶场景库的决策样本去训练模型,让模型学习推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。
另外,顾维灏提到,DriveGPT雪湖•海若可以逐步应用到城市NOH、捷径推荐、智能陪练以及脱困场景中。有了DriveGPT雪湖•海若的加持,车辆行驶会更安全;动作更人性、更丝滑,并有合理的逻辑告诉驾驶者,车辆为何选择这样的决策动作。对于普通用户来说,车辆越来越像老司机,用户对智能产品的信任感会更强,理解到车辆的行为都是可预期、可理解的。
当前,毫末在使用数据过程中,逐步建立起一套基于4D Clips驾驶场景识别方案,具备极高性价比。在行业上,给出正确的标注结果,一张图片需要约5元;如果使用DriveGPT雪湖•海若的场景识别服务,一张图片的价格将下降到0.5元。单帧图片整体标注成本仅相当于行业的1/10。接下来,毫末会将图像帧及4D Clips场景识别服务逐步向行业开放使用,这将大幅降低行业使用数据的成本,提高数据质量,从而加速自动驾驶技术的快速发展。
目前,毫末DriveGPT雪湖•海若已正式对外开放,开启对限量首批客户的合作,北京交通大学计算机与信息技术学院、高通、火山引擎、华为云、京东科技、四维图新、魏牌新能源、英特尔等已经加入。毫末DriveGPT雪湖•海若大模型的成果将首发落地在搭载毫末HPilot3.0的新摩卡DHT-PHEV上。
顾维灏表示,毫末DriveGPT雪湖•海若将携手生态伙伴率先探索四大应用能力,包括智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困。
【本文来自易车号作者TechWeb,版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点,与易车无关】
以上就是关于GPT大模型将发布相关问题的回答。希望能帮到你,如有更多相关问题,您也可以联系我们的客服进行咨询,客服也会为您讲解更多精彩的知识和内容。
推荐阅读:
万源品牌VI全案设计公司哪家好(万源品牌vi全案设计公司哪家好)