正文

gpt模型的token

发布时间：2023-05-25 00:06:15 稿源：创意岭阅读： 111

大家好！今天让创意岭的小编来大家介绍下关于gpt模型的token的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，有小程序、在线网页版、PC客户端和批量生成器

官网：https://ai.de1919.com。

本文目录:

向外突围，毫末开启商业化新故事
cpm2预训练token数量
当GPT遇到自动驾驶，毫末首发DriveGPT
gpt输出token怎么组织成句子

gpt模型的token

向外突围，毫末开启商业化新故事

终于拿到长城体系外订单

“我们还在等他们（毫末）的车交付之后，才能做技术上的对标。” 同为量产高阶智驾方案的某车企工程师这样评价毫末。

这一对标将在今年初见分销。

4月11日，在第八届AI DAY上，毫末发布了一个堪比BEV的新技术：自动驾驶生成式大模型DriveGPT——雪湖·海若。

2021年特斯拉用一个BEV架构模型搞定了自动驾驶的感知，而雪湖·海若Transformer则有望用一个模型解决自动驾驶的认知问题。

雪湖·海若将依次搭载在魏牌摩卡DHT-PHEV和蓝山上，首批落地在北京、保定、上海等城市，并于2024年开拓100个城市。

此外，毫末宣布与三家主机厂签订了定点合作协议，其中包括长城体系外的品牌。

新技术范式、百城大战，毫末的“野心”要如何实现？

一次解决所有问题

“（雪湖·海若）使我们在一个统一的生成式框架下，将规划、决策和推理等多个任务全部完成。”毫末智行CEO顾维灏在采访中表示：“（雪湖·海若）在更大数据的支持下，还是会让（自动驾驶系统的决策能力）有一个质的提升。这一新技术范式即使放眼全球也是非常独特和创新的。”

认知架构雪湖·海若和感知架构BEV一样，旨在通过一个大模型一次性解决问题。

在BEV之前，自动驾驶系统的感知是在各传感器端先进行感知，之后由多个小模型算法进行置信判断和融合之后，输出最终的感知结果。BEV则是一次性“吸收”所有传感器的原始数据，之后直接输出车辆周围360°的完整空间感知结果。

决策方面，目前业内主要包括预测、规划、控制几个环节：

基于感知结果，通过搜索等方法划定出可行使空间，再在其中根据自车和其它交通参与者可能的行动轨迹进行路线规划，最终决定出一条行驶路线，并将行驶路线分解为车辆动作命令传给执行器。

雪湖·海若则是基于感知结果，直接给出规划控制结果和理由：

一次性生成多个未来可能发生的全局场景，并且按照可能发生的概率排序；生成自车未来的轨迹信息；直接给出决策逻辑链。

例如在一个包含对向来车、左侧电动车、右侧过路行人的无保护左转的场景中：

传统方法是先对与自车最有可能交互的对向来车进行轨迹预测，基于预测结果判断自车应该的行驶轨迹。此轨迹如果涉及到电动车/行人等其它的交通参与者，则加入考虑后预测，再判断轨迹，如此往复。

但雪湖·海若是一次性看到路面的全局情况，基于预训练积累的“经验”，直接得出：对向来车已出线刹车概率低、电动车虽然未出线但惯于抢行、行人在路口通常谨慎行动变。如以安全为先，应当缓慢起步，让行电动车后，快速通过路口。

之所以出现这样不同的“思考”方式，在于传统方法和雪湖·海若在短期数据和长期知识上存在不同。

短期数据即当时当刻的路面情况。

由于目前决策大都使用参数有限的小模型，因此一次性能考虑的对象便相对有限。

雪湖·海若作为大模型，在云端参数高达1200亿个，由此在学习时能够做到全局思考。目前毫末未透露部署到车端时的参数规模。

长期知识则是交通规则和常识性的潜规则。

目前主流决策层算法仍以逻辑判断为主，对于“谁会如何”更多还是出自工程师经验。

雪湖·海若则是先在4000万量产车驾驶数据中进行学习，又用5万个经过筛选的人类接管数据做反馈训练，最终习得开车的知识和常识，能够更加类人的，根据当前交通情况推理出未来各类交通场景以及出现的概率。

对于神经网络作为黑盒，思考过程的不可解释化，毫末技术负责人艾锐向《赛博汽车》表示，通过添加限定规则，可以一定程度上解决这一问题。

在决策层引入GPT模型只是开始，未来毫末计划将雪湖·海若扩大为端到端的自动驾驶系统模型，即用一个大模型解决感知、认知的所有问题。

中国自动驾驶逻辑芯片企业地平线也持类似的观点。前不久，地平线作为第一作者发布了基于Transformer的自动驾驶端到端算法框架论文，首次将检测、跟踪、预测、箭头轨迹预测等多个模块用一个完整神经网络架构完整解决。

“让我们有可能像ChatGPT那样，用端到端的大规模的数据去训练整个的自动驾驶系统。”地平线创始人&CEO余凯在演讲中表示。

万事俱备，只待上车

一次解决所有问题，当然很棒，但却鲜少有玩家实践该技术。

在2022年的AI DAY和今年的投资者日上，特斯拉展示的预测算法仍是以蒙特卡洛树搜索为主。

小鹏汽车自动驾驶副总裁吴新宙则在4月明确表示，未来小鹏将在预测层面引入神经网络，但在规控层面，仍将以逻辑算法为主。“我对团队有一个明确的线，能用数学方法解决的问题，都先用数学的方法。”

事实上，即使想要应用，GPT也不是普通玩家玩得起的。

华为云人工智能领域首席科学家田奇在近日的演讲中表示，大模型开发和训练一次需要1200万美元。而且并不只是“钱”的事。

首先，雪湖·海若作为GPT（Generative Pre-trained Transformer）生成式预训练大模型，需要有大规模语料库来进行训练。

顾维灏在演讲中表示，雪湖·海若的一个关键设计是将场景Token（令牌，代表执行某些操作的权利对象）化表达：将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。如果输入一连串过去已经发生的场景Token序列，模型可生成未来所有可能的场景。目前毫末Token的词表空间是50万个左右。

大模型还需要超算中心来训练。

1月，毫末发布了670PFLOPS算力的超算中心——雪湖·绿洲。若按照一块19.5TFLOPS算力的英伟达A100计算，则绿洲或用了34.3万块英伟达A100。

绿洲还针对海若进行了针对性的升级改造。

一是建立全套训练保障框架，避免因个别服务器异常可能导致的训练中端；二是升级弹性调度资源的能力，使训练平台能够自适应每天回传数据不同的大小规模；三是吞吐效率的升级，通过算子融合端到端吞吐提升84%。

但就像ChatGPT和GPT4仍依赖于对话者不断调整问题问法，扩大数据库调用权限，才能表现得更加真实类人一样。

雪湖·海若要做到真正高速类人，在并行效率、算力需求、功耗等方面超过搜索等传统方法，甚至超过人类表现的前提，是源源不断的真实道路场景和人类反馈。

毫末的身份突围

2022年底，小鹏、华为、毫末三家抢跑城市领航功能落地。

从结果来看，小鹏、华为都已有了搭载城市领航功能的车队上路，毫末HPilot 3.0所搭载的新摩卡DHT-PHEV预计将于本月推出，而魏牌蓝山要到三季度才会推出激光雷达版。

与此同时，后来者也正逐步逼近，蔚来、理想等车企，和轻舟智航等智能驾驶供应商都已宣布了2024年落地高速、城市领航功能的计划。

之所以形成这样的局面，与毫末的身份不无关系。

毫末虽然出身长城，却无法像蔚小理的智驾团队一样，拥有自上而下的话语权，更多还是相对独立的供应商身份。

但背靠长城又使毫末的供应商身份不那么纯粹。对于出自ICT行业的华为，车企都尚且顾忌灵魂。出自同行的毫末作为供应商，自然也少不了被挑剔。

如何实现身份突围？

今年年初，毫末推出了包括全栈解决方案、云端服务、硬件、软件、模块、原型代码六个层面的6P开放合作模式。合作伙伴不仅可以获取毫末的功能产品，甚至可以获得原型代码这样的底层技术能力。

“您的灵魂您保留，我的灵魂您带走。” 毫末智行COO侯军表示：“（智能/自动驾驶）全栈自研是高成本、长周期的事情。毫末的6P开放模式帮助主机厂在不具备技术和时间的情况下参与竞争。

如果之后毫末的综合性价比能力赶不上合作伙伴进步的灵魂，我们被淘汰也是正常的。如果能赶上，我们愿意与合作伙伴长期携手同行。”

这样“白盒”开放的态度已经起到了效果，毫末已与三家主机厂签署定点合同，其中包括长城体系外的品牌。

在毫末的生态伙伴当中，除了高通这样的老朋友外，还多了英伟达、华为、地平线这样新朋友，未来合作方向值得玩味。

此外，毫末在2024年的百城计划也绝非说说而已。

目前，华为、小鹏的城市领航功能在核心区域仍需依靠高精地图。而毫末的方案则完全不采用高精地图，只用类似导航地图的标清地图，以感知信息的置信权重远高于地图信息，即所谓重感知轻地图方案。

要完全依靠感知信息做判断使毫末目前的城市领航功能更显保守，安全性要求远高于舒适和通行效率。

但由于完全不依赖高精地图，所以毫末HPilot 3.0的开城将不受地图资源限制，随着其感知能力打磨得愈发完善，开城速度也将愈发加速。

顾维灏在演讲中表示，毫末的视觉自监督大模型感知性能已提升20%。例如鱼眼摄像头在15米范围内的测量精度已达到30厘米，2米内精度可以高于10厘米。因此毫末正考虑取消超声波雷达，直接使用鱼眼镜头做泊车功能。

技术进步也正成为毫末作为供应商，持续降本的底气所在。毫末智行张凯表示：“未来（降本同效的策略）对我们和行业发展，都会有很好的推动作用。”

【本文来自易车号作者赛博汽车，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】

cpm2预训练token数量

CPM-2是一个基于GPT架构的中文预训练模型，由哈工大讯飞联合实验室开发。目前，CPM-2有两个版本：小模型和大模型。
其中，CPM-2小模型使用了10亿个token进行预训练；而CPM-2大模型则使用了1000亿个token进行预训练。这些token来自于多种来源，包括百度百科、新闻语料库、社交媒体等。
需要注意的是，随着数据量的增加和计算资源的提升，未来可能会出现更大规模的中文预训练模型。

gpt模型的token

当GPT遇到自动驾驶，毫末首发DriveGPT

GPT之于自动驾驶意味着什么？

文丨智驾网黄华丹

ChatGPT带火了AI，那么，当GPT遇到自动驾驶，又会发生怎样的化学反应？

GPT全称Generative Pre-trained Transformer，即生成式预训练Transformer。简单概括即是一种基于互联网可用数据训练的文本生成深度学习模型。

4月11日，在第八届毫末AI DAY上，毫末CEO顾维灏正式发布了基于GPT技术的DriveGPT，中文名雪湖·海若。

DriveGPT能做到什么？又是如何构建的？顾维灏在AI DAY上都做了详细解读。此外，AI DAY还展示了毫末自动驾驶数据体系MANA的升级情况，主要是其在视觉感知能力上的进展。

01.

什么是DriveGPT？能实现什么？

顾维灏首先讲解了GPT的原理，生成式预训练Transformer模型本质上是在求解下一个词出现的概率，每一次调用都是从概率分布中抽样并生成一个词，这样不断地循环，就能生成一连串的字符，用于各种下游任务。

以中文自然语言为例，单字或单词就是Token，中文的Token词表有5万个左右。把Token输入到模型，输出就是下一个字词的概率，这种概率分布体现的是语言中的知识和逻辑，大模型在输出下一个字词时就是根据语言知识和逻辑进行推理的结果，就像根据一部侦探小说的复杂线索来推理凶手是谁。

而作为适用于自动驾驶训练的大模型，DriveGPT雪湖·海若三个能力：

1.可以按概率生成很多个这样的场景序列，每个场景都是一个全局的场景，每个场景序列都是未来有可能发生的一种实际情况。

2.是在所有场景序列都产生的情况下，能把场景中最关注的自车行为轨迹给量化出来，也就是生成场景的同时，便会产生自车未来的轨迹信息。

3.有了这段轨迹之后，DriveGPT雪湖·海若还能在生成场景序列、轨迹的同时，输出整个决策逻辑链。

也就是说，利用DriveGPT雪湖·海若，在一个统一的生成式框架下，就能做到将规划、决策与推理等多个任务全部完成。

具体来看，DriveGPT雪湖·海若的设计是将场景Token化，毫末将其称为Drive Language。

Drive Language将驾驶空间进行离散化处理，每一个Token都表征场景的一小部分。目前毫末拥有50万个左右的Token词表空间。如果输入一连串过去已经发生的场景Token序列，模型就可以根据历史，生成未来所有可能的场景。

也就是说，DriveGPT雪湖·海若同样像是一部推理机器，告诉它过去发生了什么，它就能按概率推理出未来的多个可能。

一连串Token拼在一起就是一个完整的驾驶场景时间序列，包括了未来某个时刻整个交通环境的状态以及自车的状态。

有了Drive Language，就可以对DriveGPT进行训练了。

毫末对DriveGPT的训练过程首先是根据驾驶数据以及之前定义的驾驶尝试做一个大规模的预训练。

然后，通过在使用过程中接管或者不接管的场景，对预训练的结果进行打分和排序，训练反馈模型。也就是说利用正确的人类开法来替代错误的自动驾驶开法。

后续就是用强化学习的思路不断优化迭代模型。

在预训练模型上，毫末采用Decode-only结构的GPT模型，每一个Token用于描述某时刻的场景状态，包括障碍物的状态、自车状态、车道线情况等等。

目前，毫末的预训练模型拥有1200亿个参数，使用4000万量产车的驾驶数据，本身就能够对各种场景做生成式任务。

这些生成结果会按照人类偏好进行调优，在安全、高效、舒适等维度上做出取舍。同时，毫末会用部分经过筛选的人类接管数据，大概5万个Clips去做反馈模型的训练，不断优化预训练模型。

在输出决策逻辑链时，DriveGPT雪湖·海若利用了prompt提示语技术。输入端给到模型一个提示，告诉它“要去哪、慢一点还是快一点、并且让它一步步推理”，经过这种提示后，它就会朝着期望的方向去生成结果，并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大，最有逻辑的链条驾驶策略。

可以用一个形象的示例来解释DriveGPT雪湖·海若的推理能力。假设提示模型要“抵达某个目标点”，DriveGPT雪湖·海若会生成很多个可能的开法，有的激进，会连续变道超车，快速抵达目标点，有的稳重，跟车行驶到终点。这时如果提示语里没有其他额外指示，DriveGPT雪湖·海若就会按照反馈训练时的调优效果，最终给到一个更符合大部分人驾驶偏好的效果。

02.

实现DriveGPT毫末做了什么？

首先，DriveGPT雪湖·海若的训练和落地，离不开算力的支持。

今年1月，毫末就和火山引擎共同发布了其自建智算中心，毫末雪湖·绿洲MANA OASIS。OASIS的算力高达67亿亿次/秒，存储带宽2T/秒，通信带宽达到800G/秒。

当然，光有算力还不够，还需要训练和推理框架的支持。因此，毫末也做了以下三方面的升级。

一是训练稳定性的保障和升级。

大模型训练是一个十分艰巨的任务，随着数据规模、集群规模、训练时间的数量级增长，系统稳定性方面微小的问题也会被无限放大，如果不加处理，训练任务就会经常出错导致非正常中断，浪费前期投入的大量资源。

毫末在大模型训练框架的基础上，与火山引擎共同建立了全套训练保障框架，通过训练保障框架，毫末实现了异常任务分钟级捕获和恢复能力，可以保证千卡任务连续训练数月没有任何非正常中断，有效地保障了DriveGPT雪湖·海若大模型训练的稳定性。

二是弹性调度资源的升级。

毫末拥有量产车带来的海量真实数据，可自动化的利用回传数据不断的学习真实世界。由于每天不同时段回传的数据量差异巨大，需要训练平台具备弹性调度能力，自适应数据规模大小。

毫末将增量学习技术推广到大模型训练，构建了一个大模型持续学习系统，研发了任务级弹性伸缩调度器，分钟级调度资源，集群计算资源利用率达到95%。

三是吞吐效率的升级。

在训练效率上，毫末在Transformer的大矩阵计算上，通过对内外循环的数据拆分、尽量保持数据在SRAM中来提升计算的效率。在传统的训练框架中，算子流程很长，毫末通过引入火山引擎提供的Lego算之库实现算子融合，使端到端吞吐提升84%。

有了算力和这三方面的升级，毫末可对DriveGPT雪湖·海若进行更好的训练迭代升级。

03.

MANA大升级，摄像头代替超声波雷达

毫末在2021年12月的第四届AI DAY上发布自动驾驶数据智能体系MANA，经过一年多时间的应用迭代，现在MANA迎来了全面的升级。

据顾维灏介绍，本次升级主要包括：

1.感知和认知相关大模型能力统一整合到DriveGPT。

2.计算基础服务针对大模型训练在参数规模、稳定性和效率方面做了专项优化，并集成到OASIS当中。

3.增加了使用NeRF技术的数据合成服务，降低Corner Case数据的获取成本。

4.针对多种芯片和多种车型的快速交付难题，优化了异构部署工具和车型适配工具。

前文我们已经详细介绍了DriveGPT相关的内容，以下主要来看MANA在视觉感知上的进展。

顾维灏表示，视觉感知任务的核心目的都是恢复真实世界的动静态信息和纹理分布。因此毫末对视觉自监督大模型做了一次架构升级，将预测环境的三维结构，速度场和纹理分布融合到一个训练目标里面，使其能从容应对各种具体任务。目前毫末视觉自监督大模型的数据集超过400万Clips，感知性能提升20%。

在泊车场景下，毫末做到了用鱼眼相机纯视觉测距达到泊车要求，可做到在15米范围内达测量精度30cm，2米内精度高于10cm。用纯视觉代替超声波雷达，进一步降低整体方案的成本。

此外，在纯视觉三维重建方面，通过视觉自监督大模型技术，毫末不依赖激光雷达，就能将收集的大量量产回传视频转化为可用于BEV模型训练的带3D标注的真值数据。

通过对NeRF的升级，毫末表示可以做到重建误差小于10

【本文来自易车号作者智驾网，版权归作者所有,任何形式转载请联系作者。内容仅代表作者观点，与易车无关】

gpt输出token怎么组织成句子

GPT输出的tokens可以通过自然语言处理（NLP）技术来组织成句子，主要包括词序分析、句法分析、语义分析和句子组织。词序分析是把从GPT输出的tokens进行识别，确定它们是否构成一个有意义的句子。句法分析是把词序分析确定的词序按照一定的规则组织起来。语义分析是把句子中的词语所表达的意义和它们相互之间的关系进行描述。最后，句子组织是把上述的步骤融合在一起，形成一个完整的句子。

以上就是关于gpt模型的token相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。