gpt2训练写小说

大家好！今天让创意岭的小编来大家介绍下关于gpt2训练写小说的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com

本文目录:

• 1、GPT 原理解析

• 2、检测中文是否由chatgpt生成

• 3、《预训练周刊》第33期：预训练语言模型的高效分层域适应

• 4、bigquant怎么调用gpt

一、GPT 原理解析

GPT（Generative Pre-Training）是一个典型的两阶段式模型：无监督预训练+监督下游任务微调。而在 NLP 任务中，上游的无监督预训练任务多半采用语言模型来实现，下游的监督任务直接对上游的模型进行简单改造即可使用。

GPT 为了能够有效的抓取文本中的语义信息，使用了单向的 Transformer Decoder 模块构建标准的语言模型，再使用预训练得到的网络架构与参数进行下游监督任务的微调，取得了不错的效果。

论文： Improving Language Understanding by Generative Pre-Training

对于语料 ，GPT 构建标准的语言模型：

文章中使用 Transformer Decoder 模块加上前馈神经网络，最后使用 softmax 输出目标词的分布：

对于通过第一阶段的预训练得到的语言模型，对于特定的任务进行 fine-tuning。

对于一个监督数据集 ，其中的数据为一个序列 和一个标签 。将序列输入预训练模型后得到输出向量为 ，接着使用一个线性层来预测标签：

需极大化的似然函数为：

另外，作者发现，使用语言模型来辅助监督学习的任务进行微调，有两个好处：

所以，最终下游使用的监督模型目标函数为：

GPT 使用两阶段式模型的另外一个好处是，作者期望通过第一阶段的预训练语言模型，学习到尽可能多的自然语言信息，且对于大多数下游任务，只需要简单的修改输入而不需要修改模型架构即可完成微调。对于 NLP 中的几种主流任务，GPT 分别做了如下的变换策略：

模型还包括一些细节：

论文： Language Models are Unsupervised Multitask Learners

GPT-2 是 GPT 的直接升级版，效果惊人。相比之下，GPT-2 有如下几点改进：

二、检测中文是否由chatgpt生成

从大学教授，到Stack Overflow，可谓是苦ChatGPT久矣。现在，无论是老师看到学生提交的论文，还是码农看到网上的代码，都不敢确定作者是人还是AI。

OpenAI发布ChatGPT检测器

它是一个经过微调的GPT模型，可以推断一段文本由AI产生的可能性。

有趣的是，ChatGPT也是基于GPT模型，用这个分类器检测ChatGPT，堪称左右互搏。

在训练上，这个模型采用的是同一主题下的人类手写和AI生成的文本对。

用到的素材来自于维基百科数据集、2019年收集的WebText数据集，以及在训练InstructGPT时收集的一组人类演示。

体验地址：https://platform.openai.com/ai-text-classifier

但是吧，这个正确率着实不高……

在评估「挑战集」中的英语文本时，分类器只将26%的AI生成文本正确地归类为「可能是AI写的」（真阳性）。

此外，它还通过了美国医学执照考试、沃顿商学院MBA考试和4门法学院的考试，能力简直要通天；美版「头条」BuzzFeed宣布要用ChatGPT写文的消息后，股价疯狂暴涨119%。

而妙笔生花的文采，也让ChatGPT被很多小哥奉为「撩妹神器」。



虽然做数学题不太灵，但想要让它写下一篇文采斐然、深情款款的情书，那可真是so easy。

虽然但是，可以看出，ChatGPT的文采相当不错。论文、情书、小说，ChatGPT都不在话下。难怪大家都在疯狂用ChatGPT「造文」。

三、《预训练周刊》第33期：预训练语言模型的高效分层域适应

关于周刊

本期周刊，我们选择了9篇预训练相关的论文，涉及词汇迁移、常识问答、多模态训练、层次训练、对比学习、图像分割、图文模型、蛋白质作用和免疫特征表示的 探索 。此外，在研究动态方面，我们选择了2篇预训练资讯，将介绍大模型竞争和视觉算法年度回顾方面的一些最新内容。最后，在资源推荐方面，我们选择了1篇预训练资源，将介绍跨语言摘要方面的一些最新内容。

本期贡献者：申德周 翟珂 吴新刚

论文推荐

标题：俄罗斯Yandex、Facebook等 | Fine-Tuning Transformers: Vocabulary Transfer（微调Transformer：词汇迁移）

简介：本文讨论了巨大型预训练模型为下游任务微调而引发迁移学习的 探索 之一：词汇迁移。自然语言处理领域最新进展中Transformer已成为绝对主流。这些模型的大多数实际自然语言处理应用通常是通过迁移学习实现的。本文研究了用于微调的语料库特定标记化是否会提高模型的最终性能。作者通过一系列的词汇表优化和迁移实验，证明了这种词汇表优化和迁移策略可以提高模型的性能。作者称之为：在迁移学习领域开创了词汇迁移的这一方向。

论文地址：「链接」

标题：加州大学 | Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization（基于完形转换和一致性优化的小样本常识问答）

简介：本文在常识问答（CQA）方向研究预训练语言模型中的知识提取。作者将重点放在更好地利用预训练语言模型中存储的知识。虽然研究人员发现，通过让预先训练的语言模型填充精心设计的关系提取和文本分类提示的空白，可以提取嵌入在预训练的语言模型中的知识，但目前尚不清楚作者是否可以在CQA中采用这种范式，其中输入和输出的形式更加灵活。为此，作者研究了四种可以将自然问题翻译成完形填空式句子的翻译方法，以更好地从语言模型中获取常识性知识，包括基于句法的模型、无监督神经模型和两种监督神经模型。此外，为结合不同的翻译方法，作者提议鼓励使用未标记数据对不同翻译问题进行模型一致性的预测。实验证明了作者的方法在三个CQA数据集上的有效性。

论文地址：「链接」

标题：威斯康星大学、微软等 | RegionCLIP: Region-based Language-Image Pretraining（基于区域的语言图像预训练）

简介：本文研究了基于识别图像区域的语言图像预训练模型。业界使用“图像-文本对”的对比语言图像预训练 (CLIP)在零样本和迁移学习中的图像分类方面取得了令人印象深刻的结果。然而，作者表明直接应用此类模型来识别图像区域以进行对象检测会导致性能不佳，因为存在域偏移：CLIP 被训练以将图像作为一个整体与文本描述进行匹配，而没有捕获图像之间的细粒度对齐区域和文本跨度。为了缓解这个问题，作者提出了一种称为 RegionCLIP 的新方法，该方法显着扩展了 CLIP 以学习区域级视觉表示，从而实现图像区域和文本概念之间的细粒度对齐。作者的方法利用 CLIP 模型将图像区域与模板标题匹配，然后预训练作者的模型以在特征空间中对齐这些区域-文本对。当将作者的预训练模型转移到开放词汇对象检测任务时，作者的方法在 COCO 和 LVIS 数据集上的新类别分别显著优于现有技术 3.8 AP50 和 2.2 AP。

论文地址：「链接」

代码地址：https://github.com/microsoft/RegionCLIP

标题：艾伦AI研究所、慕尼黑大学 | Efficient Hierarchical Domain Adaptation for Pretrained Language Models（预训练语言模型的高效分层域适应）

简介：本文研究了以分层树结构的域表示实现预训练语言模型的分层。生成式的语言模型，在不同的通用领域语料库上进行训练，然而这就限制了它们对更窄领域的适用性，之前的工作表明，持续的领域内训练可以提供进一步的收益。在本文中，作者介绍了一种使用计算效率高的适配器方法将域适应扩展到许多不同域的方法。作者的方法基于对文本域部分重叠的观察，作者将域表示为分层树结构，其中树中的每个节点都与一组适配器权重相关联。当与冻结的预训练语言模型相结合时，这种方法可以实现相关领域之间的参数共享，同时避免不相关领域之间的负面干扰。该方法很高效：对于 D 个域，计算成本为 O(log(D))。GPT-2 的实验结果和 C4 中 100 个最具代表性的网站中的大部分显示了域内的全面改进。作者还为保留域提供了一种推理时间算法，并表明对通过树的多条路径进行平均可以进一步提高泛化效果，同时仅增加推理的边际成本。

论文地址：「链接」

标题：谷歌、亚马逊等 | Supervised Graph Contrastive Pretraining for Text Classification（用于文本分类的有监督图对比预训练）

简介：本文介绍了用于文本分类的对比预训练技术。但是，通常可以使用来自与当前任务共享标签语义的相关任务的标记数据。作者假设有效地使用这些标记数据可以更好地概括当前任务。在本文中，作者提出了一种通过基于图的监督对比学习方法有效利用来自相关任务的标记数据的新方法。作者通过将监督信息从示例外推到令牌来制定令牌图。作者的公式产生了一个嵌入空间，其中属于同一类的高/低概率标记彼此靠近/远离。作者还提出了详细的理论见解、以作为本研究方法的驱动。基于作者采用的数据集，实验表明：作者的方法优于预训练方案 2.5 % 、并且基于示例级对比学习的公式提升约 1.8 %。此外，在零样本场景中实验表明跨域有效性平均提升3.91%。最后，作者还证明了该方法可以用作知识蒸馏设置中的噪声教师模型、约平均提升4.57% 。

论文地址：「链接」

标题：百度 | ERNIE-ViLG: Unified Generative Pre-training for Bidirectional Vision-Language Generation（ERNIE-ViLG：双向视觉语言生成的统一生成式预训练）

简介：视觉语言预训练模型极大地提高了图像-文本生成任务的性能，但用于文本-图像生成任务的大规模预训练模型仍在研究中。本文提出了ERNIE-ViLG，一个统一的生成式预训练框架，基于Transformer模型并将图像生成和文本生成都表述为以文本/图像输入为条件的自回归生成任务。双向的图像-文本生成模型简化了跨视觉和语言的语义对接。对于文本到图像的生成过程，作者进一步提出了一种端到端的训练方法来共同学习视觉序列生成器和图像重建器。为了 探索 双向文本-图像生成的大规模预训练的前景，本文在1.45亿图像-中文文本对的大规模数据集上训练了一个100亿参数的模型，该模型在文本-图像和图像-文本任务上都取得了最先进的性能。

论文地址：「链接」

标题：华中科大、西安交大、微软 | A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model（用预训练视觉语言模型进行零样本语义分割的基线）

简介：通过视觉语言预训练的零样本图像分类已经渐趋成熟，然而在更广泛的视觉问题上如物体检测和语义分割还需研究。本文在预训练的视觉语言模型CLIP上构建零样本语义分割基线。该问题难点在于语义分割和CLIP模型在不同的视觉颗粒度上执行，语义分割在像素上处理，而CLIP在图像上执行。为了弥补处理粒度上的差异，本文没有使用普遍的基于FCN的单阶段框架，而使用一个两阶段的语义分割框架，第一阶段提取泛化掩码，第二阶段利用基于图像的CLIP模型，对第一阶段产生的掩码图像作物进行零样本分类。本文的实验结果表明，这个简单的框架在很大程度上超过了目前的先进技术。凭借其简单性和强大的性能，本文希望这个框架能够作为基线以助未来的研究。

论文地址：「链接」

标题：中山大学 | AlphaFold2-aware protein-DNA binding site prediction using graph transformer（使用图Transformer进行结合AlphaFold2的蛋白质-DNA结合位点预测）

简介：蛋白质与DNA的相互作用在生物系统中起着至关重要的作用，确定蛋白质与DNA的结合位点是对各种生物活动，如转录和修复，进行机理理解和设计新型药物的第一步。现有的基于序列的方法只考虑了顺序相邻的上下文特征，这对捕捉空间信息是有限的。对此本文提出GraphSite，作者将结合位点预测问题转化为图节点分类任务，并采用基于Transformer的预训练模型，通过AlphaFold2预测结构，将蛋白质结构信息、AlphaFold2中Evoformer的表征和序列进化信息考虑在内实现DNA结合残基的识别。GraphSite大大改善了基于序列和结构的最新方法，并且在181种蛋白质的独立测试集上得到进一步证实，在AUPR和MCC上分别超过了最先进的基于结构的方法16.4%和11.2%。

论文地址：「链接」

标题：耶鲁 | Pipeline for retrieval of COVID-19 immune signatures（检索COVID-19免疫特征的流程）

简介：随着生物医学文献出版速度的加快，检索其中的特定的科学信息变得更有意义。在新冠流行的大背景下，有效地检索病毒免疫特征，即生物标志物，可以帮助了解不同的SARS-CoV-2感染的免疫反应机制。对此，本文构建了一个系统的流程来识别和提取结构化的COVID-19免疫特征。具体而言，作者使用基于SPECTER预训练的生物文本嵌入，配合SVM分类器来自动识别含有免疫特征的论文，并进一步对这些论文进行半自动查询流程构建，检索特征信息。此外，基于预训练嵌入的流程也可确定免疫特征的类型，比如基因表达与其他类型的分析。通过这种方法，部分自动化的文献挖掘可以帮助快速创建半结构化的知识库，用于自动分析新出现的 健康 威胁。

论文地址：「链接」

资源推荐

标题：孟加拉国工程技术大学、加州大学洛杉矶分校等 | CrossSum:超越 1500 多个语言对的以英语为中心的跨语言抽象文本摘要数据集

简介：作者提供了 CrossSum：一个包含 165 万个跨语言文章摘要样本、包含 45 种语言的 1500 多个语言对的大规模数据集。基于多语言 XL-Sum 数据集，并使用与语言无关的表示模型通过跨语言检索来对齐以不同语言编写的相同文章，作者提出了一种多阶段数据采样算法并微调多语言预训练模型mT5。实验结果表明在 CrossSum 上微调的模型优于摘要+翻译基线。

论文地址：「链接」

资源下载：https://github.com/csebuetnlp/CrossSum

【关于转载】本文转载于公众号“智源社区”，仅用于学术分享，有任何问题请与我们联系：report@aminer.cn

四、bigquant怎么调用gpt

BigQuant 是一个基于 Python 的量化交易平台，可以通过编写 Python 代码来进行量化交易策略的研究和实现。如果想在 BigQuant 中调用 GPT 模型，您可以按照以下步骤操作：

1. 在 BigQuant 平台上新建一个项目，并将 GPT 模型的代码和训练好的模型文件上传到项目的目录中。

2. 在代码中导入 GPT 模型，并调用模型进行预测。例如：

```python

import torch

from transformers import GPT2Tokenizer, GPT2LMHeadModel

tokenizer = GPT2Tokenizer.from_pretrained('gpt2')

model = GPT2LMHeadModel.from_pretrained('./model/') # './model/' 是你上传到 BigQuant 项目中的 GPT 模型文件所在的路径

# 要生成的文本前缀

text = '今天天气怎么样'

# 预测生成概率最高的词，并将结果输出到控制台

input_ids = torch.tensor(tokenizer.encode(text)).unsqueeze(0)

with torch.no_grad():

outputs = model(input_ids, labels=input_ids)

loss, logits = outputs[:2]

pred = tokenizer.decode(logits[0].argmax(dim=-1).numpy())

print(pred)

```

在代码中，我们首先导入了 GPT 模型所需的库 torch 和 transformers(GPT2Tokenizer 和 GPT2LMHeadModel)。然后，我们使用 GPT2Tokenizer.from_pretrained 函数和 GPT2LMHeadModel.from_pretrained 函数分别加载了 GPT 模型的预训练权重和训练好的模型。接下来，我们定义了要生成文本的前缀，并使用模型进行预测。预测过程中，我们使用 torch.no_grad() 上下文管理器来避免计算梯度，以提高计算效率。最后，我们将预测的文本输出到控制台中。

请注意，由于 GPT 模型的计算要求较高，可能需要在 BigQuant 平台上分布式计算才能获得更好的效果。

以上就是关于gpt2训练写小说相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

ChatGPT中文版收费（chat官方下载）

chatGPT对科研的影响

怎么在手机上安装chatGPT（怎么在手机上安装steam）

兰州妇科医院排行榜（兰州妇科医院排行榜西京医院路线规划）

目前网络营销的主要引流方式是