HOME 首页
SERVICE 服务产品
XINMEITI 新媒体代运营
CASE 服务案例
NEWS 热点资讯
ABOUT 关于我们
CONTACT 联系我们
创意岭
让品牌有温度、有情感
专注品牌策划15年

    开源聊天机器人(开源聊天机器人 c)

    发布时间:2023-04-08 13:32:57     稿源: 创意岭    阅读: 120        

    大家好!今天让创意岭的小编来大家介绍下关于开源聊天机器人的问题,以下是小编对此问题的归纳整理,让我们一起来看看吧。

    开始之前先推荐一个非常厉害的Ai人工智能工具,一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

    只需要输入关键词,就能返回你想要的内容,越精准,写出的就越详细,有微信小程序端、在线网页版、PC客户端

    官网:https://ai.de1919.com

    创意岭作为行业内优秀的企业,服务客户遍布全球各地,如需了解SEO相关业务请拨打电话175-8598-2043,或添加微信:1454722008

    本文目录:

    开源聊天机器人(开源聊天机器人 c)

    一、求一份简单的聊天机器人源代码,要C++编写的

    那得看楼主希望聊天机器人有哪些功能了。

    一般地,首先要能分析句子,区分名词和形容词,能记忆集合关系

    然后就是随机性地回答问题了

    二、国外的群聊软件有哪些

    国外的群聊软件有很多,以下是一些常见的群聊软件:

    WhatsApp:由Facebook公司开发,支持实时聊天、语音通话、视频通话等功能,是全球广泛使用的即时通讯工具之一。

    Telegram:一款开源的即时通讯软件,支持加密聊天、文件传输、频道等功能,被誉为“最安全的聊天应用”。

    WeChat:由中国腾讯公司开发,是中国用户最广泛使用的即时通讯软件,支持聊天、语音通话、视频通话、支付等多种功能。

    Line:由日本Naver公司开发,支持聊天、语音通话、视频通话、免费通话等功能,是亚洲广泛使用的即时通讯工具之一。

    Skype:由微软公司开发,支持聊天、语音通话、视频通话等功能,被广泛用于商务和个人通讯。

    Discord:一款面向游戏玩家的聊天软件,支持聊天、语音通话、游戏直播等功能,受到了全球范围内游戏玩家的欢迎。

    Slack:一款面向团队协作的聊天软件,支持聊天、文件共享、任务管理等功能,被广泛用于企业和组织内部通讯。

    除了以上列举的软件,还有很多其他的群聊软件,如Viber、KakaoTalk、Hangouts等,用户可以根据自己的需求和偏好选择合适的软件。

    三、如何利用深度学习技术训练聊天机器人语言模型

    数据预处理

    模型能聊的内容也取决于选取的语料。如果已经具备了原始聊天数据,可以用SQL通过关键字查询一些对话,也就是从大库里选取出一个小库来训练。从一些论文上,很多算法都是在数据预处理层面的,比如Mechanism-Aware Neural Machine for Dialogue Response Generation就介绍了,从大库中抽取小库,然后再进行融合,训练出有特色的对话来。

    对于英语,需要了解NLTK,NLTK提供了加载语料,语料标准化,语料分类,PoS词性标注,语意抽取等功能。

    另一个功能强大的工具库是CoreNLP,作为 Stanford开源出来的工具,特色是实体标注,语意抽取,支持多种语言。

    下面主要介绍两个内容:

    中文分词

    现在有很多中文分词的SDK,分词的算法也比较多,也有很多文章对不同SDK的性能做比较。做中文分词的示例代码如下。

    # coding:utf8

    '''  

    Segmenter with Chinese  

    '''

    import jieba  

    import langid

    def segment_chinese_sentence(sentence):

    '''

    Return segmented sentence.

    '''

    seg_list = jieba.cut(sentence, cut_all=False)

    seg_sentence = u" ".join(seg_list)

    return seg_sentence.strip().encode('utf8')

    def process_sentence(sentence):

    '''

    Only process Chinese Sentence.

    '''

    if langid.classify(sentence)[0] == 'zh':

    return segment_chinese_sentence(sentence)

    return sentence

    if __name__ == "__main__":

    print(process_sentence('飞雪连天射白鹿'))

    print(process_sentence('I have a pen.'))

    以上使用了langid先判断语句是否是中文,然后使用jieba进行分词。

    在功能上,jieba分词支持全切分模式,精确模式和搜索引擎模式。

    全切分:输出所有分词。

    精确:概率上的最佳分词。

    所有引擎模式:对精确切分后的长句再进行分词。

    jieba分词的实现

    主要是分成下面三步:

    1、加载字典,在内存中建立字典空间。

    字典的构造是每行一个词,空格,词频,空格,词性。

    上诉书 3 n

    上诉人 3 n

    上诉期 3 b

    上诉状 4 n

    上课 650 v

    建立字典空间的是使用python的dict,采用前缀数组的方式。

    使用前缀数组的原因是树结构只有一层 - word:freq,效率高,节省空间。比如单词"dog", 字典中将这样存储:

    {

    "d": 0,

    "do": 0,

    "dog": 1 # value为词频

    }

    字典空间的主要用途是对输入句子建立有向无环图,然后根据算法进行切分。算法的取舍主要是根据模式 - 全切,精确还是搜索。

    2、对输入的语句分词,首先是建立一个有向无环图。 

    有向无环图, Directed acyclic graph (音 /ˈdæɡ/)。

    【图 3-2】 DAG

    DAG对于后面计算最大概率路径和使用HNN模型识别新词有直接关系。

    3、按照模式,对有向无环图进行遍历,比如,在精确模式下,便利就是求最大权重和的路径,权重来自于在字典中定义的词频。对于没有出现在词典中的词,连续的单个字符也许会构成新词。然后用HMM模型和Viterbi算法识别新词。

    精确模型切词:使用动态规划对最大概率路径进行求解。

    最大概率路径:求route = (w1, w2, w3 ,.., wn),使得Σweight(wi)最大。Wi为该词的词频。

    更多的细节还需要读一下jieba的源码。

    自定义字典

    jieba分词默认的字典是:1998人民日报的切分语料还有一个msr的切分语料和一些txt小说。开发者可以自行添加字典,只要符合字典构建的格式就行。

    jieba分词同时提供接口添加词汇。

    Word embedding

    使用机器学习训练的语言模型,网络算法是使用数字进行计算,在输入进行编码,在输出进行解码。word embedding就是编解码的手段。

    【图 3-3】 word embedding, Ref. #7

    word embedding是文本的数值化表示方法。表示法包括one-hot,bag of words,N-gram,分布式表示,共现矩阵等。

    Word2vec

    近年来,word2vec被广泛采用。Word2vec输入文章或者其他语料,输出语料中词汇建设的词向量空间。详细可参考word2vec数学原理解析。

    使用word2vec

    安装完成后,得到word2vec命令行工具。

    word2vec -train "data/review.txt"

    -output "data/review.model"

    -cbow 1

    -size 100

    -window 8

    -negative 25

    -hs 0

    -sample 1e-4

    -threads 20

    -binary 1

    -iter 15

    -train "data/review.txt" 表示在指定的语料库上训练模型

    -cbow 1 表示用cbow模型,设成0表示用skip-gram模型

    -size 100 词向量的维度为100

    -window 8 训练窗口的大小为8 即考虑一个单词的前八个和后八个单词

    -negative 25 -hs 0 是使用negative sample还是HS算法

    -sample 1e-4 采用阈值

    -threads 20 线程数

    -binary 1 输出model保存成2进制

    -iter 15 迭代次数

    在训练完成后,就得到一个model,用该model可以查询每个词的词向量,在词和词之间求距离,将不同词放在数学公式中计算输出相关性的词。比如:

    vector("法国") - vector("巴黎) + vector("英国") = vector("伦敦")"  

    对于训练不同的语料库,可以单独的训练词向量模型,可以利用已经训练好的模型。

    其它训练词向量空间工具推荐:Glove。

    Seq2Seq

    2014年,Sequence to Sequence Learning with Neural Networks提出了使用深度学习技术,基于RNN和LSTM网络训练翻译系统,取得了突破,这一方法便应用在更广泛的领域,比如问答系统,图像字幕,语音识别,撰写诗词等。Seq2Seq完成了【encoder + decoder -> target】的映射,在上面的论文中,清晰的介绍了实现方式。

    【图 3-4】 Seq2Seq, Ref. #1

    也有很多文章解读它的原理。在使用Seq2Seq的过程中,虽然也研究了它的结构,但我还不认为能理解和解释它。下面谈两点感受:

    a. RNN保存了语言顺序的特点,这和CNN在处理带有形状的模型时如出一辙,就是数学模型的设计符合物理模型。

    【图 3-5】 RNN, Ref. #6

    b. LSTM Cell的复杂度对应了自然语言处理的复杂度。

    【图 3-6】 LSTM, Ref. #6

    理由是,有人将LSTM Cell尝试了多种其它方案传递状态,结果也很好。

    【图 3-7】 GRU, Ref. #6

    LSTM的一个替代方案:GRU。只要RNN的Cell足够复杂,它就能工作的很好。

    使用DeepQA2训练语言模型

    准备工作,下载项目:

    git clone https://github.com/Samurais/DeepQA2.git  

    cd DeepQA2  

    open README.md # 根据README.md安装依赖包

    DeepQA2将工作分成三个过程:

    数据预处理:从语料库到数据字典。

    训练模型:从数据字典到语言模型。

    提供服务:从语言模型到RESt API。

    预处理

    DeepQA2使用Cornell Movie Dialogs Corpus作为demo语料库。

    原始数据就是movie_lines.txt 和movie_conversations.txt。这两个文件的组织形式参考README.txt

    deepqa2/dataset/preprocesser.py是将这两个文件处理成数据字典的模块。

    train_max_length_enco就是问题的长度,train_max_length_deco就是答案的长度。在语料库中,大于该长度的部分会被截断。

    程序运行后,会生成dataset-cornell-20.pkl文件,它加载到python中是一个字典:

    word2id存储了{word: id},其中word是一个单词,id是int数字,代表这个单词的id。

    id2word存储了{id: word}。

    trainingSamples存储了问答的对话对。

    比如 [[[1,2,3],[4,5,6]], [[7,8,9], [10, 11, 12]]]

    1,2,3 ... 12 都是word id。

    [1,2,3] 和 [4,5,6] 构成一个问答。 [7,8,9] 和 [10, 11, 12] 构成一个问答。

    开始训练

    cp config.sample.ini config.ini # modify keys  

    python deepqa2/train.py  

    config.ini是配置文件, 根据config.sample.ini进行修改。训练的时间由epoch,learning rate, maxlength和对话对的数量而定。

    deepqa2/train.py大约100行,完成数据字典加载、初始化tensorflow的session,saver,writer、初始化神经元模型、根据epoch进行迭代,保存模型到磁盘。

    session是网络图,由placeholder, variable, cell, layer, output 组成。

    saver是保存model的,也可以用来恢复model。model就是实例化variable的session。

    writer是查看loss fn或者其他开发者感兴趣的数据的收集器。writer的结果会被saver保存,然后使用tensorboard查看。

    Model

    Model的构建要考虑输入,状态,softmax,输出。

    定义损耗函数,使用AdamOptimizer进行迭代。

    最后,参考一下训练的loop部分。

    每次训练,model会被存储在 save路径下,文件夹的命名根据机器的hostname,时间戳生成。

    提供服务

    在TensorFlow中,提供了标准的serving模块 - tensorflow serving。但研究了很久,还专门看了一遍 《C++ Essentials》,还没有将它搞定,社区也普遍抱怨tensorflow serving不好学,不好用。训练结束后,使用下面的脚本启动服务,DeepQA2的serve部分还是调用TensorFlow的python api。

    cd DeepQA2/save/deeplearning.cobra.vulcan.20170127.175256/deepqa2/serve  

    cp db.sample.sqlite3 db.sqlite3  

    python manage.py runserver 0.0.0.0:8000  

    测试

    POST /api/v1/question HTTP/1.1  

    Host: 127.0.0.1:8000  

    Content-Type: application/json  

    Authorization: Basic YWRtaW46cGFzc3dvcmQxMjM=  

    Cache-Control: no-cache

    {"message": "good to know"}

    response  

    {

    "rc": 0,

    "msg": "hello"

    }

    serve的核心代码在serve/api/chatbotmanager.py中。

    使用脚本

    scripts/start_training.sh 启动训练

    scripts/start_tensorboard.sh 启动Tensorboard

    scripts/start_serving.sh 启动服务

    对模型的评价

    目前代码具有很高的维护性,这也是从DeepQA项目进行重构的原因,更清晰的数据预处理、训练和服务。有新的变更可以添加到deepqa2/models中,然后在train.py和chatbotmanager.py变更一下。

    有待改进的地方

    a. 新建models/rnn2.py, 使用dropout。目前DeepQA中已经使用了Drop.

    b. tensorflow rc0.12.x中已经提供了seq2seq network,可以更新成tf版本.

    c. 融合训练,目前model只有一个库,应该是设计一个新的模型,支持一个大库和小库,不同权重进行,就如Mechanism-Aware Neural Machine for Dialogue Response Generation的介绍。

    d. 代码支持多机多GPU运行。

    e. 目前训练的结果都是QA对,对于一个问题,可以有多个答案。

    f. 目前没有一个方法进行accuracy测试,一个思路是在训练中就提供干扰项,因为当前只有正确的答案,如果提供错误的答案(而且越多越好),就可以使用recall_at_k方法进行测试。

    机器人家上了解到的,希望对你有用

    四、

    以上就是关于开源聊天机器人相关问题的回答。希望能帮到你,如有更多相关问题,您也可以联系我们的客服进行咨询,客服也会为您讲解更多精彩的知识和内容。


    推荐阅读:

    开源聊天机器人(开源聊天机器人 c)

    开源中文聊天机器人(开源中文聊天机器人下载)

    免费开源crm客户管理系统平台有哪些?哪个免费CRM系统好用?

    无锡日式屋顶花园景观设计(无锡日式屋顶花园景观设计招聘)

    蔬菜营养价值排行榜(蔬菜营养价值排行榜来了)