正文

图神经网络发展前景

发布时间：2023-04-06 22:55:07 稿源：创意岭阅读： 128

大家好！今天让创意岭的小编来大家介绍下关于图神经网络发展前景的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

1、为什么有图卷积神经网络？
2、神经网络的历史是什么？
3、一文详解图神经网络(二)
4、人工智能未来的发展前景怎么样？

图神经网络发展前景

一、为什么有图卷积神经网络？

本质上说，世界上所有的数据都是拓扑结构，也就是网络结构，如果能够把这些网络数据真正的收集、融合起来，这确实是实现了AI智能的第一步。所以，如何利用深度学习处理这些复杂的拓扑数据，如何开创新的处理图数据以及知识图谱的智能算法是AI的一个重要方向。

深度学习在多个领域的成功主要归功于计算资源的快速发展（如 GPU）、大量训练数据的收集，还有深度学习从欧几里得数据（如图像、文本和视频）中提取潜在表征的有效性。但是，尽管深度学习已经在欧几里得数据中取得了很大的成功，但从非欧几里得域生成的数据已经取得更广泛的应用，它们需要有效分析。如在电子商务领域，一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域，分子被建模为图，新药研发需要测定其生物活性。在论文引用网络中，论文之间通过引用关系互相连接，需要将它们分成不同的类别。自2012年以来，深度学习在计算机视觉以及自然语言处理两个领域取得了巨大的成功。假设有一张图，要做分类，传统方法需要手动提取一些特征，比如纹理，颜色，或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器，给到一个输出标签，告诉它是哪个类别。而深度学习是输入一张图，经过神经网络，直接输出一个标签。特征提取和分类一步到位，避免了手工提取特征或者人工规则，从原始数据中自动化地去提取特征，是一种端到端（end-to-end）的学习。相较于传统的方法，深度学习能够学习到更高效的特征与模式。

图数据的复杂性对现有机器学习算法提出了重大挑战，因为图数据是不规则的。每张图大小不同、节点无序，一张图中的每个节点都有不同数目的邻近节点，使得一些在图像中容易计算的重要运算（如卷积）不能再直接应用于图。此外，现有机器学习算法的核心假设是实例彼此独立。然而，图数据中的每个实例都与周围的其它实例相关，含有一些复杂的连接信息，用于捕获数据之间的依赖关系，包括引用、朋友关系和相互作用。

最近，越来越多的研究开始将深度学习方法应用到图数据领域。受到深度学习领域进展的驱动，研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。为了应对图数据的复杂性，重要运算的泛化和定义在过去几年中迅速发展。

二、神经网络的历史是什么？

沃伦·麦卡洛克和沃尔特·皮茨（1943）基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能里的应用。

一、赫布型学习

二十世纪40年代后期，心理学家唐纳德·赫布根据神经可塑性的机制创造了一种对学习的假说，现在称作赫布型学习。赫布型学习被认为是一种典型的非监督式学习规则，它后来的变种是长期增强作用的早期模型。从1948年开始，研究人员将这种计算模型的思想应用到B型图灵机上。

法利和韦斯利·A·克拉克（1954）首次使用计算机，当时称作计算器，在MIT模拟了一个赫布网络。纳撒尼尔·罗切斯特（1956）等人模拟了一台 IBM 704计算机上的抽象神经网络的行为。

弗兰克·罗森布拉特创造了感知机。这是一种模式识别算法，用简单的加减法实现了两层的计算机学习网络。罗森布拉特也用数学符号描述了基本感知机里没有的回路，例如异或回路。这种回路一直无法被神经网络处理，直到保罗·韦伯斯(1975)创造了反向传播算法。

在马文·明斯基和西摩尔·派普特（1969）发表了一项关于机器学习的研究以后，神经网络的研究停滞不前。他们发现了神经网络的两个关键问题。

第一是基本感知机无法处理异或回路。第二个重要的问题是电脑没有足够的能力来处理大型神经网络所需要的很长的计算时间。直到计算机具有更强的计算能力之前，神经网络的研究进展缓慢。

二、反向传播算法与复兴

后来出现的一个关键的进展是保罗·韦伯斯发明的反向传播算法（Werbos 1975）。这个算法有效地解决了异或的问题，还有更普遍的训练多层神经网络的问题。

在二十世纪80年代中期，分布式并行处理（当时称作联结主义）流行起来。戴维·鲁姆哈特和詹姆斯·麦克里兰德的教材对于联结主义在计算机模拟神经活动中的应用提供了全面的论述。

神经网络传统上被认为是大脑中的神经活动的简化模型，虽然这个模型和大脑的生理结构之间的关联存在争议。人们不清楚人工神经网络能多大程度地反映大脑的功能。

支持向量机和其他更简单的方法（例如线性分类器）在机器学习领域的流行度逐渐超过了神经网络，但是在2000年代后期出现的深度学习重新激发了人们对神经网络的兴趣。

三、2006年之后的进展

人们用CMOS创造了用于生物物理模拟和神经形态计算的计算设备。最新的研究显示了用于大型主成分分析和卷积神经网络的纳米设备具有良好的前景。

如果成功的话，这会创造出一种新的神经计算设备，因为它依赖于学习而不是编程，并且它从根本上就是模拟的而不是数字化的，虽然它的第一个实例可能是数字化的CMOS设备。

在2009到2012年之间，Jürgen Schmidhuber在Swiss AI Lab IDSIA的研究小组研发的循环神经网络和深前馈神经网络赢得了8项关于模式识别和机器学习的国际比赛。

例如，Alex Graves et al.的双向、多维的LSTM赢得了2009年ICDAR的3项关于连笔字识别的比赛，而且之前并不知道关于将要学习的3种语言的信息。

IDSIA的Dan Ciresan和同事根据这个方法编写的基于GPU的实现赢得了多项模式识别的比赛，包括IJCNN 2011交通标志识别比赛等等。

他们的神经网络也是第一个在重要的基准测试中（例如IJCNN 2012交通标志识别和NYU的扬·勒丘恩（Yann LeCun）的MNIST手写数字问题）能达到或超过人类水平的人工模式识别器。

类似1980年Kunihiko Fukushima发明的neocognitron和视觉标准结构（由David H. Hubel和Torsten Wiesel在初级视皮层中发现的那些简单而又复杂的细胞启发）那样有深度的、高度非线性的神经结构可以被多伦多大学杰弗里·辛顿实验室的非监督式学习方法所训练。

2012年，神经网络出现了快速的发展，主要原因在于计算技术的提高，使得很多复杂的运算变得成本低廉。以AlexNet为标志，大量的深度网络开始出现。

2014年出现了残差神经网络，该网络极大解放了神经网络的深度限制，出现了深度学习的概念。

图神经网络发展前景

构成

典型的人工神经网络具有以下三个部分：

1、结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。

2、激励函数（Activation Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。

3、学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。

例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激发。在激励值被加权并通过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。

这个过程不断重复，直到输出神经元被激发。最后，输出神经元的激励值决定了识别出来的是哪个字母。

三、一文详解图神经网络(二)

《The Graph Neural Network Model》

图领域的应用主要可以分为两种类型 ：专注于图的应用(graph-focused) 和专注于节点的应用(node-focused) 。对于graph-focused的应用，函数和具体的节点无关，(即 )，训练时，在一个图的数据集中进行分类或回归。对于node-focused的应用，函数依赖于具体的节点，即

在一个图-节点对的集合，表示图的集合，表示节点集合，图领域问题可以表示成一个有如下数据集的监督学习框架：

其中，表示集合中的第个节点，表示节点的期望目标(即标签)。节点的状态用表示，该节点的输出用表示，为 local transition function ，为 local output function ，那么和的更新方式如下：

其中，分别表示节点的特征向量、与节点相连的边的特征向量、节点邻居节点的状态向量、节点邻居节点的特征向量。分别为所有的状态、所有的输出、所有的特征向量、所有节点的特征向量的叠加起来的向量，那么上面函数可以写成如下形式：

其中，为 global transition function ，为 global output function ，分别是和的叠加形式

根据 Banach的不动点理论 ，假设是一个压缩映射函数，那么式子有唯一不动点解，而且可以通过迭代方式逼近该不动点

其中，表示在第个迭代时刻的值，对于任意初值，迭代的误差是以指数速度减小的，使用迭代的形式写出状态和输出的更新表达式为：

GNN的学习就是估计参数，使得函数能够近似估计训练集

其中，表示在图中监督学习的节点，对于graph-focused的任务，需要增加一个特殊的节点，该节点用来作为目标节点，这样， graph-focused 任务和 node-focused 任务都能统一到节点预测任务上，学习目标可以是最小化如下二次损失函数

优化算法基于随机梯度下降的策略，优化步骤按照如下几步进行：

在GNN中，函数不需要满足特定的约束，直接使用多层前馈神经网络，对于函数，则需要着重考虑，因为需要满足压缩映射的条件，而且与不动点计算相关。下面提出两种神经网络和不同的策略来满足这些需求

对于节点n nn状态的计算，将改成如下形式

相当于是对节点的每一个邻居节点使用，并将得到的值求和来作为节点的状态，由此，对上式中的函数按照如下方式实现：

其中，向量，矩阵定义为两个前向神经网络的输出。更确切地说，令产生矩阵的网络为transition network，产生向量的网络为forcing network

其中，，，表示将维的向量整理(reshape)成的矩阵，也就是说，将transition network的输出整理成方形矩阵，然后乘以一个系数就得到，就是forcing network的输出

在这里，假定，这个可以通过设定transition function的激活函数来满足，比如设定激活函数为 tanh() 。在这种情况下，，和分别是的块矩阵形式和的堆叠形式，可得：

该式表示对于任意的参数是一个压缩映射，矩阵的 1-norm 定义为：

在这个结构中，通过多层前馈网络实现，但是，并不是所有的参数都会被使用，因为同样需要保证是一个压缩映射函数，这个可以通过惩罚项来实现

其中，惩罚项在时为，在时为0，参数定义为希望的的压缩系数

NLP新人，欢迎大家一起交流，互相学习，共同成长~~

四、人工智能未来的发展前景怎么样？

1、市场规模：中国人工智能行业呈现高速增长态势

人工智能产业是智能产业发展的核心，是其他智能科技产品发展的基础，近年来，中国人工智能产业在政策与技术双重驱动下呈现高速增长态势。根据中国信通院数研中心测算，2020年中国人工智能产业规模为3031亿元人民币，同比增长15.1%。中国人工智能产业规模增速超过全球。

图神经网络发展前景

注：中国信通院的市场规模根据IDC数据测算，统计口径与IDC一致，即包括软件、硬件与服务市场。

2、竞争格局：中国人工智能企业主要分布在应用层占比超过80%

——中国人工智能企业全产业链布局完善

我国作为全球人工智能领域发展较好的地区，无论是人工智能领域的基础层、技术层、应用层，还是人工智能的硬件产品、软件产品及服务，我国企业都有涉及。在国内，除去讯飞等垂直类企业，真正在人工智能有所长进的巨头依然是百度、阿里、腾讯这三家。

图神经网络发展前景

——中国人工智能企业主要分布在应用层，占比超过80%

据中国新一代人工智能发展战略研究院2021年5月发布的《中国新一代人工智能科技产业发展报告(2021)》数据，截至2020年底，中国人工智能企业布局侧重在应用层和技术层。其中，应用层人工智能企业数占比最高，达到84.05%;其次是技术层企业数，占比为13.65%;基础层企业数占比最低，为2.30%。应用层企业占比高说明中国的人工智能科技产业发展主要以应用需求为牵引。

图神经网络发展前景