神经网络反向传播原理（神经网络反向传播原理图）

大家好！今天让创意岭的小编来大家介绍下关于神经网络反向传播原理的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、神经网络算法原理

• 2、解读反向传播算法（BackPropagation）

• 3、神经网络预测原理！

• 4、BP神经网络(误差反传网络)

一、神经网络算法原理

4.2.1 概述

人工神经网络的研究与计算机的研究几乎是同步发展的。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的著作，并且现在仍是全球非线性科学研究的热点之一。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。

人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid 函数构成的模型（图 4-3）。

图4-3 人工神经元与两种常见的输出函数

神经网络学习及识别方法最初是借鉴人脑神经元的学习识别过程提出的。输入参数好比神经元接收信号，通过一定的权值（相当于刺激神经兴奋的强度）与神经元相连，这一过程有些类似于多元线性回归，但模拟的非线性特征是通过下一步骤体现的，即通过设定一阈值（神经元兴奋极限）来确定神经元的兴奋模式，经输出运算得到输出结果。经过大量样本进入网络系统学习训练之后，连接输入信号与神经元之间的权值达到稳定并可最大限度地符合已经经过训练的学习样本。在被确认网络结构的合理性和学习效果的高精度之后，将待预测样本输入参数代入网络，达到参数预测的目的。

4.2.2 反向传播算法（BP法）

发展到目前为止，神经网络模型不下十几种，如前馈神经网络、感知器、Hopfiled 网络、径向基函数网络、反向传播算法（BP法）等，但在储层参数反演方面，目前比较成熟比较流行的网络类型是误差反向传播神经网络（BP-ANN）。

BP网络是在前馈神经网络的基础上发展起来的，始终有一个输入层（它包含的节点对应于每个输入变量）和一个输出层（它包含的节点对应于每个输出值），以及至少有一个具有任意节点数的隐含层（又称中间层）。在 BP-ANN中，相邻层的节点通过一个任意初始权值全部相连，但同一层内各节点间互不相连。对于 BP-ANN，隐含层和输出层节点的基函数必须是连续的、单调递增的，当输入趋于正或负无穷大时，它应该接近于某一固定值，也就是说，基函数为“S”型（Kosko，1992）。BP-ANN 的训练是一个监督学习过程，涉及两个数据集，即训练数据集和监督数据集。

给网络的输入层提供一组输入信息，使其通过网络而在输出层上产生逼近期望输出的过程，称之为网络的学习，或称对网络进行训练，实现这一步骤的方法则称为学习算法。BP网络的学习过程包括两个阶段：第一个阶段是正向过程，将输入变量通过输入层经隐层逐层计算各单元的输出值；第二阶段是反向传播过程，由输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。误差信息通过网络反向传播，遵循误差逐步降低的原则来调整权值，直到达到满意的输出为止。网络经过学习以后，一组合适的、稳定的权值连接权被固定下来，将待预测样本作为输入层参数，网络经过向前传播便可以得到输出结果，这就是网络的预测。

反向传播算法主要步骤如下：首先选定权系数初始值，然后重复下述过程直至收敛（对各样本依次计算）。

（1）从前向后各层计算各单元O_j

储层特征研究与预测

（2）对输出层计算δ_j

储层特征研究与预测

（3）从后向前计算各隐层δ_j

储层特征研究与预测

（4）计算并保存各权值修正量

储层特征研究与预测

（5）修正权值

储层特征研究与预测

以上算法是对每个样本作权值修正，也可以对各个样本计算δ_j后求和，按总误差修正权值。

二、解读反向传播算法（BackPropagation）

冒泡~周末愉快鸭！

举个例子：

如下图所示，这是 带有一个隐层的三层神经网络 ，

-小女孩→隐藏层节点

-小黄帽→输出层节点

-哆啦A梦→误差

小女孩左侧接受输入信号，经过隐层节点产生输出结果，哆啦A梦则指导参数往更优的方向调整。 由于哆啦A梦可以直接将误差反馈给小黄帽，所以与小黄帽直接相连的左侧参数矩阵可以直接通过误差进行参数优化（实纵线）；而与小女孩直接相连的左侧参数矩阵由于不能得到哆啦A梦的直接反馈而不能直接被优化（虚棕线）。但由于反向传播算法使得哆啦A梦的反馈可以被传递到小女孩那进而产生间接误差，所以与小女孩直接相连的左侧权重矩阵可以通过间接误差得到权重更新，迭代几轮，误差会降低到最小。（ 也就是说小男孩得到的是直接误差，小女孩是间接误差 ）

接下来将用例子演示整个过程

假设有下图这样一个带权值的网络层，第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h4和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

通过前向传播我们得到输出值为[0.75136079 , 0.772928465]，与实际值[0.01 , 0.99]相差还很远，接下来我们对误差进行反向传播，更新权值，重新计算输出。

3.输入层---->隐含层的权值更新：

在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

根据BP算法的过程演示,可以得到BP算法的一般过程:

1. 正向传播FP(求损失)

此过程中，我们根据输入的样本、给定的初始化权重值W和偏置项的值b, 计算最终输出值以及输出值与实际值之间的损失值。（ 注意：如果损失值不在给定的范围内则进行接下来反向传播的过程， 否则停止W,b的更新。 ）

2.反向传播BP(回传误差)

将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元，从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。（ 主要为： ①隐层到输出层的参数W的更新 ②从输入层到隐层的参数W的更新。 ）

Ending~理解计算和公式还是很重要的鸭！

三、神经网络预测原理！

Back Propagation BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层（隐含层）可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。神经网络很多种，BP神经网络最常用。

四、BP神经网络(误差反传网络)

虽然每个人工神经元很简单，但是只要把多个人工

神经元按一定方式连接起来就构成了一个能处理复杂信息的神经网络。采用BP算法的多层前馈网络是目前应用最广泛的神经网络，称之为BP神经网络。它的最大功能就是能映射复杂的非线性函数关系。

对于已知的模型空间和数据空间，我们知道某个模型和他对应的数据，但是无法写出它们之间的函数关系式，但是如果有大量的一一对应的模型和数据样本集合，利用BP神经网络可以模拟(映射)它们之间的函数关系。

一个三层BP网络如图8.11所示，分为输入层、隐层、输出层。它是最常用的BP网络。理论分析证明三层网络已经能够表达任意复杂的连续函数关系了。只有在映射不连续函数时(如锯齿波)才需要两个隐层^[8]。

图8.11中，X=(x₁，…，x_i，…，x_n)^T为输入向量，如加入x₀=-1，可以为隐层神经元引入阀值;隐层输出向量为:Y=(y₁，…，y_i，…，y_m)^T，如加入y₀=-1，可以为输出层神经元引入阀值;输出层输出向量为:O=(o₁，…，o_i，…，o_l)^T;输入层到隐层之间的权值矩阵用V表示，V=(V₁，…，V_j，…，V_l)^T，其中列向量V_j表示隐层第j个神经元的权值向量;隐层到输出层之间的权值矩阵用W表示，W=(W₁，…，W_k，…，W_l)^T，

其中列向量W_k表示输出层第k个神经元的权值向量。

图8.11 三层BP网络^[8]

BP算法的基本思想是:预先给定一一对应的输入输出样本集。学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经过各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出(教师信号)不符，则转入误差的反向传播。将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有神经元，获得各层的误差信号，用它们可以对各层的神经元的权值进行调整(关于如何修改权值参见韩立群著作^[8])，循环不断地利用输入输出样本集进行权值调整，以使所有输入样本的输出误差都减小到满意的精度。这个过程就称为网络的学习训练过程。当网络训练完毕后，它相当于映射(表达)了输入输出样本之间的函数关系。

在地球物理勘探中，正演过程可以表示为如下函数:

d=f(m) (8.31)

它的反函数为

m=f^-1(d) (8.32)

如果能够获得这个反函数，那么就解决了反演问题。一般来说，难以写出这个反函数，但是我们可以用BP神经网络来映射这个反函数m=f^-1(d)。对于地球物理反问题，如果把观测数据当作输入数据，模型参数当作输出数据，事先在模型空间随机产生大量样本进行正演计算，获得对应的观测数据样本，利用它们对BP网络进行训练，则训练好的网络就相当于是地球物理数据方程的反函数。可以用它进行反演，输入观测数据，网络就会输出它所对应的模型。

BP神经网络在能够进行反演之前需要进行学习训练。训练需要大量的样本，产生这些样本需要大量的正演计算，此外在学习训练过程也需要大量的时间。但是BP神经网络一旦训练完毕，在反演中的计算时间可以忽略。

要想使BP神经网络比较好地映射函数关系，需要有全面代表性的样本，但是由于模型空间的无限性，难以获得全面代表性的样本集合。用这样的样本训练出来的BP网络，只能反映样本所在的较小范围数据空间和较小范围模型空间的函数关系。对于超出它们的观测数据就无法正确反演。目前BP神经网络在一维反演有较多应用，在二维、三维反演应用较少，原因就是难以产生全面代表性的样本空间。

以上就是关于神经网络反向传播原理相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

深度神经网络结构（深度神经网络结构概述）

神经网络误差反向传播（神经网络误差反向传播算法）

神经网络种类（神经网络种类和特点）

农商行网点是做什么的

百度视频突然和以前不一样了（百度视频突然和以前不一样了怎么办）