反向传播神经网络基本原理（反向传播神经网络基本原理）

大家好！今天让创意岭的小编来大家介绍下关于反向传播神经网络基本原理的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、BP神经网络的梳理

• 2、神经网络算法原理

• 3、解读反向传播算法（BackPropagation）

• 4、神经网络算法原理

一、BP神经网络的梳理

BP神经网络被称为“深度学习之旅的开端”，是神经网络的入门算法。

各种高大上的神经网络都是基于BP网络出发的，最基础的原理都是由BP网络而来 [1] ，另外由于BP神经网络结构简单，算法经典， 是神经网络中应用最广泛的一种。

BP神经网络（back propagation neural network）全称是反向传播神经网络。

神经网络发展部分背景如下 [2] ：

为解决非线性问题，BP神经网络应运而生。

那么什么是BP神经网络？稍微专业点的解释要怎么说呢？

很喜欢 最简单的神经网络--Bp神经网络 一文对算法原理的解释，语言活泼，案例简单，由浅入深。

文中提到所谓的 AI 技术，本质上是一种数据处理处理技术，它的强大来自于两方面：1.互联网的发展带来的海量数据信息；2.计算机深度学习算法的快速发展。AI 其实并没有什么神秘，只是在算法上更为复杂 [3] 。

我们从上面的定义出发来解释BP神经网络的原理。

BP神经网络整个网络结构包含了：一层输入层，一到多层隐藏层，一层输出层。

一般说L层神经网络，指的是有L个隐层，输入层和输出层都不计算在内的 [6] 。

BP神经网络模型训练的学习过程由信号的 正向传播 和误差的 反向传播 两个过程组成。

什么是信号的正向传播？顾名思义，就是结构图从左到右的运算过程。

我们来看看结构图中每个小圆圈是怎么运作的。我们把小圈圈叫做神经元，是组成神经网络的基本单元。

正向传播就是输入数据经过一层一层的神经元运算、输出的过程，最后一层输出值作为算法预测值y'。

前面正向传播的时候我们提到权重w、偏置b，但我们并不知道权重w、偏置b的值应该是什么。关于最优参数的求解，我们在 线性回归 、 逻辑回归 两章中有了详细说明。大致来讲就是：

BP神经网络全称 back propagation neural network，back propagation反向传播是什么？

反向传播的建设本质上就是寻找最优的参数组合，和上面的流程差不多，根据算法预测值和实际值之间的损失函数L(y',y)，来反方向地计算每一层的z、a、w、b的偏导数，从而更新参数。

对反向传播而言，输入的内容是预测值和实际值的误差，输出的内容是对参数的更新，方向是从右往左，一层一层的更新每一层的参数。

BP神经网络通过先正向传播，构建参数和输入值的关系，通过预测值和实际值的误差，反向传播修复权重；读入新数据再正向传播预测，再反向传播修正，...，通过多次循环达到最小损失值，此时构造的模型拥有最优的参数组合。

以一个简单的BP神经网络为例，由3个输入层，2层隐藏层，每层2个神经元，1个输出层组成。

【输入层】传入

【第一层隐藏层】

对于 神经元而言，传入 ，加权求和加偏置激活函数处理后，输出 ；

对于 神经元而言，传入 ，加权求和加偏置函数处理后，输出 ；

输出：

【第二层隐藏层】

对于 神经元而言，传入 ，加权求和加偏置激活函数处理后，输出 ；

对于 神经元而言，传入 ，加权求和加偏置激活函数处理后，输出 ；

输出：

【输出层】

对于输出层神经元而言，输入 ，加权求和加偏置激活函数处理后，输出 ，输出的是一个值

第一次运行正向传播这个流程时随用随机参数就好，通过反向传播不断优化。因此需要在一开始对 设置一个随机的初始值。

首先计算正向传播输出值 与实际值的损失 ，是一个数值。所谓反向是从右到左一步步来的，先回到 ，修正参数 。

以此类推，通过对损失函数求偏导跟新参数 ，再跟新参数 。这时又回到了起点，新的数据传入又可以开始正向传播了。

keras可以快速搭建神经网络，例如以下为输入层包含7129个结点，一层隐藏层，包含128个结点，一个输出层，是二分类模型。

神经网络反向传播的优化目标为loss，可以观察到loss的值在不断的优化。

可以通过model.get_layer().get_weights()获得每一层训练后的参数结果。通过model.predict()预测新数据。

至此，BP神经网络的整个运算流程已经过了一遍。之前提到BP神经网络是为解决非线性问题应运而生的，那么为什么BP神经网络可以解决非线性问题呢？

还记得神经元里有一个激活函数的操作吗？神经网络通过激活函数的使用加入非线性因素。

通过使用非线性的激活函数可以使神经网络随意逼近复杂函数，从而使BP神经网络既可以处理线性问题，也可以处理非线性问题。

为什么激活函数的使用可以加入非线性因素 [7] ？

其实逻辑回归算法可以看作只有一个神经元的单层神经网络，只对线性可分的数据进行分类。

输入参数，加权求和，sigmoid作为激活函数计算后输出结果，模型预测值和实际值计算损失Loss,反向传播梯度下降求编导，获得最优参数。

BP神经网络是比 Logistic Regression 复杂得多的模型，它的拟合能力很强，可以处理很多 Logistic Regression处理不了的数据，但是也更容易过拟合。

具体用什么算法还是要看训练数据的情况，没有一种算法是使用所有情况的。

常见的前馈神经网络有BP网络，RBF网络等。

BP神经网络的一个主要问题是：结构不好设计。

网络隐含层的层数和单元数的选择尚无理论上的指导，一般是根据经验或者通过反复实验确定。

但是BP神经网络简单、易行、计算量小、并行性强，目前仍是多层前向网络的首选算法。

[1] 深度学习开端---BP神经网络： https://blog.csdn.net/Chile_Wang/article/details/100557010

[2] BP神经网络发展历史： https://zhuanlan.zhihu.com/p/47998728

[3] 最简单的神经网络--Bp神经网络： https://blog.csdn.net/weixin_40432828/article/details/82192709

[4] 神经网络的基本概念： https://blog.csdn.net/jinyuan7708/article/details/82466653

[5] 神经网络中的 “隐藏层” 理解： https://blog.csdn.net/nanhuaibeian/article/details/100183000

[6] AI学习笔记：神经元与神经网络： https://www.jianshu.com/p/65eb2fce0e9e

[7] 线性模型和非线性模型的区别： https://www.cnblogs.com/toone/p/8574294.html

[8] BP神经网络是否优于logistic回归： https://www.zhihu.com/question/27823925/answer/38460833

二、神经网络算法原理

一共有四种算法及原理，如下所示：

1、自适应谐振理论（ART）网络

自适应谐振理论（ART）网络具有不同的方案。一个ART-1网络含有两层一个输入层和一个输出层。这两层完全互连，该连接沿着正向（自底向上）和反馈（自顶向下）两个方向进行。

2、学习矢量量化（LVQ）网络

学习矢量量化（LVQ）网络，它由三层神经元组成，即输入转换层、隐含层和输出层。该网络在输入层与隐含层之间为完全连接，而在隐含层与输出层之间为部分连接，每个输出神经元与隐含神经元的不同组相连接。

3、Kohonen网络

Kohonen网络或自组织特征映射网络含有两层，一个输入缓冲层用于接收输入模式，另一个为输出层，输出层的神经元一般按正则二维阵列排列，每个输出神经元连接至所有输入神经元。连接权值形成与已知输出神经元相连的参考矢量的分量。

4、Hopfield网络

Hopfield网络是一种典型的递归网络，这种网络通常只接受二进制输入（0或1）以及双极输入（+1或-1）。它含有一个单层神经元，每个神经元与所有其他神经元连接，形成递归结构。

扩展资料：

人工神经网络算法的历史背景：

该算法系统是 20 世纪 40 年代后出现的。它是由众多的神经元可调的连接权值连接而成，具有大规模并行处理、分布式信息存储、良好的自组织自学习能力等特点。

BP算法又称为误差反向传播算法，是人工神经网络中的一种监督式的学习算法。BP 神经网络算法在理论上可以逼近任意函数，基本的结构由非线性变化单元组成，具有很强的非线性映射能力。

而且网络的中间层数、各层的处理单元数及网络的学习系数等参数可根据具体情况设定，灵活性很大，在优化、信号处理与模式识别、智能控制、故障诊断等许 多领域都有着广泛的应用前景。

参考资料来源：百度百科——神经网络算法

三、解读反向传播算法（BackPropagation）

冒泡~周末愉快鸭！

举个例子：

如下图所示，这是 带有一个隐层的三层神经网络 ，

-小女孩→隐藏层节点

-小黄帽→输出层节点

-哆啦A梦→误差

小女孩左侧接受输入信号，经过隐层节点产生输出结果，哆啦A梦则指导参数往更优的方向调整。 由于哆啦A梦可以直接将误差反馈给小黄帽，所以与小黄帽直接相连的左侧参数矩阵可以直接通过误差进行参数优化（实纵线）；而与小女孩直接相连的左侧参数矩阵由于不能得到哆啦A梦的直接反馈而不能直接被优化（虚棕线）。但由于反向传播算法使得哆啦A梦的反馈可以被传递到小女孩那进而产生间接误差，所以与小女孩直接相连的左侧权重矩阵可以通过间接误差得到权重更新，迭代几轮，误差会降低到最小。（ 也就是说小男孩得到的是直接误差，小女孩是间接误差 ）

接下来将用例子演示整个过程

假设有下图这样一个带权值的网络层，第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h4和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。

通过前向传播我们得到输出值为[0.75136079 , 0.772928465]，与实际值[0.01 , 0.99]相差还很远，接下来我们对误差进行反向传播，更新权值，重新计算输出。

3.输入层---->隐含层的权值更新：

在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

根据BP算法的过程演示,可以得到BP算法的一般过程:

1. 正向传播FP(求损失)

此过程中，我们根据输入的样本、给定的初始化权重值W和偏置项的值b, 计算最终输出值以及输出值与实际值之间的损失值。（ 注意：如果损失值不在给定的范围内则进行接下来反向传播的过程， 否则停止W,b的更新。 ）

2.反向传播BP(回传误差)

将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元，从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。（ 主要为： ①隐层到输出层的参数W的更新 ②从输入层到隐层的参数W的更新。 ）

Ending~理解计算和公式还是很重要的鸭！

四、神经网络算法原理

4.2.1 概述

人工神经网络的研究与计算机的研究几乎是同步发展的。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的著作，并且现在仍是全球非线性科学研究的热点之一。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。

人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid 函数构成的模型（图 4-3）。

图4-3 人工神经元与两种常见的输出函数

神经网络学习及识别方法最初是借鉴人脑神经元的学习识别过程提出的。输入参数好比神经元接收信号，通过一定的权值（相当于刺激神经兴奋的强度）与神经元相连，这一过程有些类似于多元线性回归，但模拟的非线性特征是通过下一步骤体现的，即通过设定一阈值（神经元兴奋极限）来确定神经元的兴奋模式，经输出运算得到输出结果。经过大量样本进入网络系统学习训练之后，连接输入信号与神经元之间的权值达到稳定并可最大限度地符合已经经过训练的学习样本。在被确认网络结构的合理性和学习效果的高精度之后，将待预测样本输入参数代入网络，达到参数预测的目的。

4.2.2 反向传播算法（BP法）

发展到目前为止，神经网络模型不下十几种，如前馈神经网络、感知器、Hopfiled 网络、径向基函数网络、反向传播算法（BP法）等，但在储层参数反演方面，目前比较成熟比较流行的网络类型是误差反向传播神经网络（BP-ANN）。

BP网络是在前馈神经网络的基础上发展起来的，始终有一个输入层（它包含的节点对应于每个输入变量）和一个输出层（它包含的节点对应于每个输出值），以及至少有一个具有任意节点数的隐含层（又称中间层）。在 BP-ANN中，相邻层的节点通过一个任意初始权值全部相连，但同一层内各节点间互不相连。对于 BP-ANN，隐含层和输出层节点的基函数必须是连续的、单调递增的，当输入趋于正或负无穷大时，它应该接近于某一固定值，也就是说，基函数为“S”型（Kosko，1992）。BP-ANN 的训练是一个监督学习过程，涉及两个数据集，即训练数据集和监督数据集。

给网络的输入层提供一组输入信息，使其通过网络而在输出层上产生逼近期望输出的过程，称之为网络的学习，或称对网络进行训练，实现这一步骤的方法则称为学习算法。BP网络的学习过程包括两个阶段：第一个阶段是正向过程，将输入变量通过输入层经隐层逐层计算各单元的输出值；第二阶段是反向传播过程，由输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。误差信息通过网络反向传播，遵循误差逐步降低的原则来调整权值，直到达到满意的输出为止。网络经过学习以后，一组合适的、稳定的权值连接权被固定下来，将待预测样本作为输入层参数，网络经过向前传播便可以得到输出结果，这就是网络的预测。

反向传播算法主要步骤如下：首先选定权系数初始值，然后重复下述过程直至收敛（对各样本依次计算）。

（1）从前向后各层计算各单元O_j

储层特征研究与预测

（2）对输出层计算δ_j

储层特征研究与预测

（3）从后向前计算各隐层δ_j

储层特征研究与预测

（4）计算并保存各权值修正量

储层特征研究与预测

（5）修正权值

储层特征研究与预测

以上算法是对每个样本作权值修正，也可以对各个样本计算δ_j后求和，按总误差修正权值。

以上就是关于反向传播神经网络基本原理相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

openwrt反向代理（openwrt反向代理工具）

nginx反向代理内网访问外网（nginx反向代理内网访问外网文件）

nginx反向代理内网访问（nginx反向代理内网访问是什么）

杭州西湖四合院出售（杭州西湖边十大豪宅）

微信视频制作小程序