-
让品牌有温度、有情感
专注品牌策划15年
bp神经网络反向传播算法（bp神经网络反向传播算法是什么）
发布时间：2023-04-08 07:56:03
稿源：
创意岭 阅读：
143
大家好！今天让创意岭的小编来大家介绍下关于bp神经网络反向传播算法的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等
只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端
创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008
本文目录:
一、什么是BP算法
bp算法,即反向传播方法,是用来训练前向网络的一种普遍算法
二、一文搞懂DNN反向传播！
本文主要整理自下面的几篇博客：
1、深度神经网络（DNN）反向传播算法(BP)： https://www.cnblogs.com/pinard/p/6422831.html
2、机器学习中的矩阵、向量求导。 https://download.csdn.net/download/weixin_42074867/10405246
1、推导BPNN前需要了解的矩阵求导知识
1.1 矩阵／向量值函数对实数的导数
1.2 实值函数对矩阵／向量的导数
1.3 向量值函数对向量的求导(雅可比矩阵)
1.4 变量多次出现的求导法则
规则：若在函数表达式中，某个变量出现了多次，可以单独计算函数对自变量的每一次出现的导数，再把结果加起来。
1.5 向量求导的链式法则
1.6 一一对应关系下的矩阵求导
1.7 几个重要的结论
掌握了上面的一些基本知识之后，我们就可以顺利推导出神经网络的反向传播算法。
2、反向传播的推导
具体的推导过程可以参考文章开头给出的博客，下图是我手动推导的过程：
赞赏支持
链接：https://www.jianshu.com/p/ee08ed75844b
来源：
三、bp算法是什么？
误差反向传播算法：
BP算法的基本思想是，学习过程包括两个过程：信号前向传播和误差后向传播。
（1）前向传播:输入样本->输入层->各隐层(处理)->输出层。
（2）错误反向传播:输出错误(某种形式)->隐藏层(逐层)->输入层。
BP算法基本介绍：
多层隐含层前馈网络可以极大地提高神经网络的分类能力，但长期以来一直没有提出解决权值调整问题的博弈算法。
1986年，Rumelhart和McCelland领导的科学家团队出版了《并行分布式处理》一书，详细分析了具有非线性连续传递函数的多层前馈网络的误差反向比例（BP）算法，实现了Minsky关于多层网络的思想。由于误差的反向传播算法常用于多层前馈网络的训练，人们常直接称多层前馈网络为BP网络。
四、一文彻底搞懂BP算法：原理推导+数据演示+项目实战（上篇）
反向传播算法（Backpropagation Algorithm，简称BP算法）是深度学习的重要思想基础，对于初学者来说也是必须要掌握的基础知识！本文希望以一个清晰的脉络和详细的说明，来让读者彻底明白BP算法的原理和计算过程。
全文分为上下两篇，上篇主要介绍BP算法的原理（即公式的推导），介绍完原理之后，我们会将一些具体的数据带入一个简单的三层神经网络中，去完整的体验一遍BP算法的计算过程；下篇是一个项目实战，我们将带着读者一起亲手实现一个BP神经网络（不使用任何第三方的深度学习框架）来解决一个具体的问题。
图 1 所示是一个简单的三层（两个隐藏层，一个输出层）神经网络结构，假设我们使用这个神经网络来解决二分类问题，我们给这个网络一个输入样本 ，通过前向运算得到输出 。输出值 的值域为 ，例如 的值越接近0，代表该样本是"0"类的可能性越大，反之是"1"类的可能性大。
为了便于理解后续的内容，我们需要先搞清楚前向传播的计算过程，以图1所示的内容为例：
输入的样本为：
第一层网络的参数为：
第二层网络的参数为：
第三层网络的参数为：
第一层隐藏层有三个神经元： 、 和 。该层的输入为：
以 神经元为例，则其输入为：
同理有：
假设我们选择函数 作为该层的激活函数（图1中的激活函数都标了一个下标，一般情况下，同一层的激活函数都是一样的，不同层可以选择不同的激活函数），那么该层的输出为： 、 和 。
第二层隐藏层有两个神经元： 和 。该层的输入为：
即第二层的输入是第一层的输出乘以第二层的权重，再加上第二层的偏置。因此得到和的输入分别为：
该层的输出分别为： 和 。
输出层只有一个神经元 ：。该层的输入为：
即：
因为该网络要解决的是一个二分类问题，所以输出层的激活函数也可以使用一个Sigmoid型函数，神经网络最后的输出为： 。
在1.1节里，我们已经了解了数据沿着神经网络前向传播的过程，这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为 ，其中 是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于神经网络中各层参数（权重 和偏置 ）的偏导数。
假设我们要对第 层隐藏层的参数 和 求偏导数，即求 和 。假设 代表第 层神经元的输入，即 ，其中 为前一层神经元的输出，则根据链式法则有：
因此，我们只需要计算偏导数 、 和 。
前面说过，第k层神经元的输入为： ，因此可以得到：
上式中， 代表第 层神经元的权重矩阵 的第 行， 代表第 层神经元的权重矩阵 的第 行中的第 列。
我们以1.1节中的简单神经网络为例，假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数，则有：
因为偏置b是一个常数项，因此偏导数的计算也很简单：
依然以第一层隐藏层的神经元为例，则有：
偏导数 又称为 误差项（error term，也称为“灵敏度”） ，一般用 表示，例如 是第一层神经元的误差项，其值的大小代表了第一层神经元对于最终总误差的影响大小。
根据第一节的前向计算，我们知道第 层的输入与第 层的输出之间的关系为：
又因为 ，根据链式法则，我们可以得到 为：
由上式我们可以看到，第 层神经元的误差项 是由第 层的误差项乘以第 层的权重，再乘以第 层激活函数的导数（梯度）得到的。这就是误差的反向传播。
现在我们已经计算出了偏导数 、 和 ，则 和 可分别表示为：
下面是基于随机梯度下降更新参数的反向传播算法：
单纯的公式推导看起来有些枯燥，下面我们将实际的数据带入图1所示的神经网络中，完整的计算一遍。
我们依然使用如图5所示的简单的神经网络，其中所有参数的初始值如下：
输入的样本为（假设其真实类标为"1"）：
第一层网络的参数为：
第二层网络的参数为：
第三层网络的参数为：
假设所有的激活函数均为Logistic函数： 。使用均方误差函数作为损失函数：
为了方便求导，我们将损失函数简化为：
我们首先初始化神经网络的参数，计算第一层神经元：
上图中我们计算出了第一层隐藏层的第一个神经元的输入 和输出 ，同理可以计算第二个和第三个神经元的输入和输出：
接下来是第二层隐藏层的计算，首先我们计算第二层的第一个神经元的输入z₄和输出f₄(z₄)：
同样方法可以计算该层的第二个神经元的输入 和输出 ：
最后计算输出层的输入 和输出 ：
首先计算输出层的误差项 ，我们的误差函数为 ，由于该样本的类标为“1”，而预测值为 ，因此误差为 ，输出层的误差项为：
接着计算第二层隐藏层的误差项，根据误差项的计算公式有：
最后是计算第一层隐藏层的误差项：
以上就是关于bp神经网络反向传播算法相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
赣公网安备 50019002502384号
