神经网络分类器（神经网络分类器原理）

大家好！今天让创意岭的小编来大家介绍下关于神经网络分类器的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、神经网络中的对抗攻击与对抗样本

• 2、什么是BP神经网络？

• 3、如何通过人工神经网络实现图像识别

• 4、设计一个BP神经网络分类器进行分类，输入向量为P=（1 -1 -2 -4；2 1 1 0），输出向量为T=（0 1 1 0）

一、神经网络中的对抗攻击与对抗样本

对抗攻击

对抗攻击论文参考：

《Intriguing properties of neural networks》

《神经网络有趣的特性》

《Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey》，以下简称『Survey』。

图片做适当修改后能欺骗深度学习模型的可能性

1.举例理解：

左边是一张能够被GoogLeNet正常分类为熊猫的图片，在添加一定的噪音后变成右图，在人的肉眼看来，它还是熊猫，但GoogLeNet会判定为长臂猿。这种被修改后人类无法明显察觉，却被机器识别错误的数据即为 对抗样本 ，而这整个过程就可以理解为 对抗攻击 。

2.数学理解：

神经网络中每层神经元的输入 a = g(Wx+b)，其中 g 为激活函数，W 为权重参数，x 为上一层的样本数据，b 为偏置参数，那么从拓扑学角度来看，在一个二维平面上，这个过程相当于哪几个步骤呢？

（1）一次使用权重参数矩阵 W 的线性变换

（2）一次使用偏执向量 b 的移动

（3）一次应用非线性激活函数 g 的变换

在 二维平面 ，其实是将整个平面进行了 旋转、移动和拉伸 三步。

分类问题

简单分类问题：通过较少几次变换将问题转换为一条直线可分割的空间。

既是一层神经网络就可以完成分类，通过变换空间布局，最终通过一条直线完成分类。

举例：

简单转换ing........

转换结果看下图

复杂分类问题：通过多几次的转换完成将问题转换为一条直线可分割的空间。

就是多层神经网络完成分类，通过变换空间布局，最终通过一条直线完成分类。

举例：

动态多步转换

以上是从低维度理解神经网络的训练，其中也有难以拉伸的例外，下图所示的圆套圆的情况，就是难以在二维空间将其拉伸到理想的位置的例子。

但，增加神经元，可以在 三维空间 中轻松将其分离。

看！

归纳 同样对于复杂问题可以通过，增加神经元在高维度通过更长且复杂的方式解决。

但是例如两个相互套起来的环，按照推测需要在四维空间中才能完全分开，然而我们难以想象四维空间，在现实世界的数据集中，这种死结或者缠绕问题可能会更复杂。

对于神经网络来，可以选择 将打成死结的数据尽可能拉伸开，而不是完全解开 ，如下图，对于分类问题来说，已经具有较高的准确率和召回率。

部分情况下，为了更精确地分类，较宽的神经网络可能相对深度来说更重要。

综上所述

1. 神经网络中包含语义信息的不在每个独立的神经单元，而是整个空间。 神经网络在最后一层能将样本中诸多变化的因子理清楚并理解其语义，并不是因为某个独立神经元中包含了什么特定的语义，而是 对整个空间进行变换后从最终的表征层中学到的 ，经过学习，神经网络会 放大某些相关因子，同时缩小某些无关因子 。

2. 神经网络学习到的输入到输出的映射在很大程度上是不连续的。 就像上面图中为了解开一个死结所做的拉伸结果一样， 在人看来，在拉伸距离较大的地方我们可以认为这种映射是连续的， 然而 对于仍然缠绕在一起的部分，之前可以用来划分界限的直线或者超平面已经无法连续 。

通过仔细观察可以区分出来，但是上文只是一个简单的例子，现实世界中的真实数据较为复杂，对于肉眼来说可能很难分清楚缠绕在一起的部分。对于神经网络来说， 对抗样本已经严重的跨过了用于分类的界限 ，而对于肉眼其实还 看不出来它有移动。

（）线性特性的攻击行为（）和（）高效制造对抗样本的方法（）

参考论文：

《Explaining and harnessing adversarial examples》

《对抗性例子的解读和掌握》

深度神经网络在高纬空间中的线性特性已经足以产生这种攻击行为 ，并提出了一种 更高效生成对抗样本的方法 ，接下来我们就简单分析一下这一理论和方法。

目前神经网络为了提高训练效率所使用的激活函数在局部都过于线性。

例如：

类比先前举出的拓扑学例子，在 最后的表征层 都是 通过直线或超平面完成的分类 ，在线性的假设下，暂且不通过二维或三维空间来理解，先从一个简单的数学公式角度开始。

数学解释

公式内容解释：

w 是训练好的参数向量

x 表示真实样本数据向量

η 表示给图像加入的噪音向量

x ~表示加入噪音后新生成的样本

当加入足够小的 η 时，肉眼无法区分出 x 的变化，直观感觉上左边的式子可能也不会变化很大。

事实上 ，然而 η 当的方向与 w 完全一致的时候，即使很小，也会使整个激活值变化很大。

假设证明：

如果 w 是一个 n 维向量，而其权值的平均大小为 m，那么激活值将会增加 nm。可见，在一个肉眼几乎无法差觉的扰动干扰下，对神经网络最终激活层的计算会产生巨大的干扰，从而迷惑神经网络训练出来的模型。

寻找正确方向

当 η 与 w 的方向一致时会使激活值最大，那么，如何找到这个正确的方向呢？

结论，那就是损失函数在待构造样本上的梯度方向，即下面的式子。

ε 是一个调节系数

sign() 是一个符号函数，代表的意思也很简单，就是取一个值的符号

（当值大于 0 时取 1，当值等于 0 时取 0，当值小于 0 时取 -1）

▽ 表示求 x 的梯度，可以理解为偏导，

J 是训练模型的损失函数。

结论的由来

在正常的神经网络模型训练过程中，有一个过程叫反向传播，就是对参数求偏导，然后将参数更新，我们结合下面这张图看一下。

假设图中的函数即为 损失函数 ，为了使损失函数降到最低，我们会根据当前值的梯度去调整。

当梯度小于 0 的时候我们可以看出，当前值需要右移。

而当梯度大于 0 的时候，当前值需要左移。

这个过程实际上就是用 θ 减去 θ。扩展到损失函数 J(θ, x, y) 中，θ 即为 我们要调整的参数 ，因此在样本 x 和 y 不改变的情况下，我们会**不断去调整参数 θ **以寻求局部最优解，即 θ = θ - θ 。

生成对抗样本，也可以采用类似的方法，那就是 固定参数 θ，调整 x 同时使损失函数增大 ，而不是变小，此时就应该让 x 往相反的方向走，即 x = x + x ，这样是不是很容易可以理解上面 η 的定义呢？在实践中，我们还需要通过 ε 这个参数来 调节噪音的大小 ，这种方法相比之前提到的优化方法非常高效，基本只需要一次计算就可以找到对抗样本，因此作者将这种方法叫做 快速梯度符号法 （Fast Gradient Sign Method，FGSM）。总结一下FGSM，这种方法通过替换目标值 y 就可以 让攻击样本朝着指定的分类目标走 ，即，可以做任意目标的欺骗。

将线性假设简化到二维空间，我们要求的 η 其方向正好就接近于参数 w 的方向，不再展开说明，有兴趣的读者可以自行画一画。

建立在一个高维空间线性的假设或猜测前提下，需要 实验 支撑，根据下列图片分析展开。

图片解释

这张图是对数据集CIFAR-10的分类器的决策边界示意图。

其中每个小格子代表的是不同的CIFAR-10样本，

每个小格子中：

横向从左往右代表的是FGSM算法中的梯度方向，

纵向代表的是FGSM梯度方向的正交方向，

白色表示模型能分类正确的情况

彩色代表预测出错的情况

不同的颜色代表不同的错误预测分类。

可以看出，在出错的区域都程线性分布，另外，如果横轴的方向走的不够远，即便再往其他方向走都无法使模型出错，而一单进入这个区域，就会出现大量的对抗样本。而在随机找到的对抗样本中，这种分布也是很随机的，甚至很难找到，见下图。

从实验结果表明

高维空间中的线性假设也是合理的

举例

一匹叫做 Clever Hans 的马，刚出现的时候人们认为这匹马会做算术，但实际上它只是会阅读人的表情，当它点马蹄的次数接近正确答案时，人们的表情会更兴奋，它就知道该这个时候停止了。

隐喻神经网络，一个测试效果良好的分类器，其实并不像人类一样学习到了所分类样本的真正底层概念，只不过刚好构建了一个在训练数据上运行相当良好的模型，所以，你以为你以为的就是你以为的吗？

分类器能够在训练集的不同子集上训练时获得大致相同的分类权重，因为机器学习算法能够泛化， 基础分类权重的稳定性反过来又会导致对抗性样本的稳定性。因此， 对抗攻击可以认为是存在于任何神经网络模型。

以上是论文二的线性特性的攻击行为

高效制造对抗样本的方法

目前来看还没有能够完全抵抗这种攻击的方法，其实结合攻击的原理也不难看出，即便分类器做得再好，总能使一个样本用最小的干扰走到错误的分类区域，我们能做的更多是如何构造鲁棒性更强的模型，同时也保持对这个领域的关注。『Survey』（注意第一篇论文的引用有注释）中总结的目前抵御攻击的办法可以分为三大类：

1.修改训练样本 ———— 通过添加更多的对抗样本到训练集中可以有效避免一部分攻击 ，但这更像是一种无奈的做法， 当扩大样本集的时候，其实分类边界有可能也在随之扩大 。

2.修改训练网络 ，这类方法会对训练网络做出一定调整，其中有一种方式是模拟生物学 在最后一层使用更加非线性的激活函数 ，但这种方式又会 导致训练效率和效果下降 。修改训练网络的方法分为 完全抵抗 和 仅检测 两种方式，完全抵抗其实就是让模型能将对抗样本识别为正确的分类，而仅检测是为了发现这种攻击样本，从而拒绝服务。

3.附加网络 ，这种方式是在 不改变原有模型的情况下使用额外的网络进行辅助 ，这样可以使原有网络保持不变，其中最有效的一种方式是生成式对抗网络——GAN。同样的，这种方式也分为 完全抵抗 和 仅检测 两种方式。

总结一下

定义：

对抗样本：是指在数据集中通过故意添加细微的干扰所形成的输入样本，会导致模型以高置信度给出一个错误的输出。

原因分析：

对抗样本出现的主要原因之一是过度线性， 神经网络主要是基于线性块构建的，实现的整体函数被证明是高度线性的，如果一个线性函数具有许多输入，那么它的值可以非常迅速地改变。

参考：

二、什么是BP神经网络？

BP算法的基本思想是：学习过程由信号正向传播与误差的反向回传两个部分组成；正向传播时，输入样本从输入层传入，经各隐层依次逐层处理，传向输出层，若输出层输出与期望不符，则将误差作为调整信号逐层反向回传，对神经元之间的连接权矩阵做出处理，使误差减小。经反复学习，最终使误差减小到可接受的范围。具体步骤如下：

1、从训练集中取出某一样本，把信息输入网络中。

2、通过各节点间的连接情况正向逐层处理后，得到神经网络的实际输出。

3、计算网络实际输出与期望输出的误差。

4、将误差逐层反向回传至之前各层，并按一定原则将误差信号加载到连接权值上，使整个神经网络的连接权值向误差减小的方向转化。

5、対训练集中每一个输入—输出样本对重复以上步骤，直到整个训练样本集的误差减小到符合要求为止。

三、如何通过人工神经网络实现图像识别

人工神经网络（Artificial Neural Networks）（简称ANN）系统从20 世纪40 年代末诞生至今仅短短半个多世纪，但由于他具有信息的分布存储、并行处理以及自学习能力等优点，已经在信息处理、模式识别、智能控制及系统建模等领域得到越来越广泛的应用。尤其是基于误差反向传播（Error Back Propagation）算法的多层前馈网络（Multiple-Layer Feedforward Network）(简称BP 网络)，可以以任意精度逼近任意的连续函数，所以广泛应用于非线性建模、函数逼近、模式分类等方面。

目标识别是模式识别领域的一项传统的课题，这是因为目标识别不是一个孤立的问题，而是模式识别领域中大多数课题都会遇到的基本问题，并且在不同的课题中，由于具体的条件不同，解决的方法也不尽相同，因而目标识别的研究仍具有理论和实践意义。这里讨论的是将要识别的目标物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，用神经网络识别图像的问题。

一、BP 神经网络

BP 网络是采用Widrow-Hoff 学习算法和非线性可微转移函数的多层网络。一个典型的BP 网络采用的是梯度下降算法，也就是Widrow-Hoff 算法所规定的。backpropagation 就是指的为非线性多层网络计算梯度的方法。一个典型的BP 网络结构如图所示。

我们将它用向量图表示如下图所示。

其中：对于第k 个模式对，输出层单元的j 的加权输入为

该单元的实际输出为

而隐含层单元i 的加权输入为

该单元的实际输出为

函数f 为可微分递减函数

其算法描述如下：

（1）初始化网络及学习参数，如设置网络初始权矩阵、学习因子等。

（2）提供训练模式，训练网络，直到满足学习要求。

（3）前向传播过程：对给定训练模式输入，计算网络的输出模式，并与期望模式比较，若有误差，则执行（4）；否则，返回（2）。

（4）后向传播过程：a. 计算同一层单元的误差；b. 修正权值和阈值；c. 返回（2）

二、 BP 网络隐层个数的选择

对于含有一个隐层的三层BP 网络可以实现输入到输出的任何非线性映射。增加网络隐层数可以降低误差，提高精度，但同时也使网络复杂化，增加网络的训练时间。误差精度的提高也可以通过增加隐层结点数来实现。一般情况下，应优先考虑增加隐含层的结点数。

三、隐含层神经元个数的选择

当用神经网络实现网络映射时，隐含层神经元个数直接影响着神经网络的学习能力和归纳能力。隐含层神经元数目较少时，网络每次学习的时间较短，但有可能因为学习不足导致网络无法记住全部学习内容；隐含层神经元数目较大时，学习能力增强，网络每次学习的时间较长，网络的存储容量随之变大，导致网络对未知输入的归纳能力下降，因为对隐含层神经元个数的选择尚无理论上的指导，一般凭经验确定。

四、神经网络图像识别系统

人工神经网络方法实现模式识别，可处理一些环境信息十分复杂，背景知识不清楚，推理规则不明确的问题，允许样品有较大的缺损、畸变，神经网络方法的缺点是其模型在不断丰富完善中，目前能识别的模式类还不够多，神经网络方法允许样品有较大的缺损和畸变，其运行速度快，自适应性能好，具有较高的分辨率。

神经网络的图像识别系统是神经网络模式识别系统的一种，原理是一致的。一般神经网络图像识别系统由预处理，特征提取和神经网络分类器组成。预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等。神经网络图像识别系统中的特征提取部分不一定存在，这样就分为两大类：① 有特征提取部分的：这一类系统实际上是传统方法与神经网络方法技术的结合，这种方法可以充分利用人的经验来获取模式特征以及神经网络分类能力来识别目标图像。特征提取必须能反应整个图像的特征。但它的抗干扰能力不如第2类。② 无特征提取部分的：省去特征抽取，整副图像直接作为神经网络的输入，这种方式下，系统的神经网络结构的复杂度大大增加了，输入模式维数的增加导致了网络规模的庞大。此外，神经网络结构需要完全自己消除模式变形的影响。但是网络的抗干扰性能好，识别率高。

当BP 网用于分类时，首先要选择各类的样本进行训练，每类样本的个数要近似相等。其原因在于一方面防止训练后网络对样本多的类别响应过于敏感，而对样本数少的类别不敏感。另一方面可以大幅度提高训练速度，避免网络陷入局部最小点。

由于BP 网络不具有不变识别的能力，所以要使网络对模式的平移、旋转、伸缩具有不变性，要尽可能选择各种可能情况的样本。例如要选择不同姿态、不同方位、不同角度、不同背景等有代表性的样本，这样可以保证网络有较高的识别率。

构造神经网络分类器首先要选择适当的网络结构：神经网络分类器的输入就是图像的特征向量；神经网络分类器的输出节点应该是类别数。隐层数要选好，每层神经元数要合适，目前有很多采用一层隐层的网络结构。然后要选择适当的学习算法，这样才会有很好的识别效果。在学习阶段应该用大量的样本进行训练学习，通过样本的大量学习对神经网络的各层网络的连接权值进行修正，使其对样本有正确的识别结果，这就像人记数字一样，网络中的神经元就像是人脑细胞，权值的改变就像是人脑细胞的相互作用的改变，神经网络在样本学习中就像人记数字一样，学习样本时的网络权值调整就相当于人记住各个数字的形象，网络权值就是网络记住的内容，网络学习阶段就像人由不认识数字到认识数字反复学习过程是一样的。神经网络是按整个特征向量的整体来记忆图像的，只要大多数特征符合曾学习过的样本就可识别为同一类别，所以当样本存在较大噪声时神经网络分类器仍可正确识别。在图像识别阶段，只要将图像的点阵向量作为神经网络分类器的输入，经过网络的计算，分类器的输出就是识别结果。

五、仿真实验

1、实验对象

本实验用MATLAB 完成了对神经网络的训练和图像识别模拟。从实验数据库中选择0～9 这十个数字的BMP 格式的目标图像。图像大小为16×8 像素，每个目标图像分别加10％、20％、30％、40％、50％大小的随机噪声，共产生60 个图像样本。将样本分为两个部分，一部分用于训练，另一部分用于测试。实验中用于训练的样本为40个，用于测试的样本为20 个。随机噪声调用函数randn(m,n)产生。

2、网络结构

本试验采用三层的BP 网络，输入层神经元个数等于样本图像的象素个数16×8 个。隐含层选24 个神经元，这是在试验中试出的较理想的隐层结点数。输出层神经元个数就是要识别的模式数目，此例中有10 个模式，所以输出层神经元选择10 个，10 个神经元与10 个模式一一对应。

3、基于MATLAB 语言的网络训练与仿真

建立并初始化网络

% ================
S1 = 24;% 隐层神经元数目S1 选为24
[R,Q] = size(numdata);
[S2,Q] = size(targets);
F = numdata;
P=double(F);
net = newff(minmax(P),[S1 S2],{'logsig'
'logsig'},'traingda','learngdm')

这里numdata 为训练样本矩阵，大小为128×40， targets 为对应的目标输出矩阵，大小为10×40。

newff(PR,[S1 S2…SN],{TF1 TF2…TFN}，BTF,BLF,PF)为MATLAB 函数库中建立一个N 层

前向BP 网络的函数，函数的自变量PR 表示网络输入矢量取值范围的矩阵[Pmin max];S1~SN 为各层神经元的个数；TF1~TFN 用于指定各层神经元的传递函数；BTF 用于指定网络的训练函数；BLF 用于指定权值和阀值的学习函数；PF 用于指定网络的性能函数，缺省值为‘mse’。

设置训练参数

net.performFcn = 'sse'; %平方和误差
性能函数
net.trainParam.goal = 0.1; %平方和误
差目标
net.trainParam.show = 20; %进程显示
频率
net.trainParam.epochs = 5000;%最大训
练步数
net.trainParam.mc = 0.95; %动量常数
网络训练
net=init(net);%初始化网络
[net,tr] = train(net,P,T);％网络训练
对训练好的网络进行仿真
D=sim(net,P);
A = sim(net,B);

B 为测试样本向量集,128×20 的点阵。D 为网络对训练样本的识别结果，A 为测试样本的网络识别结果。实验结果表明：网络对训练样本和对测试样本的识别率均为100％。如图为64579五个数字添加50%随机噪声后网络的识别结果。

六、总结

从上述的试验中已经可以看出，采用神经网络识别是切实可行的，给出的例子只是简单的数字识别实验，要想在网络模式下识别复杂的目标图像则需要降低网络规模，增加识别能力，原理是一样的。

四、设计一个BP神经网络分类器进行分类，输入向量为P=（1 -1 -2 -4；2 1 1 0），输出向量为T=（0 1 1 0）

y =

0.6544 0.6499 0.6500 0.6499

是预测的输出变量

以上就是关于神经网络分类器相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

深度神经网络的定义（深度神经网络的定义是什么）

循环神经网络应用举例（循环神经网络应用举例分析）

内科排行榜（全国神经内科排行榜）

下列对各种分工方式的叙述正确的是（下列对各种分工方式的叙述正确的是）

杭州最繁华的cbd（杭州最繁华的商场是哪个-）