分类和回归的主要算法（分类和回归的主要算法是）

大家好！今天让创意岭的小编来大家介绍下关于分类和回归的主要算法的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、分类和聚类的区别及各自的常见算法

• 2、02-21：LR算法

• 3、有哪些简单的将回归方法运用到分类问题上的算法？

• 4、每个数据科学人都应该知道的7种回归技术

一、分类和聚类的区别及各自的常见算法

学习数据挖掘的朋友，对分类算法和聚类算法都很熟悉。无论是分类算法还是聚类算法，都有许多具体的算法来实现具体的数据分析需求。很多时候，我们难以判断选择分类或者聚类的场合是什么。我们最直观的概念是，分类和聚类都是把某个被分析的对象划分到某个类里面，所以觉得这两种方法实际上是差不多一回事。然而当我们学习了许多具体算法之后再回来看，分类和聚类所实现的数据分析功能实际上是大相径庭的，他们之间不仅仅有算法上的具体差异，更重要的是，甚至他们的应用领域和所解决的具体问题都不一样。

1.类别是否预先定义是最直观区别

算法书上往往这样解释二者的区别：分类是把某个对象划分到某个具体的已经定义的类别当中，而聚类是把一些对象按照具体特征组织到若干个类别里。虽然都是把某个对象划分到某个类别中，但是分类的类别是已经预定义的，而聚类操作时，某个对象所属的类别却不是预定义的。所以，对象所属类别是否为事先，是二者的最基本区别。而这个区别，仅仅是从算法实现流程来看的。

2.二者解决的具体问题不一样

分类算法的基本功能是做预测。我们已知某个实体的具体特征，然后想判断这个实体具体属于哪一类，或者根据一些已知条件来估计感兴趣的参数。比如：我们已知某个人存款金额是10000元，这个人没有结婚，并且有一辆车，没有固定住房，然后我们估计判断这个人是否会涉嫌信用欺诈问题。这就是最典型的分类问题，预测的结果为离散值，当预测结果为连续值时，分类算法可以退化为计量经济学中常见的回归模型。分类算法的根本目标是发现新的模式、新的知识，与数据挖掘数据分析的根本目标是一致的。

聚类算法的功能是降维。假如待分析的对象很多，我们需要归归类，划划简，从而提高数据分析的效率，这就用到了聚类的算法。很多智能的搜索引擎，会将返回的结果，根据文本的相似程度进行聚类，相似的结果聚在一起，用户就很容易找到他们需要的内容。聚类方法只能起到降低被分析问题的复杂程度的作用，即降维，一百个对象的分析问题可以转化为十个对象类的分析问题。聚类的目标不是发现知识，而是化简问题，聚类算法并不直接解决数据分析的问题，而最多算是数据预处理的过程。

3.有监督和无监督

分类是有监督的算法，而聚类是无监督的算法。有监督的算法并不是实时的，需要给定一些数据对模型进行训练，有了模型就能预测。新的待估计的对象来了的时候，套进模型，就得到了分类结果。而聚类算法是实时的，换句话说是一次性的，给定统计指标，根据对象与对象之间的相关性，把对象分为若干类。分类算法中，对象所属的类别取决于训练出来的模型，间接地取决于训练集中的数据。而聚类算法中，对象所属的类别，则取决于待分析的其他数据对象。

4.数据处理的顺序不同

分类算法中，待分析的数据是一个一个处理的，分类的过程，就像给数据贴标签的过程，来一个数据，我放到模型里，然后贴个标签。

聚类算法中，待分析的数据同时处理，来一堆数据过来，同时给分成几小堆。

因此，数据分类算法和数据聚类算法的最大区别是时效性问题。在已有数据模型的条件下，数据分类的效率往往比数据聚类的效率要高很多，因为一次只是一个对象被处理，而对于聚类结果来说，每当加入一个新的分析对象，类别结果都有可能发生改变，因此很有必要重新对所有的待分析对象进行计算处理。

5.典型的分类算法与聚类算法

典型的分类算法有：决策树，神经网络，支持向量机模型，Logistic回归分析，以及核估计等等。

聚类的方法有，基于链接关系的聚类算法，基于中心度的聚类算法，基于统计分布的聚类算法以及基于密度的聚类算法等等。

二、02-21：LR算法

LR算法

回头看LR算法真是异常简单啊

但是算法背后的数学原理想讲清楚也不容易

LR算法可以解决分类和回归问题

整个过程重点在于选择特征，以及特征离散化。

---特征、特征权重、预测值、预测分类

重要函数，见微知著：虽然是最简单的LR模型但是也是完整地完成整个做一个模型的流程。

1、激活函数： 

sigmoid 1/(1+e^(-x))

对应softmax:

2、损失函数：

交叉熵 loss     -[ylog(p)+(1-y)log(1-p)]

3、梯度下降：

sigmoid函数的导数是：x(1-x)

softmax的梯度求导：

4、参数更新：

softmax函数的参数更新过程：

softmax的公式：

e(wx)/(sum(e(wx))

参数更新的整体过程都为：

w=w-a.求导

得求导求到参数w的部分：

即为：

w=w-a.(求导结果).x

todo:

使用tensorflow完成lr模型，也是说一个最简单的lr模型，也是完成一个完整的模型~

参考资料

1、常见的损失函数(loss function)总结

https://zhuanlan.zhihu.com/p/58883095

2、softmax的log似然代价函数（公式求导）

https://blog.csdn.net/u014313009/article/details/51045303

三、有哪些简单的将回归方法运用到分类问题上的算法？

Logistics Regression是比较经典的对二分响应变量的建模和预测的统计方法。理论什么的都相对比较完善，结果也容易解释，但一般来说回归模型是广义线性的。而支撑向量机则模型更复杂，是非线性的。

四、每个数据科学人都应该知道的7种回归技术

介绍 线性回归和逻辑回归通常是人们在数据科学中学习的第一种算法。由于它们的受欢迎程度，许多分析师甚至认为它们是唯一的回归形式。哪儿些稍微有工作经验的人也会认为它们是所有回归分析形式的中最重要的。

事实是，有无数种形式的回归可以使用。每种形式的回归都有其自身的重要性和最适合应用的特定场景。在本文中，我会以简单的方式解释了数据科学中最常用的7种回归形式。通过这篇文章，我也希望人们能够对回归的广度有一个概念，而不是仅仅对他们遇到的每个问题应都用线性/逻辑回归，并希望他们能够使用这么多的回归技术！

如果您是数据科学的新手，并且正在寻找一个开始学习的地方，那么“ 数据科学 ”课程是一个很好的起点！它涵盖了Python，统计和预测建模的核心主题，它是你进入数据科学的第一步的完美方法。

什么是回归分析？

回归分析是预测建模技术的一种技术，它研究依赖（目标）和自变量（预测变量）之间的关系。该技术用于预测，时间序列建模和查找变量之间的因果关系。例如，通过回归可以最好地研究鲁莽驾驶与驾驶员发生道路交通事故数量之间的关系。

回归分析是建模和分析数据的重要工具。在这里，我们将曲线/直线线拟合到数据点，使得数据点距曲线或直线的距离之间的差异最小化。我将在接下来的章节中详细解释这一点。

为什么我们使用回归分析？

如上所述，回归分析是估计两个或更多变量之间的关系。让我们通过一个简单的例子来理解这一点：

比方说，你想根据当前的经济状况估算公司的销售增长率。您有最近的公司数据表明销售增长约为经济增长的2.5倍。利用这种洞察力，我们可以根据当前和过去的信息预测公司的未来销售情况。

使用回归分析有许多好处。如下：

它表明因变量和自变量之间的显着关系。 它表示多个自变量对一个因变量的影响强度。

回归分析还允许我们比较不同尺度上测量的变量的影响，例如价格变化的影响和促销活动的数量。这些优势有助于市场研究人员/数据分析师/数据科学家消除和评估用于构建预测模型的最佳变量集。

我们有多少种回归技术？

我们有各种各样的回归技术可用用于预测。这些技术主要由三个指标（自变量的数量，因变量的类型和回归线的形状）驱动。我们将在以下部分详细讨论它们。

对于创造性的，如果您觉得需要使用上述参数的组合，您甚至可以制作新的回归，以前人们没有使用过。但在开始之前，让我们了解最常用的回归：

1.线性回归

它是最广为人知的建模技术之一。线性回归通常是人们在学习预测建模时最先选择的几个方法之一。在该方法中，因变量是连续的，自变量可以是连续的或离散的，并且回归线的性质是线性的。

线性回归使用最佳拟合直线（也称为回归线）在因变量（Y）和一个或多个自变量（X）之间建立关系。

它由方程Y = a + b * X + e表示，其中a是截距，b是直线的斜率，e是误差项。该等式可以根据给定的预测变量预测目标变量的值。

简单线性回归和多元线性回归之间的区别在于，多元线性回归具有（> 1）个独立变量，而简单线性回归只有1个独立变量。现在的问题是“我们如何获得最佳拟合线？”。

如何获得最佳拟合线（a和b的值）？

这项任务可以通过最小二乘法轻松完成。它是用于拟合回归线的最常用方法。它通过最小化每个数据点到直线的垂直偏差的平方和来计算观测数据的最佳拟合线。因为偏差首先要平方，所以当相加时，正值和负值之间不会抵消。

我们可以使用度量的R平方来评估模型性能 。

重点： 自变量和因变量之间必须存在线性关系 多元回归存在多重共线性，自相关，异方差等问题。 线性回归对异常值非常敏感。它可以极大地影响回归线并最终影响预测值。 多重共线性可以增加系数估计的方差，并使估计对模型中的微小变化非常敏感。结果是系数估计不稳定 在多个独立变量的情况下，我们可以选择正向选择，逆向淘汰和逐步方法来选择最重要的自变量。 2. 逻辑回归

逻辑回归方法用于查找事件成功的概率和失败的概率。当因变量本质上是二进制（0/1，真/假，是/否）时，我们应该使用逻辑回归。这里Y值的范围从0到1，它可以用下面的等式表示。

odds = p /（1-p）=事件发生概率/非事件发生概率 ln（赔率）= ln（p /（1-p）） logit（p）= ln（p /（1-p））= b0 + b1X1 + b2X2 + b3X3 .... + bkXk

以上，p是存在感兴趣特征的概率。这时候你应该要问一个问题就是“为什么我们要在等式中使用对数log？”。

由于我们在这里使用的是二项分布（因变量），我们需要选择最适合此分布的链接函数。而且，它是logit函数。在上面的等式中，选择此参数是为了以最大化观察样本值的可能性，而不是最小化平方误差的总和（如在普通回归中一样）。

重点： 它被广泛用于分类问题 逻辑回归不需要依赖因变量和自变量之间的线性关系。它可以处理各种类型的关系，因为它将非线性对数变换应用于预测的优势比 为避免过度拟合和欠拟合，我们应该包括所有重要的变量。确保这种做法的一个好方法是使用逐步方法来估计逻辑回归 它需要较大样本量，因为在样本量较小时，最大似然估计的效率低于普通的最小二乘法 自变量不应相互关联，即不具有多重共线性。但是，我们可以选择在分析和模型中包含分类变量的交互作用。 如果因变量的值是序数，那么它被称为序数逻辑回归 如果因变量是多类的，那么它被称为多元逻辑回归。 3.多项式回归

如果自变量的幂大于1，则回归方程是多项式回归方程。下面的等式表示多项式方程：

Y = A + B * X ^ 2

在这种回归技术中，最佳拟合线不是直线。它是一条与数据点吻合的曲线。

重点： 虽然可能存在拟合更高次多项式以获得更低误差的诱惑，但这可能会导致过度拟合。始终绘制关系图以查看是否匹配，并专注于确保曲线符合问题的本质。以下是绘图如何帮助的示例： 特别注意的是末端的曲线，看看这些形状和趋势是否有意义。较高的多项式最终会产生奇怪的结果。 4.逐步回归

当我们处理多个自变量时，会使用这种形式的回归。在这种技术中，自变量的选择是在自动过程的帮助下完成的，这个过程是不需要人为的去进行干预的。

通过观察R方、t检验和AIC指标等统计值来识别重要变量，可以实现这一壮举。逐步回归基本上适合回归模型，通过基于指定的标准一次一个地添加/删除协变量。下面列出了一些最常用的逐步回归方法：

标准逐步回归做两件事。它根据每个步骤的需要添加和删除预测变量。 正向选择从模型中最重要的预测变量开始，并为每个步骤添加变量。 向后消除从模型中的所有预测变量开始，并删除每个步骤的最不重要的变量。

该建模技术的目的是以最少的预测变量来最大化预测能力。它是处理数据集更高维度的方法之一。

5.岭回归

岭回归是一种在数据存在多重共线性（自变量高度相关）时使用的技术。在多重共线性中，即使最小二乘估计（OLS）是无偏的，但它们的方差也很大，这使得观测值偏离真实值。通过在回归估计中增加一定程度的偏差，岭回归可以减少标准误差。

上面，我们看到了线性回归的方程。还记得嘛？它可以表示为：

y = a + b * x

这个方程也有一个误差项。完整的等式变为：

y = a + b * x + e（误差项），[误差项是校正观测值和预测值之间预测误差所需的值] 表示多个自变量，=> y = a + y = a + b1x1 + b2x2 + .... + e。

在线性方程中，预测误差可以分解为两个子分量。首先是由于偏差，第二是由于方差。由于这两个或两个组件中的任何一个，都可能发生预测错误。在这里，我们将讨论由于方差引起的错误。

岭回归通过收缩参数 λ（lambda）解决了多重共线性问题 。看下面的方程。

在这个方程中，我们有两个组成部分。第一个是最小二乘项，另一个是β2 （β平方）总和的λ，其中β是系数。这被添加到最小二乘项，以便缩小参数以具有非常低的方差。

重点： 该回归的假设与最小二乘回归相同，但不假设正态性 它会缩小系数的值，但不会达到零，这表明没有特征选择功能 这是一种正则化方法，并使用l2正则化。 6.Lasso回归

类似于岭回归，Lasso（最小绝对收缩和选择算子）也会对回归系数的绝对大小进行限制。此外，它还能够降低线性回归模型的可变性并提高其准确性。请看下面的方程：

Lasso回归与岭回归的不同之处在于，它在惩罚函数中使用绝对值而不是平方。这导致惩罚（或等效地约束估计值的绝对值的总和）值，从而导致一些参数估计值恰好为零。应用的惩罚越大，估计值就会缩小到绝对零值。这导致从给定的n个变量中进行变量选择。

重点： 该回归的假设与最小二乘回归相同，但不假设正态性 它将系数缩小到零（恰好为零），这肯定有助于特征选择 这是一种正则化方法并使用l1正则化 如果预测变量高度相关，则Lasso仅选取其中一个并将其他预测缩减为零 7.弹性网络回归

弹性网络回归是Lasso回归和岭回归技术的混合体。它使用L1和L2先验作为正则化器进行训练。当存在多个相关的特征时，弹性网络是很有用的。Lasso可能随机选择其中一种，而弹性网很可能同时选择两个。

在Lasso回归和岭回归之间进行权衡的一个实际优势是，它允许弹性网络在旋转下继承岭回归的一些稳定性。

重点： 在变量高度相关的情况下，它鼓励群体效应 所选变量的数量没有限制 它会受到双重收缩的影响 如何选择正确的回归模型？

当你只知道一两种技术时，生活通常是很简单的。我所知道的其中一个培训机构告诉他们的学生 - 如果结果是连续的 - 那就用线性回归。如果是二进制的 - 那就用逻辑回归！但是，我们可以使用的选项数量越多，选择正确的选项就越困难。回归模型也会发生类似的情况。

在多种类型的回归模型中，基于自变量和因变量的类型，数据中的维度以及数据的其他基本特征来选择最适合的回归方法是很重要的。以下是应该选择正确的回归模型的关键因素：

数据挖掘是构建预测模型的必然部分。在选择正确的模型之前，应该首先确定变量之间的相关系数和影响 为了比较不同模型的拟合优度，我们可以分析不同的指标，如参数的统计显著性，R方，调整后的R方，AIC指标，BIC指标和误差项。另一个是Mallow的Cp标准。这基本上通过将模型与所有可能的子模型（仔细选择它们）进行比较，来检查模型中可能存在的偏差。 交叉验证是评估用于预测的模型的最佳方式。在这里，可以将数据集分为两组（训练和验证）。观测值和预测值之间的简单均方差可以衡量预测的准确性。 如果你的数据集有多个混淆变量，则不应选择自动模型选择方法，因为你不会希望同时将它们放在模型中。 这也取决于你的目标。与具有高度统计意义的模型相比，功能较弱的模型更容易实现。 回归正则化方法（Lasso回归，岭回归和弹性网络回归）在数据集中各变量之间具有高维度和多重共线性的情况下运行良好。 结束语

到现在为止，我希望你已经对回归有所了解。考虑数据条件来应用这些回归技术。找出使用哪种技术的最佳技巧之一就是检查变量族，即离散变量还是连续变量。

在本文中，我讨论了7种类型的回归以及与每种技术相关的一些关键事实。作为这个行业的新人，我建议你学习这些技术，然后在你的模型中实现它们。

-以上就是作者推荐的七种数据科学人必知必会的七种回归模型，如果大家对这七种模型感兴趣，那就自己动手去实验一下吧，只知道理论是不够的，要多动手实验，才能真正的掌握这些模型。

7 Types of Regression Techniques you should know!

以上就是关于分类和回归的主要算法相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

文创产品的分类方式（文创产品的分类方式有）

广告的行业分类（广告的行业分类有哪些）

小红书怎么分组（小红书怎么做合集分类）

福州短视频拍摄公司（福州短视频拍摄公司有哪些）

2017快递排行榜（2020快递排行榜）