逻辑回归是属于什么算法（逻辑回归是属于什么算法的）

大家好！今天让创意岭的小编来大家介绍下关于逻辑回归是属于什么算法的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。

开始之前先推荐一个非常厉害的Ai人工智能工具，一键生成原创文章、方案、文案、工作计划、工作报告、论文、代码、作文、做题和对话答疑等等

只需要输入关键词，就能返回你想要的内容，越精准，写出的就越详细，有微信小程序端、在线网页版、PC客户端

官网：https://ai.de1919.com。

创意岭作为行业内优秀的企业，服务客户遍布全球各地，如需了解SEO相关业务请拨打电话175-8598-2043，或添加微信：1454722008

本文目录:

• 1、每个数据科学人都应该知道的7种回归技术

• 2、有监督和无监督的算法分别有哪些

• 3、逻辑回归和线性回归的区别是什么？

• 4、机器学习故事汇-逻辑回归算法

一、每个数据科学人都应该知道的7种回归技术

介绍 线性回归和逻辑回归通常是人们在数据科学中学习的第一种算法。由于它们的受欢迎程度，许多分析师甚至认为它们是唯一的回归形式。哪儿些稍微有工作经验的人也会认为它们是所有回归分析形式的中最重要的。

事实是，有无数种形式的回归可以使用。每种形式的回归都有其自身的重要性和最适合应用的特定场景。在本文中，我会以简单的方式解释了数据科学中最常用的7种回归形式。通过这篇文章，我也希望人们能够对回归的广度有一个概念，而不是仅仅对他们遇到的每个问题应都用线性/逻辑回归，并希望他们能够使用这么多的回归技术！

如果您是数据科学的新手，并且正在寻找一个开始学习的地方，那么“ 数据科学 ”课程是一个很好的起点！它涵盖了Python，统计和预测建模的核心主题，它是你进入数据科学的第一步的完美方法。

什么是回归分析？

回归分析是预测建模技术的一种技术，它研究依赖（目标）和自变量（预测变量）之间的关系。该技术用于预测，时间序列建模和查找变量之间的因果关系。例如，通过回归可以最好地研究鲁莽驾驶与驾驶员发生道路交通事故数量之间的关系。

回归分析是建模和分析数据的重要工具。在这里，我们将曲线/直线线拟合到数据点，使得数据点距曲线或直线的距离之间的差异最小化。我将在接下来的章节中详细解释这一点。

为什么我们使用回归分析？

如上所述，回归分析是估计两个或更多变量之间的关系。让我们通过一个简单的例子来理解这一点：

比方说，你想根据当前的经济状况估算公司的销售增长率。您有最近的公司数据表明销售增长约为经济增长的2.5倍。利用这种洞察力，我们可以根据当前和过去的信息预测公司的未来销售情况。

使用回归分析有许多好处。如下：

它表明因变量和自变量之间的显着关系。 它表示多个自变量对一个因变量的影响强度。

回归分析还允许我们比较不同尺度上测量的变量的影响，例如价格变化的影响和促销活动的数量。这些优势有助于市场研究人员/数据分析师/数据科学家消除和评估用于构建预测模型的最佳变量集。

我们有多少种回归技术？

我们有各种各样的回归技术可用用于预测。这些技术主要由三个指标（自变量的数量，因变量的类型和回归线的形状）驱动。我们将在以下部分详细讨论它们。

对于创造性的，如果您觉得需要使用上述参数的组合，您甚至可以制作新的回归，以前人们没有使用过。但在开始之前，让我们了解最常用的回归：

1.线性回归

它是最广为人知的建模技术之一。线性回归通常是人们在学习预测建模时最先选择的几个方法之一。在该方法中，因变量是连续的，自变量可以是连续的或离散的，并且回归线的性质是线性的。

线性回归使用最佳拟合直线（也称为回归线）在因变量（Y）和一个或多个自变量（X）之间建立关系。

它由方程Y = a + b * X + e表示，其中a是截距，b是直线的斜率，e是误差项。该等式可以根据给定的预测变量预测目标变量的值。

简单线性回归和多元线性回归之间的区别在于，多元线性回归具有（> 1）个独立变量，而简单线性回归只有1个独立变量。现在的问题是“我们如何获得最佳拟合线？”。

如何获得最佳拟合线（a和b的值）？

这项任务可以通过最小二乘法轻松完成。它是用于拟合回归线的最常用方法。它通过最小化每个数据点到直线的垂直偏差的平方和来计算观测数据的最佳拟合线。因为偏差首先要平方，所以当相加时，正值和负值之间不会抵消。

我们可以使用度量的R平方来评估模型性能 。

重点： 自变量和因变量之间必须存在线性关系 多元回归存在多重共线性，自相关，异方差等问题。 线性回归对异常值非常敏感。它可以极大地影响回归线并最终影响预测值。 多重共线性可以增加系数估计的方差，并使估计对模型中的微小变化非常敏感。结果是系数估计不稳定 在多个独立变量的情况下，我们可以选择正向选择，逆向淘汰和逐步方法来选择最重要的自变量。 2. 逻辑回归

逻辑回归方法用于查找事件成功的概率和失败的概率。当因变量本质上是二进制（0/1，真/假，是/否）时，我们应该使用逻辑回归。这里Y值的范围从0到1，它可以用下面的等式表示。

odds = p /（1-p）=事件发生概率/非事件发生概率 ln（赔率）= ln（p /（1-p）） logit（p）= ln（p /（1-p））= b0 + b1X1 + b2X2 + b3X3 .... + bkXk

以上，p是存在感兴趣特征的概率。这时候你应该要问一个问题就是“为什么我们要在等式中使用对数log？”。

由于我们在这里使用的是二项分布（因变量），我们需要选择最适合此分布的链接函数。而且，它是logit函数。在上面的等式中，选择此参数是为了以最大化观察样本值的可能性，而不是最小化平方误差的总和（如在普通回归中一样）。

重点： 它被广泛用于分类问题 逻辑回归不需要依赖因变量和自变量之间的线性关系。它可以处理各种类型的关系，因为它将非线性对数变换应用于预测的优势比 为避免过度拟合和欠拟合，我们应该包括所有重要的变量。确保这种做法的一个好方法是使用逐步方法来估计逻辑回归 它需要较大样本量，因为在样本量较小时，最大似然估计的效率低于普通的最小二乘法 自变量不应相互关联，即不具有多重共线性。但是，我们可以选择在分析和模型中包含分类变量的交互作用。 如果因变量的值是序数，那么它被称为序数逻辑回归 如果因变量是多类的，那么它被称为多元逻辑回归。 3.多项式回归

如果自变量的幂大于1，则回归方程是多项式回归方程。下面的等式表示多项式方程：

Y = A + B * X ^ 2

在这种回归技术中，最佳拟合线不是直线。它是一条与数据点吻合的曲线。

重点： 虽然可能存在拟合更高次多项式以获得更低误差的诱惑，但这可能会导致过度拟合。始终绘制关系图以查看是否匹配，并专注于确保曲线符合问题的本质。以下是绘图如何帮助的示例： 特别注意的是末端的曲线，看看这些形状和趋势是否有意义。较高的多项式最终会产生奇怪的结果。 4.逐步回归

当我们处理多个自变量时，会使用这种形式的回归。在这种技术中，自变量的选择是在自动过程的帮助下完成的，这个过程是不需要人为的去进行干预的。

通过观察R方、t检验和AIC指标等统计值来识别重要变量，可以实现这一壮举。逐步回归基本上适合回归模型，通过基于指定的标准一次一个地添加/删除协变量。下面列出了一些最常用的逐步回归方法：

标准逐步回归做两件事。它根据每个步骤的需要添加和删除预测变量。 正向选择从模型中最重要的预测变量开始，并为每个步骤添加变量。 向后消除从模型中的所有预测变量开始，并删除每个步骤的最不重要的变量。

该建模技术的目的是以最少的预测变量来最大化预测能力。它是处理数据集更高维度的方法之一。

5.岭回归

岭回归是一种在数据存在多重共线性（自变量高度相关）时使用的技术。在多重共线性中，即使最小二乘估计（OLS）是无偏的，但它们的方差也很大，这使得观测值偏离真实值。通过在回归估计中增加一定程度的偏差，岭回归可以减少标准误差。

上面，我们看到了线性回归的方程。还记得嘛？它可以表示为：

y = a + b * x

这个方程也有一个误差项。完整的等式变为：

y = a + b * x + e（误差项），[误差项是校正观测值和预测值之间预测误差所需的值] 表示多个自变量，=> y = a + y = a + b1x1 + b2x2 + .... + e。

在线性方程中，预测误差可以分解为两个子分量。首先是由于偏差，第二是由于方差。由于这两个或两个组件中的任何一个，都可能发生预测错误。在这里，我们将讨论由于方差引起的错误。

岭回归通过收缩参数 λ（lambda）解决了多重共线性问题 。看下面的方程。

在这个方程中，我们有两个组成部分。第一个是最小二乘项，另一个是β2 （β平方）总和的λ，其中β是系数。这被添加到最小二乘项，以便缩小参数以具有非常低的方差。

重点： 该回归的假设与最小二乘回归相同，但不假设正态性 它会缩小系数的值，但不会达到零，这表明没有特征选择功能 这是一种正则化方法，并使用l2正则化。 6.Lasso回归

类似于岭回归，Lasso（最小绝对收缩和选择算子）也会对回归系数的绝对大小进行限制。此外，它还能够降低线性回归模型的可变性并提高其准确性。请看下面的方程：

Lasso回归与岭回归的不同之处在于，它在惩罚函数中使用绝对值而不是平方。这导致惩罚（或等效地约束估计值的绝对值的总和）值，从而导致一些参数估计值恰好为零。应用的惩罚越大，估计值就会缩小到绝对零值。这导致从给定的n个变量中进行变量选择。

重点： 该回归的假设与最小二乘回归相同，但不假设正态性 它将系数缩小到零（恰好为零），这肯定有助于特征选择 这是一种正则化方法并使用l1正则化 如果预测变量高度相关，则Lasso仅选取其中一个并将其他预测缩减为零 7.弹性网络回归

弹性网络回归是Lasso回归和岭回归技术的混合体。它使用L1和L2先验作为正则化器进行训练。当存在多个相关的特征时，弹性网络是很有用的。Lasso可能随机选择其中一种，而弹性网很可能同时选择两个。

在Lasso回归和岭回归之间进行权衡的一个实际优势是，它允许弹性网络在旋转下继承岭回归的一些稳定性。

重点： 在变量高度相关的情况下，它鼓励群体效应 所选变量的数量没有限制 它会受到双重收缩的影响 如何选择正确的回归模型？

当你只知道一两种技术时，生活通常是很简单的。我所知道的其中一个培训机构告诉他们的学生 - 如果结果是连续的 - 那就用线性回归。如果是二进制的 - 那就用逻辑回归！但是，我们可以使用的选项数量越多，选择正确的选项就越困难。回归模型也会发生类似的情况。

在多种类型的回归模型中，基于自变量和因变量的类型，数据中的维度以及数据的其他基本特征来选择最适合的回归方法是很重要的。以下是应该选择正确的回归模型的关键因素：

数据挖掘是构建预测模型的必然部分。在选择正确的模型之前，应该首先确定变量之间的相关系数和影响 为了比较不同模型的拟合优度，我们可以分析不同的指标，如参数的统计显著性，R方，调整后的R方，AIC指标，BIC指标和误差项。另一个是Mallow的Cp标准。这基本上通过将模型与所有可能的子模型（仔细选择它们）进行比较，来检查模型中可能存在的偏差。 交叉验证是评估用于预测的模型的最佳方式。在这里，可以将数据集分为两组（训练和验证）。观测值和预测值之间的简单均方差可以衡量预测的准确性。 如果你的数据集有多个混淆变量，则不应选择自动模型选择方法，因为你不会希望同时将它们放在模型中。 这也取决于你的目标。与具有高度统计意义的模型相比，功能较弱的模型更容易实现。 回归正则化方法（Lasso回归，岭回归和弹性网络回归）在数据集中各变量之间具有高维度和多重共线性的情况下运行良好。 结束语

到现在为止，我希望你已经对回归有所了解。考虑数据条件来应用这些回归技术。找出使用哪种技术的最佳技巧之一就是检查变量族，即离散变量还是连续变量。

在本文中，我讨论了7种类型的回归以及与每种技术相关的一些关键事实。作为这个行业的新人，我建议你学习这些技术，然后在你的模型中实现它们。

-以上就是作者推荐的七种数据科学人必知必会的七种回归模型，如果大家对这七种模型感兴趣，那就自己动手去实验一下吧，只知道理论是不够的，要多动手实验，才能真正的掌握这些模型。

7 Types of Regression Techniques you should know!

二、有监督和无监督的算法分别有哪些

有监督学习算法：

线性回归（Linear Regression）

逻辑回归（Logistic Regression）

决策树（Decision Tree）

支持向量机（Support Vector Machine，SVM）

K近邻（K-Nearest Neighbors，KNN）

神经网络（Neural Networks）

随机森林（Random Forest）

梯度提升树（Gradient Boosting Tree）

贝叶斯分类器（Naive Bayes）

集成学习（Ensemble Learning）

无监督学习算法：

聚类分析（Cluster Analysis）

关联规则挖掘（Association Rule Mining）

主成分分析（Principal Component Analysis，PCA）

独立成分分析（Independent Component Analysis，ICA）

降维（Dimensionality Reduction）

奇异值分解（Singular Value Decomposition，SVD）

非负矩阵分解（Non-negative Matrix Factorization，NMF）

概率图模型（Probabilistic Graphical Models）

三、逻辑回归和线性回归的区别是什么？

一、性质不同

1、逻辑回归：是一种广义的线性回归分析模型。

2、线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

二、应用不同

1、逻辑回归：常用于数据挖掘，疾病自动诊断，经济预测等领域。

2、线性回归：常运用于数学、金融、趋势线、经济学等领域。

扩展资料：

线性回归的特征：

回归分析中有多个自变量：这里有一个原则问题，这些自变量的重要性，究竟谁是最重要，谁是比较重要，谁是不重要。所以，spss线性回归有一个和逐步判别分析的等价的设置。

原理：是F检验。spss中的操作是“分析”～“回归”～“线性”主对话框方法框中需先选定“逐步”方法～“选项”子对话框

如果是选择“用F检验的概率值”，越小代表这个变量越容易进入方程。原因是这个变量的F检验的概率小，说明它显著，也就是这个变量对回归方程的贡献越大，进一步说就是该变量被引入回归方程的资格越大。

参考资料来源：百度百科-线性回归

参考资料来源：百度百科-逻辑回归

四、机器学习故事汇-逻辑回归算法

机器学习故事汇-逻辑回归算法

今天我们要来讨论的一个分类算法-逻辑回归（你有没有搞错，这不还是回归吗，虽然名字带上了回归其实它是一个非常实用的分类算法）。，适合对数学很头疼的同学们，小板凳走起！

先来吹一吹逻辑回归的应用，基本上所有的机器学习分类问题都可以使用逻辑回归来求解，当前拿到一份数据想做一个分类任务的时候第一手准备一定要拿逻辑回归来尝试（虽然有很多复杂的模型比如神经网络，支持向量机的名气更大，但是逻辑回归却更接地气，用的最多的还是它）！在机器学习中无论是算法的推导还是实际的应用一直有这样的一种思想，如果一个问题能用简单的算法去解决那么绝对没必要去套用复杂的模型。

在逻辑回归中最核心的概念就是Sigmoid函数了，首先我们先来观察一下它的自变量取值范围以及值域，自变量可以是任何实数（这没啥特别的！）但是我们观察值域的范围是[0,1]也就是任意的一个输入都会映射到[0,1]的区间上，我们来想一想这个区间有什么特别的含义吗？在我们做分类任务的时候一般我都都会认为一个数据来了它要么是0要么是1（只考虑二分类问题），我们其实可以更细致一点得出来它是0或者1的可能性有多大，由此我们就得出了一个输入属于某一个类别的概率值，这个[0,1]不就恰好是这个概率吗！

在这里我们的预测函数还是跟线性回归没有多大差别，只不过我们将结果又输入到Sigmoid函数中，这样得到了数据属于类别的概率值。在推导过程中，我们假定分类是两个类别的（逻辑回归是经典的而分类器）。设定y（标签）要么取0要么取1，这样就可以把两个类别进行整合，得到一个更直观的表达。

对于逻辑回归的求解，已然沿用我们上次跟大家讨论的梯度下降算法。给出似然函数，转换对数似然（跟线性回归一致），但是我们现在的优化目标却跟之前不太一样了，线性回归的时候我们要求解的是最小值（最小二乘法），但是现在我们想得到的却是使得该事件发生得最大值，为了沿用梯度下降来求解，可以做一个简单的转换添加一个负号以及一个常数很简单的两步就可以把原始问题依然转换成梯度下降可以求解的问题。

此处求导过程看起来有些长，但也都是非常非常基本的运算了，感兴趣拿起一支笔来实际算算吧！

最终就是参数更新了，迭代更新是机器学习的常规套路了。但是我们来简单想一想另外的一个问题，现在我们说的逻辑回归是一个二分类算法，那如果我的实际问题是一个多分类该怎么办呢？这个时候就需要Softmax啦，引入了归一化机制，来将得分值映射成概率值。

最后一句话总结一下吧，任何时候（没错就是这么狠）当我们一个实际任务来了，第一个算法就是逻辑回归啦，可以把它当成我们的基础模型，然后不断改进对比！

以上就是关于逻辑回归是属于什么算法相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。

推荐阅读：

信息流跑量是什么意思（信息流跑量逻辑）

朋友圈广告的收费逻辑是什么（朋友圈广告的收费标准）

vi设计思维导图（vi设计思维导图逻辑书籍）

抖音代运营公司北京（抖音代运营公司北京地址）

公园里的风景画一幅画（公园里的风景画一幅画句子）