逻辑回归（Logistic Regression）详细解读

1. 基本概念与原理

• 模型背景：逻辑回归主要用于解决二分类问题，它的输出是一个介于 0 和 1 之间的概率值，表示样本属于某一类别的可能性。虽然名字中有 “回归”，但本质是一种分类算法。

• 函数形式：逻辑回归基于线性回归的思想，通过一个逻辑函数（通常是 Sigmoid 函数）将线性组合的结果映射到概率区间。Sigmoid 函数的表达式为，其中，是输入特征，是模型的参数。对于一个二分类问题，假设类别标签为，逻辑回归模型预测样本属于类别 1 的概率为，那么属于类别 0 的概率就是。

2. 参数估计与训练过程

• 极大似然估计（Maximum Likelihood Estimation，MLE）：逻辑回归模型的训练通常采用极大似然估计法。假设我们有一个包含个样本的训练数据集，其中是第个样本的特征向量，是对应的类别标签（0 或 1）。那么似然函数可以表示为，其中是模型参数。为了方便计算，我们通常对似然函数取对数，得到对数似然函数。训练的目标就是找到一组参数，使得对数似然函数取得最大值。

• 梯度上升（与梯度下降相对）：为了找到使对数似然函数最大的参数值，我们可以使用梯度上升算法。梯度上升的更新公式为，其中是学习率，是对数似然函数对参数的偏导数。在实际计算中，通过计算偏导数并根据更新公式不断更新参数，直到对数似然函数收敛。

3. 模型评估指标

• 准确率（Accuracy）：这是最直观的评估指标，计算公式为，其中（True Positive）是真正例，即实际为正例且被模型预测为正例的样本数量；（True Negative）是真反例，即实际为反例且被模型预测为反例的样本数量；（False Positive）是假正例，即实际为反例但被模型预测为正例的样本数量；（False Negative）是假反例，即实际为正例但被模型预测为反例的样本数量。

• 召回率（Recall）和精确率（Precision）：召回率计算公式为，它衡量了模型正确预测出的正例占所有实际正例的比例。精确率计算公式为，它衡量了模型预测为正例的样本中真正正例的比例。在某些情况下，我们可能更关注召回率或者精确率，例如在医疗诊断中，我们希望尽可能不错过任何患有疾病的患者，此时召回率更重要；而在垃圾邮件过滤中，我们希望尽可能减少误判为垃圾邮件的正常邮件数量，此时精确率更重要。

• F1 - score：F1 - score 是精确率和召回率的调和平均数，计算公式为，它综合考虑了精确率和召回率，是一个比较全面的评估指标。

4. 假设条件与局限性

• 假设条件：逻辑回归假设数据是线性可分的，即可以通过一个超平面（在二维空间中是一条直线）将不同类别的数据分开。同时，它假设特征之间相互独立，不存在多重共线性问题。如果这些假设不成立，可能会影响模型的性能。

• 局限性：逻辑回归是一种线性分类模型，对于复杂的非线性分类问题，其性能可能有限。例如，当两类数据呈现复杂的非线性分布（如螺旋形状）时，逻辑回归可能无法准确地进行分类。另外，逻辑回归对数据的噪声比较敏感，异常值可能会对模型的参数估计和分类结果产生较大的影响。

5. 应用场景示例

• 信用风险评估：在金融领域，银行可以根据客户的各种特征（如年龄、收入、信用历史等），使用逻辑回归模型来预测客户是否会违约。模型输出一个客户违约的概率，银行可以根据这个概率来决定是否给客户发放贷款以及贷款的额度等。

• 疾病诊断：在医疗领域，根据患者的症状、检查结果等特征，通过逻辑回归模型来预测患者是否患有某种疾病。例如，根据患者的体温、白细胞计数、症状持续时间等特征，预测患者是否感染了某种病毒，为医生的诊断提供参考。

• 营销预测：在电商平台上，可以根据用户的浏览历史、购买行为等特征，使用逻辑回归模型预测用户是否会购买某个特定的商品。例如，根据用户是否浏览过某商品页面、在该页面停留的时间、之前购买类似商品的频率等特征，预测用户购买该商品的概率，从而进行精准营销。

扩展阅读：https://zhuanlan.zhihu.com/p/124757082