机器学习算法优缺点对比及选择（汇总篇）(2)

逻辑回归属于判别式模型，同时伴有很多模型正则化的方法（L0， L1，L2，etc），而且你不必像在用朴素贝叶斯那样担心你的特征是否相关。与决策树、SVM相比，你还会得到一个不错的概率解释，你甚至可以轻松地利用新数据来更新模型（使用在线梯度下降算法-online gradient descent）。如果你需要一个概率架构（比如，简单地调节分类阈值，指明不确定性，或者是要获得置信区间），或者你希望以后将更多的训练数据快速整合到模型中去，那么使用它吧。

Sigmoid函数：表达式如下:

优点：

1. 实现简单，广泛的应用于工业问题上；

2. 分类时计算量非常小，速度很快，存储资源低；

3. 便利的观测样本概率分数；

4. 对逻辑回归而言，多重共线性并不是问题，它可以结合L2正则化来解决该问题；

5. 计算代价不高，易于理解和实现。

缺点：

1. 当特征空间很大时，逻辑回归的性能不是很好；

2. 容易欠拟合，一般准确度不太高；

3. 不能很好地处理大量多类特征或变量；

4. 只能处理两分类问题（在此基础上衍生出来的softmax可以用于多分类），且必须线性可分；

5. 对于非线性特征，需要进行转换。

logistic回归应用领域：

1. 用于二分类领域，可以得出概率值，适用于根据分类概率排名的领域，如搜索排名等；

2. Logistic回归的扩展softmax可以应用于多分类领域，如手写字识别等；

3. 信用评估；

4. 测量市场营销的成功度；

5. 预测某个产品的收益；

6. 特定的某天是否会发生地震。

3.3 线性回归

线性回归是用于回归的，它不像Logistic回归那样用于分类，其基本思想是用梯度下降法对最小二乘法形式的误差函数进行优化，当然也可以用normal equation直接求得参数的解，结果为：

而在LWLR（局部加权线性回归）中，参数的计算表达式为:

由此可见LWLR与LR不同，LWLR是一个非参数模型，因为每次进行回归计算都要遍历训练样本至少一次。

优点： 实现简单，计算简单。

缺点： 不能拟合非线性数据。

3.4 最近邻算法——KNN

KNN即最近邻算法，其主要过程为：

1. 计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；

2. 对上面所有的距离值进行排序(升序)；

3. 选前k个最小距离的样本；

4. 根据这k个样本的标签进行投票，得到最后的分类类别。

如何选择一个最佳的K值，这取决于数据。一般情况下，在分类时较大的K值能够减小噪声的影响，但会使类别之间的界限变得模糊。一个较好的K值可通过各种启发式技术来获取，比如，交叉验证。另外噪声和非相关性特征向量的存在会使K近邻算法的准确性减小。近邻算法具有较强的一致性结果，随着数据趋于无限，算法保证错误率不会超过贝叶斯算法错误率的两倍。对于一些好的K值，K近邻保证错误率不会超过贝叶斯理论误差率。

KNN算法的优点

1. 理论成熟，思想简单，既可以用来做分类也可以用来做回归；

2. 可用于非线性分类；

3. 训练时间复杂度为O(n)；

4. 对数据没有假设，准确度高，对outlier不敏感；

5. KNN是一种在线技术，新数据可以直接加入数据集而不必进行重新训练；

6. KNN理论简单，容易实现。

缺点

1. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）效果差；

2. 需要大量内存；

3. 对于样本容量大的数据集计算量比较大（体现在距离计算上）；

4. 样本不平衡时，预测偏差比较大。如：某一类的样本比较少，而其它类样本比较多；

5. KNN每一次分类都会重新进行一次全局运算；

6. k值大小的选择没有理论选择最优，往往是结合K-折交叉验证得到最优k值选择。

KNN算法应用领域

文本分类、模式识别、聚类分析，多分类领域

3.5 决策树

决策树的一大优势就是易于解释。它可以毫无压力地处理特征间的交互关系并且是非参数化的，因此你不必担心异常值或者数据是否线性可分（举个例子，决策树能轻松处理好类别A在某个特征维度x的末端，类别B在中间，然后类别A又出现在特征维度x前端的情况）。它的缺点之一就是不支持在线学习，于是在新样本到来后，决策树需要全部重建。另一个缺点就是容易出现过拟合，但这也就是诸如随机森林RF（或提升树boosted tree）之类的集成方法的切入点。另外，随机森林经常是很多分类问题的赢家（通常比支持向量机好上那么一丁点），它训练快速并且可调，同时你无须担心要像支持向量机那样调一大堆参数，所以在以前都一直很受欢迎。

决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。

信息熵的计算公式如下:

（编辑：ASP站长网）