python机器学习 模型构建与集成 (Model Construction and Ensembles)

By geo
python sklearn

模型构建包括选择合适的架构并进行训练。最后，将性能最佳的单个模型集成起来以获得最终的解决方案。

1. 模型选择与训练

  • 线性回归：可通过标准方程（闭式解）或梯度下降法训练,。
  • 多项式回归 (Polynomial Regression)：通过添加特征的幂次方来拟合非线性数据，是线性模型的扩展。
  • 逻辑回归 (Logistic Regression) / Softmax：用于估算实例属于特定类别的概率，是分类的常见模型。Softmax用于多类分类,。
  • 支持向量机 (SVM)：可用于线性或非线性分类和回归任务，是功能强大的“黑盒”模型，通过核技巧处理非线性数据,。
  • 深度神经网络 (DNN)：由多层感知器（MLP）组成，通常用于处理大型和复杂的任务。构建MLP时，需注意激活函数（如ReLU, ELU, SELU）、初始化（如Glorot, He）和BN层的使用,,,.

2. 集成方法 (Ensemble Methods)

集成学习（将多个预测器的预测聚合起来）通常比最好的单个预测器表现更优。

  • 投票分类器 (Voting Classifier)：聚合不同模型的预测，硬投票（hard voting）基于大多数投票，软投票（soft voting）基于平均概率（通常更好）,.
  • Bagging/Pasting：在训练集的随机子集上训练相同的预测器（Bagging是有放回采样，Pasting是无放回采样），然后聚合预测。这可以降低模型的方差,。
  • Boosting：如AdaBoost和梯度提升（Gradient Boosting），通过循环训练预测器，每个预测器都对其前序的错误进行纠正,。
  • Stacking (堆叠法)：训练一个模型（称为混合器或元学习器）来聚合集成中所有预测器的预测。