XGBoost 是大规模并行 boosting tree 的工具，它是目前最快最好的开源 boosting tree 工具包。

GBDT 由三个概念组成：Gradient Boosting（GB）、Regression Decision Tree（DT）和 Shrinkage

AdaBoost是Boosting算法中比较有代表性的一个，主要原理是通过不断调整样本和弱学习器的权重来输出最终结果。

RF 算法由很多决策树组成，每一棵决策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会分别进行判断，然后基于投票法给出分类结果。

决策树是附加概率结果的一个树状的决策图，是直观的运用统计概率分析的图法。决策树算法采用树形结构，使用层层推理来实现最终的分类。

所谓集成学习，顾名思义，就是集成多个基学习器的结果，采用一定的融合机制得到一个更为精准和稳定的结果。常见的集成学习有Bagging、Boosting、Stacking

朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。

K近邻算法 ，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

逻辑回归是一种广义的线性回归分析模型，其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也能处理多分类问题）