XGBoost 是大规模并行 boosting tree 的工具，它是目前最快最好的开源 boosting tree 工具包。

GBDT 由三个概念组成：Gradient Boosting（GB）、Regression Decision Tree（DT）和 Shrinkage

RF 算法由很多决策树组成，每一棵决策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会分别进行判断，然后基于投票法给出分类结果。

决策树是附加概率结果的一个树状的决策图，是直观的运用统计概率分析的图法。决策树算法采用树形结构，使用层层推理来实现最终的分类。