大致看来，我感觉xgboost就是GBDT的改进版，它在原来的基础上加了正则项，也就是优化函数中不仅考虑了误差，还考虑了拟合函数的复杂度。注意这里与GBDT一样，还是用的CRAT树，还是那种串行累加。具体原理与公式推导看这英文版，中文的（写得很好），辅看这个。