泰勒展开式:
当时,是麦克劳林公式
麦克劳林公式:
看下图可以发现,当多项式的阶数达到一定的数值,会很接近幂函数。
GBDT的损失函数是一阶泰勒展开,XGB是二阶展开
梯度下降法与泰勒级数的关系:
梯度下降法背后的原理 - 知乎
梯度下降法和一阶泰勒展开的关系 - 知乎
泰勒展开式:
当时,是麦克劳林公式
麦克劳林公式:
看下图可以发现,当多项式的阶数达到一定的数值,会很接近幂函数。
GBDT的损失函数是一阶泰勒展开,XGB是二阶展开
梯度下降法与泰勒级数的关系:
梯度下降法背后的原理 - 知乎
梯度下降法和一阶泰勒展开的关系 - 知乎