GBDT算法原理及Python实现

  梯度下降是一种常用的优化算法，用于寻找函数的最小值。在 GBDT 中，它扮演着至关重要的角色。假设我们有一个损失函数
\(L\left( y,\hat{y} \right)\)，其中
\(y\)是真实值，
\(\hat y\)是预测值。梯度下降的目标就是通过不断调整模型参数，使得损失函数的值最小化。具体来说，每次迭代时，沿着损失函数关于参数的负梯度方向更新参数，以逐步接近最优解。在 GBDT 中，虽然没有显式地更新参数（通过构建多颗决策树来拟合目标），但拟合的目标是损失函数的负梯度，本质上也是利用了梯度下降的思想。