GBDT算法原理深入解析
至于抑制单颗决策树的复杂度的方法有很多
比如限制树的最大深度
限制叶子节点的最少样本数量
限制节点分裂时的最少样本数量
吸收bagging的思想对训练样本采样（subsample）
在学习单颗决策树时只使用一部分训练样本
借鉴随机森林的思路在学习单颗决策树时只采样一部分特征
在目标函数中添加正则项惩罚复杂的树结构等。
现在主流的GBDT算法实现中这些方法基
本上都有实现，因此GBDT算法的超参数还是比较多的，应用过程中需要精心调参，并用
交叉验证的方法选择最佳参数。
2、机器学习的关键元素
先复习下监督学习的关键概念：模型（model）、参数（parameters）、目标函数（objective function）模型就是所要学习的条件概率分布或者决策函数，它决定了在给定特征向量x时如何预测出目标y。
定义任意x（属于R）为训练集中的第i个训练样本，则线性模型（linear mode）可以表示为：
模型预测的分数y^i在不同的任务中有不同的解释。
例如在逻辑回归任务中，表
示模型预测为正例的概率；而在排序学习任务中，表示排序分。
参数就是我们要从数据中学习得到的内容。
模型通常是由一个参数向量决定的函数。
例如：线性模型的参数可以表示为：
目标函数通常定义为如下形式：
其中，是损失函数，用来衡量模型拟合训练数据的好坏程度；称之为正则项，用来衡量
学习到的模型的复杂度。
训练集上的损失（Loss）定义为：
常用的损失函数有平方损失（square loss）：
logistic 损失：
常用的正则项有L1范数：
常用的正则项有L2范数：
Ridge regression就是指使用平方损失和L2范数正则项的线性回归模型；
Lasso regression就是指使用平方损失和L1范数正则项的线性回归模型；
逻辑回归（Logistic regression）指使用logistic损失和L2范数或L1范数正则项的线性模型目标函数之所以定义为损失函数()和正则项()两部分，是为了尽可能平衡模型的偏差和方差
（Bias Variance Trade-off）
最小化目标函数意味着同时最小化损失函数和正则项，损失函数最小化表明模型能够较好的拟合训
练数据，一般也预示着模型能够较好地拟合真实数据（groud true）
另一方面，对正则项的优化鼓励算法学习到较简单的模型，简单模型一般在测试样本上的预测结果
比较稳定、方差较小（奥坎姆剃刀原则）。
也就是说，优化损失函数尽量使模型走出欠拟合的状
态，优化正则项尽量使模型避免过拟合。
从概念上区分模型、参数和目标函数给学习算法的工程实现带来了益处，使得机器学习的各个组成部分之间耦合尽量松散。
3、加法模型（additive model）
GBDT算法可以看成是由K棵树组成的加法模型：
其中为所有树组成的函数空间，以回归任务为例，回归树可以看作为一个把特征向量映射为某个score的函数。
该模型的参数为：。
与一般的机器学习算法不同的是，加
法模型不是学习d维空间中的权重，而是直接学习函数（决策树）集合。
上述加法模型的目标函数定义为：
其中表示决策树的复杂度，那么该如何定义树的复杂度呢？比如，可以考虑树的节点数量、树的深度
或者叶子节点所对应的分数的L2范数等等。
如何来学习加法模型呢？
解这一优化问题，可以用前向分布算法（forward stagewise algorithm）。
因为学习的是加法模型，如果能够从前往后，每一步只学习一个基函数及其系数（结构），逐步逼近优化目标函数，那么就可以简化复杂度。
这一学习过程称之为Boosting。
具体地，我们从一个常量预测开始，每次学习一个新的函
数，过程如下：
那么，在每一步如何决定哪一个函数被加入呢？---指导原则还是最小化目标函数。
在第步，模型对的预测为：，其中为这一轮我们要学习的函数（决策
树）。
这个时候目标函数可以写为：
举例说明，假设损失函数为平方损失（square loss），则目标函数为：
其中，称之为残差（residual）。
因此，使用平方损失函数时，GBDT算法的每一步在生成决
策树时只需要拟合前面的模型的残差
泰勒公式：设是一个正整数，如果定义在一个包含的区间上的函数在点处次可导，那么对于
这个区间上的任意都有：，其中的多项式称为函数在处的泰
勒展开式，是泰勒公式的余项且是的高阶无穷小。
根据泰勒公式把函数在点处二阶展开，可得到如下等式：
由等式(1)可知，目标函数是关于变量的函数，若把变量看成是等式(3)中的，把变量
看成是等式(3)中的，则等式(1)可转化为：
其中，定义为损失函数的一阶导数，即；定义为损失函数的二阶导数
，即。
假设损失函数为平方损失函数，则
,，把和代入等式(4)即得等式
(2)。
由于函数中的常量在函数最小化的过程中不起作用，因此我们可以从等式(4)中移除掉常量项，得：
由于要学习的函数仅仅依赖于目标函数，从等式(5)可以看出只需为学习任务定义好损失函数，并为每个训练样本计算出损失函数的一阶导数和二阶导数，通过在训练样本集上最小化等式(5)即可求得每步要学习的函数，从而根据加法模型等式(0)可得最终要学习的模型。
4、GBDT算法
一颗生成好的决策树，假设其叶子节点个数为，该决策树是由所有叶子节点对应的值组成的向量，
以及一个把特征向量映射到叶子节点索引（Index）的函数组成的。
因此，决策树可
以定义为：
决策树的复杂度可以由正则项来定义，即决策树模型的复杂度由生成的树的叶子
节点数量和叶子节点对应的值向量的L2范数决定。
定义集合为所有被划分到叶子节点的训练样本的集合。
等式(5)可以根据树的叶子节点重
新组织为T个独立的二次函数的和：
定义，，则等式(6)可写为：
假设树的结构是固定的，即函数确定，令函数的一阶导数等于0，即可求得叶子节点对应的值为：
此时，目标函数的值为:
综上，为了便于理解，单颗决策树的学习过程可以大致描述为：
1.枚举所有可能的树结构
2.用等式(8)为每个计算其对应的分数，分数越小说明对应的树结构越好
3.根据上一步的结果，找到最佳的树结构，用等式(7)为树的每个叶子节点计算预测值
然而，可能的树结构数量是无穷的，所以实际上我们不可能枚举所有可能的树结构。
通常情况下，我们采用贪心策略来生成决策树的每个节点.
1.从深度为0的树开始，对每个叶节点枚举所有的可用特征
2.针对每个特征，把属于该节点的训练样本根据该特征值升序排列，通过线性扫描的方式来决定该特征
的最佳分裂点，并记录该特征的最大增益（采用最佳分裂点时的增益）
3.选择收益最大的特征作为分裂特征，用该特征的最佳分裂点作为分裂位置，把该节点生长出左右两个
新的叶节点，并为每个新节点关联对应的样本集
4.回到第1步，递归执行到满足特定条件为止。
十大经典预测算法（九）---GBDT
⼗⼤经典预测算法（九）---GBDT
GBDT⼜叫梯度提升决策树，它也属于Boosting框架。
GBDT核⼼原理如下：
如图所⽰，⽤GBDT预测年龄，第⼀轮，预测到年龄为20，它和真实值之间的残差为10，第⼆轮，GBDT开始预测上⼀轮的残差10，预测结果为6，这⼀轮的残差为4，第三轮，以年龄4为预测⽬标，预测来的值为3，和真实值之间相差1，最后以残差1为预测⽬标，预测结果为1，此时残差为0，预测结束，最后把之前模型预测的结果全部相加，就得到预测的真实值为30岁
所以，GBDT的核⼼原理是先⽤初始值预测⼀颗决策树，得到本轮的残差，即真实值减预测值，然后⽤残差作为下⼀轮决策树的预测对象，这时会再产⽣⼀个残差，再⽤这个残差作为下⼀轮的预测对象，以此循环迭代直到最后⼀轮的预测残差为0或⾮常⼩的时候就停⽌迭代，然后把所有轮的模型预测结果相加得到最终预测结果，GBDT核⼼原理如下图所⽰
GBDT和AdaBoost的异同
相似之处：
都是基于Boosting思想的融合算法
默认的基分类器都是决策树
AdaBoost其实是GBDT的⼀个特例
不同之处：
AdaBoost的基分类器可以选择更多的算法，⽽GBDT只能选决策树
GBDT的模型提升⽅法与AdaBoost不同，AdaBoost是通过不断加强对错判数据的权重学习来提升模型的预测效果，⽽GBDT则是通过不断降低模型误差来（学习残差）的思想来提升模型的预测效果。
GBDT(梯度提升树) 原理小结
1) 初始化弱学习器: 2) 对迭代轮数t=1,2,...T有： a)对样本i=1,2，...m，计算负梯度
b)利用(xi,r ti)(i=1,2...m), 拟合一颗CART回归树,得到第t颗回归树，其对应的叶子节点区域为 Rtj,j=1.2...J 。其中J为回归树t的叶子节点的个数。
b)绝对损失，这个损失函数也很常见
对应负梯度误差为：
c)Huber损失，它是均方差和绝对损失的折衷产物，对于远离中心的异常点，采用绝对损 失，而中心附近的点采用均方差。这个界限一般用分位数点度量。损失函数如下：
对应的负梯度误差为：
d) 分位数损，需要我们在回归前指定。对应的负梯度误差为：
这里我们再对常用的GBDT损失函数做一个总结。 对于分类算法，其损失函数一般有对数损失函数和指数损失函数两种: a) 如果是指数损失函数，则损失函数表达式为
其负梯度计算和叶子节点的最佳残差拟合参见Adaboost原理篇。 b) 如果是对数损失函数，分为二元分类和多元分类两种，参见4.1节和4.2节。 对于回归算法，常用损失函数有如下4种: a)均方差，这个是最常见的回归损失函数了
如果我们加上了正则化项，则有:
v 的取值范围为0<v<1.对于同样的训练集学习效果，较小的v意味着我们需要更多的弱学习 器的迭代次数。通常我们用步长和迭代最大次数一起来决定算法的拟合效果。
第二种正则化的方式是通过子采样比例（subsample）。取值为(0,1]。注意这里的子采样和 随机森林不一样，随机森林使用的是放回抽样，而这里是不放回抽样。如果取值为1，则全部样本 都使用，等于没有使用子采样。如果取值小于1，则只有一部分样本会去做GBDT的决策树拟合。 选择小于1的比例可以减少方差，即防止过拟合，但是会增加样本拟合的偏差，因此取值不能太 低。推荐在[0.5, 0.8]之间。
GBDT算法原理深入解析
GBDT算法原理深入解析GBDT（Gradient Boosting Decision Tree）是一种基于决策树的集成学习方法，由Freidman于1999年提出，并在近年来得到了广泛的应用。
GBDT通过串行训练多个弱分类器（决策树），并通过迭代的方式不断优化模型的预测结果，最终得到一个强大的预测模型。
GBDT的核心原理可以简述为以下几个步骤：1.初始化：将所有样本的权重初始化为相等值，并选择一个初始的弱分类器作为基学习器。
2.计算残差：根据当前的模型预测值与真实值的差异，计算残差。
这里的残差可以理解为当前模型预测的错误。
3. 拟合残差：使用残差作为目标值，通过训练一个新的弱分类器去拟合这些残差。
这个新的弱分类器被称为Boosting弱学习器，它的输出结果会修正之前模型的预测值。
4.更新模型：将新训练的弱分类器加入到模型中，并通过更新样本权重来调整模型预测的偏差。
样本权重会根据预测错误的程度进行调整，即让之前预测错误的样本在后续的训练中获得更大的权重。
5.迭代训练：通过重复步骤3和4，不断拟合残差并更新模型，构建出一个由多个弱分类器组成的强分类器。
每个弱分类器都在尽可能修正之前模型的预测错误，并最小化整体模型的损失函数。
6.终止条件：当达到设定的迭代次数，或者当模型的性能无法继续提升时，结束训练过程。
7.最终结果：将多个弱分类器的预测结果加权求和，得到最终的预测结果。
这里的权重可以视为每个弱分类器对模型的贡献程度，通常是根据每个弱分类器的训练误差来计算。
此外，GBDT还存在一些常见的改进方法，如XGBoost和LightGBM。
XGBoost（Extreme Gradient Boosting）在GBDT的基础上增加了一些算法细节的创新，如损失函数的优化、正则化项的添加等，从而提高了模型的精确性和泛化性能。
LightGBM是一种基于GBDT的高效实现，通过使用直方图（Histogram）和基于树的学习算法，大幅度提升了模型的训练速度。
gbdt原理
gbdt原理
梯度提升决策树（GBDT）是一种常用的监督学习算法，它是一种集成学习方法，通过集成多个决策树来构建强大的预测模型。
GBDT的原理如下：首先，我们定义一个损失函数，常用的有均方误差（MSE）、平均绝对误差（MAE）等。
然后，我们构建一个初始的决策树模型作为第一个基学习器。
接下来，我们根据定义的损失函数，计算当前模型的预测值与真实值之间的差异，这就是残差。
然后，我们使用这个残差作为新的标签，构建一个新的决策树模型，将其添加到集成模型中。
然后，我们通过迭代的方式，继续计算每个新模型的残差，并构建新的决策树模型，将其添加到集成模型中。
这样，我们不断地优化我们的模型，直到达到预设的迭代次数或停止条件。
最终，通过将每个决策树的预测结果进行累加，我们得到了最终的预测结果。
在预测过程中，GBDT使用加法模型的形式，将每个决策树的预测结果相加得到最终的预测值。
总结来说，GBDT通过迭代地构建决策树模型，并使用残差作为新的标签进行训练，不断优化模型的预测能力。
该算法具有很强的灵活性和鲁棒性，在很多实际问题中都有较好的表现。
GBDT算法梳理
GBDT算法梳理1.GBDT(Gradient Boosting Decision Tree)思想 Boosting : 给定初始训练数据，由此训练出第⼀个基学习器； 根据基学习器的表现对样本进⾏调整，在之前学习器做错的样本上投⼊更多关注； ⽤调整后的样本，训练下⼀个基学习器； 重复上述过程 T 次，将 T 个学习器加权结合。
Gradient boosting Gradient boosting是 boosting 的其中⼀种⽅法，它主要的思想是，每⼀次建⽴单个学习器时，是在之前建⽴的模型的损失函数的梯度下降⽅向。
我们知道损失函数(loss function)越⼤，说明模型越容易出错，如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，⽽最好的⽅式就是让损失函数在其梯度（Gradient)的⽅向上下降。
GBDT GBDT是 GB 和 DT(Decision Tree) 的结合，就是当 GB 中的单个学习器为决策树时的情况.决策树分为两⼤类，回归树和分类树。
前者⽤于预测实数值，如明天的温度、⽤户的年龄、⽹页的相关程度；后者⽤于分类标签值，如晴天/阴天/雾/⾬、⽤户性别、⽹页是否是垃圾页⾯。
这⾥要强调的是，前者的结果加减是有意义的，如10岁+5岁-3岁=12岁，后者则⽆意义，如男+男+⼥=到底是男是⼥？GBDT的核⼼就在于，每⼀棵树学的是之前所有树结论和的残差，这个残差就是⼀个加预测值后能得真实值的累加量。
⽐如A的真实年龄是18岁，但第⼀棵树的预测年龄是12岁，差了6岁，即残差为6岁。
那么在第⼆棵树⾥我们把A的年龄设为6岁去学习，如果第⼆棵树真的能把A分到6岁的叶⼦节 如果第⼆棵树的结论是5岁，则A仍然存在1岁的残差，第三棵树⾥A的年龄就变成1岁，继续学。
⽽分类树的结果显然是没办法累加的，所以GBDT中的树都是回归树，这点对理解GBDT相当重要 我们通过⼀张图⽚，来说明gbdt的训练过程: gbdt通过多轮迭代,每轮迭代产⽣⼀个弱分类器，每个分类器在上⼀轮分类器的残差基础上进⾏训练。
GBDT算法原理深入解析
GBDT算法原理深入解析标签：机器学习集成学习GBM GBDT XGBoost梯度提升（Gradient boosting）是一种用于回归、分类和排序任务的机器学习技术，属于Boosting算法族的一部分。
Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。
Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。
通俗地说，就是“三个臭皮匠顶个诸葛亮”的道理。
梯度提升同其他boosting方法一样，通过集成（ensemble）多个弱学习器，通常是决策树，来构建最终的预测模型。
Boosting、bagging和stacking是集成学习的三种主要方法。
不同于bagging方法，boosting方法通过分步迭代（stage-wise）的方式来构建模型，在迭代的每一步构建的弱学习器都是为了弥补已有模型的不足。
Boosting族算法的著名代表是AdaBoost，AdaBoost算法通过给已有模型预测错误的样本更高的权重，使得先前的学习器做错的训练样本在后续受到更多的关注的方式来弥补已有模型的不足。
与AdaBoost算法不同，梯度提升方法在迭代的每一步构建一个能够沿着梯度最陡的方向降低损失（steepest-descent）的学习器来弥补已有模型的不足。
经典的AdaBoost算法只能处理采用指数损失函数的二分类学习任务，而梯度提升方法通过设置不同的可微损失函数可以处理各类学习任务（多分类、回归、Ranking等），应用范围大大扩展。
另一方面，AdaBoost算法对异常点（outlier）比较敏感，而梯度提升算法通过引入bagging思想、加入正则项等方法能够有效地抵御训练数据中的噪音，具有更好的健壮性。
这也是为什么梯度提升算法（尤其是采用决策树作为弱学习器的GBDT算法）如此流行的原因，有种观点认为GBDT是性能最好的机器学习算法，这当然有点过于激进又固步自封的味道，但通常各类机器学习算法比赛的赢家们都非常青睐GBDT算法，由此可见该算法的实力不可小觑。
GBDT算法原理深入解析
GBDT算法原理深入解析标签：机器学习集成学习GBM GBDT XGBoost梯度提升（Gradient boosting）是一种用于回归、分类和排序任务的机器学习技术，属于Boosting算法族的一部分。
Boosting是一族可将弱学习器提升为强学习器的算法，属于集成学习（ensemble learning）的范畴。
Boosting方法基于这样一种思想：对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断要好。
通俗地说，就是“三个臭皮匠顶个诸葛亮”的道理。
梯度提升同其他boosting方法一样，通过集成（ensemble）多个弱学习器，通常是决策树，来构建最终的预测模型。
Boosting、bagging和stacking是集成学习的三种主要方法。
不同于bagging方法，boosting方法通过分步迭代（stage-wise）的方式来构建模型，在迭代的每一步构建的弱学习器都是为了弥补已有模型的不足。
Boosting族算法的著名代表是AdaBoost，AdaBoost算法通过给已有模型预测错误的样本更高的权重，使得先前的学习器做错的训练样本在后续受到更多的关注的方式来弥补已有模型的不足。
与AdaBoost算法不同，梯度提升方法在迭代的每一步构建一个能够沿着梯度最陡的方向降低损失（steepest-descent）的学习器来弥补已有模型的不足。
经典的AdaBoost算法只能处理采用指数损失函数的二分类学习任务，而梯度提升方法通过设置不同的可微损失函数可以处理各类学习任务（多分类、回归、Ranking等），应用范围大大扩展。
另一方面，AdaBoost算法对异常点（outlier）比较敏感，而梯度提升算法通过引入bagging思想、加入正则项等方法能够有效地抵御训练数据中的噪音，具有更好的健壮性。
这也是为什么梯度提升算法（尤其是采用决策树作为弱学习器的GBDT算法）如此流行的原因，有种观点认为GBDT是性能最好的机器学习算法，这当然有点过于激进又固步自封的味道，但通常各类机器学习算法比赛的赢家们都非常青睐GBDT算法，由此可见该算法的实力不可小觑。
gbdt原理
gbdt原理GBDT（Gradient Boosting Decision Tree）是一种集成学习算法，它通过多棵决策树的集成来提高预测准确性。
在GBDT中，每棵树都是基于上一棵树的残差进行训练的，这使得GBDT能够不断迭代地提高模型的预测能力。
本文将详细介绍GBDT的原理及其在机器学习中的应用。
首先，GBDT的核心思想是将多棵决策树进行集成。
在训练过程中，每棵树都试图学习上一棵树的残差，以此来不断改进模型的预测能力。
这种残差学习的方式使得GBDT能够有效地拟合复杂的非线性关系，从而提高模型的泛化能力。
其次，GBDT在训练过程中采用了梯度提升（Gradient Boosting）的方法。
具体来说，每一棵树的训练都是通过最小化损失函数来实现的。
在每一轮迭代中，GBDT都会计算出当前模型对训练样本的残差，然后用一个新的决策树来拟合这些残差，从而不断改进模型的预测能力。
此外，GBDT还采用了加法模型的思想。
在GBDT中，模型的预测结果是多棵树的预测结果的累加。
这种累加的方式使得GBDT能够灵活地拟合不同的数据分布，从而提高模型的适应能力。
在实际应用中，GBDT已经被广泛应用于各种机器学习任务中。
例如，在推荐系统中，GBDT可以用于预测用户对商品的喜好程度；在金融风控领域，GBDT可以用于预测客户的信用风险等。
由于GBDT 具有较强的泛化能力和适应能力，因此在实际应用中取得了很好的效果。
总的来说，GBDT作为一种集成学习算法，通过多棵决策树的集成来提高模型的预测能力。
它采用了梯度提升的方法，通过不断迭代地改进模型来提高预测准确性。
在实际应用中，GBDT已经取得了很好的效果，并被广泛应用于各种机器学习任务中。
希望本文能够帮助读者更好地理解GBDT的原理及其在机器学习中的应用。
gbdt原理
gbdt原理
梯度提升（Gradient Boosting，GBDT）是一种机器学习方法，
可用于分类和回归。
它是集成学习中的一种，因此结合了用于确定分
类和回归模型的多种基础学习器或算法，从而提高模型表现情况。
这
些基础学习器通常是决策树，因此GBDT也被称为梯度提升决策树或GBDT。
GBDT的模型是逐个学习器，它们一起工作以准确地预测输出结果。
每个基础学习器都是以一种特定顺序训练的，以帮助模型学习以前未
尝试的解决方案。
方法的一般过程是，第一个基础学习器被训练以尽
可能准确地拟合初始数据，以便捕捉主要的数据特征，然后以次要学
习器继续，以此类推。
每个学习器都提高了模型的准确性，而且由于它们基于梯度，所
以这些可改进量是基于梯度优化方法发现的。
梯度优化方法是对模型
的损失函数进行修正，以减少损失表现，从而改善模型的性能。
所以，GBDT模型相当于在训练之前使用梯度优化技术来拟合基础学习器，以
最小化误差。
总之，GBDT是一种高效的机器学习技术，已被广泛用于预测和分析，并可用于减少拟合数据和改善模型表现。
此外，由于它是逐步叠
加学习器来实现的，因此它可以轻松处理复杂的数据，并能有效地利
用已有的知识来进一步增强学习表现。
【推荐下载】GBDT原理及利用GBDT构造新的特征
GBDT 原理及利用GBDT 构造新的特征2017/05/12 65968 1.1 Gradient Boosting Gradient Boosting 是一种Boosting 的方法，它主要的思想是，每一次建立模型是在之前建立模型损失函数的梯度下降方向。
损失函数是评价模型性能（一般为拟合程度+正则项），认为损失函数越小，性能越好。
而让损失函数持续下降，就能使得模型不断改性提升性能，其最好的方法就是使损失函数沿着梯度方向下降（讲道理梯度方向上下降最快）。
Gradient Boost 是一个框架，里面可以套入很多不同的算法。
1.2 Gradient Boosting Decision Tree 每一次建立树模型是在之前建立模型损失函数的梯度下降方向。
即利用了损失函数的负梯度在当前模型的值作为回归问题提升树算法的残差近似值，去拟合一个回归树。
具体算法算理：GBDT 原理-Gradient Boosting Decision Tree1.3 GBDT 应用-回归和分类GBDT 分类：每一颗树拟合当前整个模型的损失函数的负梯度，构建新的树加到当前模型中形成新模型，下一棵树拟合新模型的损失函数的负梯度。
下面是其在Python 的sklearn 包下简单调用方法。
from sklearn import ensembleclf = ensemble.GradientBoostingClassifier()gbdt_model = clf.fit(X_train, y_train) # Training modelpredicty_x = gbdt_model.predict_proba(test1217_x)[:, 1] # predict: probablity of 1# 包含的参数# loss = loss, learning_rate = learning_rate, n_estimators = n_estimators,# min_samples_split =min_samples_split,# min_samples_leaf = min_samples_leaf,# min_weight_fraction_leaf = min_weight_fraction_leaf,# max_depth = max_depth, init = init, subsample = subsample,# max_features = max_features,# random_state = random_state, verbose = verbose,#max_leaf_nodes = max_leaf_nodes, warm_start = warm_start,# presort = presort GBDT 回归：每一颗树拟合当前整个模型的残差，构建新的树加到当前模型中形成新模型，下一棵树拟合新模型的损失函数的负梯度。