XGBoost官方版

XGBoost简介

XGBoost可以帮助用户分析问题，解决软件中的很多科学问题。在设计数据处理软件和科学统计软件时可以添加XGBoost，这样软件就可以帮助用户分析海量数据。只要你有足够的内存，软件就可以处理任意体积的数据，处理几百万种数据，解决几十亿个问题。无论是数学问题还是科学问题，都可以通过这种与软件配置相关的算法来提高计算能力。您可以将软件移植到各种环境中，并将其添加到不同的计算平台中。分布式操作方案允许您在不同的平台上处理数据。XGBoost模型和数据也可以移植，也就是说可以同时使用R训练模型和Java或者C ++这在生产系统中比较常见！

XGBoost软件功能

XGBoost是一个优化的分布式梯度提升库，旨在高效、灵活和便携。实现了梯度提升框架下的机器学习算法。XGBoost提供并行树增强(也称为GBDT、GBM)，可以快速准确地解决很多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个例子之外的问题。

现在，我们提供了一个简单的界面，通过指定一系列增强来对切片树模型进行切片。通过切片接口可以将树分成多个子树。

此外，提前停止的回调现在支持save_best选项。启用后，XGBoost将在最佳增强回合中保存(保留)模型，并在最佳回合后丢弃合适的树。

特征(列)的加权子采样(# 52)

现在可以通过加权子采样对要素(列)进行采样，在这种情况下，更有可能选择样本中权重较高的要素。加权子采样使您能够通过在树分裂中选择一组特定的函数来编码领域知识。此外，通过为特定特征指定零权重，可以防止在任何拆分中使用它。

XGBoost新版特色

可以改善

多核CPU上各种功能的改进

-将DMatx的构建时间优化了3.7倍。

-CPU最高可提升3.6倍。

-优化CPU图以减少所有稀疏数据

-为BuildHist分配线程本地内存，从而将速度提高1.7倍。

-禁用超线程来创建DMatx (# 6386)。这样可以将DMatx的创建速度提高2倍。

-简单修复中间和静态表皮

统一线程配置，轻松利用所有CPU内核。

[jvm-packages]清除确定分区的计算方法。

通过实现介入式指针类(# 6129)加速ON序列化。从而使能量增加1.5至2倍。

XGBoost教程

功能交互约束

决策树是发现自变量(函数)之间相互作用的有力工具。因为子节点的条件是根据父节点的条件确定的，所以在遍历路径中一起出现的变量会相互作用。例如，下图中突出显示的红色路径包含三个变量:(x_1)、(x_7)和(x_{10})，因此突出显示的(在突出显示的叶节点处)是(x_1)、(x_7)。

当树的深度大于1时，许多变量将在最小化训练损失的唯一基础上相互作用，结果，决策树可能捕获错误的关系(噪声)，而不是总结不同数据集的法律关系。功能交互约束允许用户决定哪些变量允许交互，哪些不允许。

潜在的好处包括:

通过关注有效的交互，无论是通过特定领域的知识，还是通过交互排序的算法，都可以获得更好的性能。

噪音较小；更好的概括

用户可以更好地控制模型的适用范围。例如，由于监管限制，即使用户表现良好，他们也可能希望排除某些交互。

一个简单的例子

交互约束根据允许交互的变量组来表达。例如，约束指示变量[0，1](x_0)和(x_1)允许相互交互，但没有其他变量。类似地，允许[2，3，4](x_2)、(x_3)和(x_4)相互作用，但没有其他变量。一组功能交互约束被表示为嵌套列表，例如，其中每个内部列表是一组允许彼此交互的功能索引。[[0, 1], [2, 3, 4]]

在下图中，左边的决策树违反了第一个约束，而正确的决策树同时满足第一个和第二个约束。[0, 1][0, 1][2, 3, 4]

执行功能交互XGBoost的限制

在XGBoost中实施功能交互约束非常简单。在这里，我们将给出一个使用Python的例子，但是同样的基本思想可以扩展到其他平台。

假设以下代码适合您的模型，但是没有元素交互约束:

，只需添加一个参数即可符合特征交互约束:

树构造算法的选择。要使用函数交互的约束，请确保设置以下tree_method参数之一:exact、hist、appx或gpu_hist。仅在1.0.0中支持添加Gpu_hist和appx。

高级主题

互动背后的直觉很简单。用户事先知道不同特征之间的关系，并在模型构建过程中将它们编码为约束。但是在指定约束方面有一些微妙之处。以约束为例，第二个特征出现在两个不同的交互集中，这样的关节组特征允许交互，是的。在下图中，根位于特征处。因为它的所有后代都应该能够与之交互，所以在第二层，所有四个特征都是合法的分割候选，可以在不考虑指定约束集的情况下进一步分割。[[1, 2], [2, 3, 4]][1, 2][2, 3, 4]2{1, 3, 4}2

这导致了特征交互约束的一些有趣的含义。再举一个例子。假设在我们的训练数据集中只有三个可用的函数用于表示，细心的读者可能会发现上述约束与。无论在根节点中选择哪个函数进行拆分，其所有后代都必须包含每个函数作为合法的拆分候选，以避免违反交互约束。[[0, 1], [0, 1, 2], [1, 2]][0, 1, 2]

在最后一个示例中，我们使用并选择特征作为根节点的分割。在构造树的第二层，它是唯一合法的拆分候选，因为它属于同一个约束集，所以它是唯一的候选。根据下面样本树的生长路径，在特征处划分第二层的节点。但是，因为事实也属于第二个约束集，所以在第三层，我们需要包含所有的元素来满足它不断上升的要求。[[0, 1], [1, 3, 4]]01011[1, 3, 4]