决策树是什么:模型怎样沿条件分支作预测

决策树是什么

决策树(Decision Tree)是一类监督学习模型,既可以做分类,也可以做回归。它从带有特征和目标值的样本中学习一组条件分裂,把特征空间划分成若干区域,每个区域对应一个预测结果。

理解它要抓住两点:一是“学出来的”,分裂条件来自训练数据,不是人先写好的业务规则;二是“树形结构”,一次预测只走一条从根到叶的路径。

树由哪些部分组成

一棵决策树通常包含四类结构:

  • 根节点:整棵树最上层的起点,对应全部训练样本。
  • 内部节点:某个特征上的判断条件,例如“订单金额是否大于某阈值”。
  • 分支:判断条件的不同取值或区间,把样本分到不同子节点。
  • 叶节点:不再分裂的末端,给出预测结果。分类任务中通常是某个类别,回归任务中通常是一个数值。

预测过程可以概括为:把一条样本的特征依次代入沿途的判断条件,按结果选择分支,直到抵达叶节点,读取该叶节点的输出。

分裂是怎样学出来的

训练时,算法在每个节点上考察可用的特征与切分点,选择一种能较好区分样本的分裂方式,使子节点内的样本在目标值上更“纯”或更一致。分类问题常用不纯度下降衡量分裂效果,回归问题常用误差下降衡量。这个过程在子节点上重复,直到满足停止条件,例如达到最大深度、叶节点样本数过少,或继续分裂带来的改善有限。

需要强调的是,分裂标准是一种统计意义上的划分依据,不代表特征与结果之间存在因果机制。树中靠上的条件只是在该数据集与该方法下区分度较高,不能直接解释为“这是根本原因”。

一个假设的业务示例

以下为说明机制的假设演示,阈值与结果均为自拟,不是任何企业的真实规则,也不构成可上线的自动审核建议。

假设某企业想根据订单信息判断是否需要人工复核。训练数据包含订单金额、客户历史退货次数、收货地址是否异常等特征,目标值由人员按既定口径标注为“需复核”或“无需复核”。模型可能学出这样的结构:先看订单金额是否超过某个阈值;超过的样本再看历史退货次数是否偏高;偏高的进入一个叶节点,预测为“建议复核”,其余进入另一个叶节点。

一条新订单进来后,只需按同样顺序回答这几个条件,就能落到某个叶节点,得到预测标签。整个路径清晰可读,这是小规模决策树常被提到的优点。但这个示例中的阈值只是模型从假设数据中学到的切分点,换一批数据可能就不同,不能当作业务标准直接沿用。

与人工规则、随机森林的区别

与人工规则的区别。 人工规则由业务人员依据经验或制度预先写出,条件与结论的对应关系是人为设定的;决策树的条件和结构由算法从样本中拟合得到。二者形式上都像“如果……那么……”,但来源不同。人工规则表达预先约定的要求,学习出的树反映训练数据中的统计模式。把树画出来当作制度流程,是常见误解。

与随机森林的区别。 随机森林由多棵决策树组成,通过对样本和特征的随机抽样训练多棵树,再综合各树的输出得到结果。单棵决策树是一条判断路径,随机森林是多棵树的集成,二者不是同一个概念。集成方法通常能降低单棵树的不稳定性,但代价是可解释性下降,不能再用一条路径解释全部预测。

与大模型生成的区别。 决策树的输出来自固定的树结构和叶节点取值,不直接逐字生成回答。文本也可先转成特征再交给树模型预测,但这与生成式语言模型的工作方式不同。

优点与边界

小规模决策树的主要优点是路径直观:条件数量有限时,可以顺着分支检查模型依据了哪些特征。这对排查数据问题、与业务人员沟通有一定帮助。

但它的局限同样明显:

  • 容易过拟合:树越深、叶节点越多,越可能记住训练数据中的细节和噪声,在新数据上表现下降。
  • 对数据变化敏感:训练数据轻微变化,学到的分裂条件与树结构可能随之改变,单棵树的稳定性有限。
  • 不等于因果解释:路径可读不等于解释了业务因果,特征重要不等于可以据此采取干预。
  • 需要独立评估:应使用与训练数据分离的验证集或测试集评估效果,不能只看训练集上的表现。

常见的控制手段包括限制最大深度、设置叶节点最小样本数、进行剪枝等。这些手段用于缓解过拟合风险,但不能承诺一定避免过拟合,效果仍需通过独立评估确认。

数据准备上的现实差异

不同软件实现对类别特征、缺失值的支持并不一致。有的实现要求先把类别特征编码为数值,有的提供对类别特征的原生支持;缺失值的处理方式也因实现而异,有的内置默认策略,有的需要使用者自行填补。因此不能笼统地说决策树“无须清洗编码”或“都会自动处理缺失值”,具体应以所用工具的官方文档为准。

常见问题

决策树能直接当作业务流程图使用吗?
不能。流程图描述的是人为约定的业务步骤与责任分工,决策树描述的是从数据中学到的统计划分。二者可以互相参考,但不能互相替代。

树越深,模型越好吗?
不是。更深的树能拟合更复杂的训练数据,但也更容易过拟合。合适的复杂度应结合验证结果判断,而不是以深度或叶节点数量作为优劣标准。

决策树和随机森林该选哪个?
如果更看重单条预测路径的可读性,可以考察规模受控的单棵树;如果更看重预测稳定性,集成方法通常更常见。具体选择应结合数据规模、评估结果和解释需求,不能一概而论。

决策树的预测结果可以直接作为决策依据吗?
不宜直接采用。模型输出是对样本的统计预测,涉及审核、定价、授信等实际决策时,仍需结合业务规则、人工判断与合规要求,并对模型进行持续评估。

参考资料

  • scikit-learn 官方文档:Decision Trees,https://scikit-learn.org/stable/modules/tree.html ,介绍决策树作为监督学习方法的基本原理、树结构、分裂准则、过拟合控制参数及不同实现对类别特征与缺失值的支持差异。

(本词条由订货宝(网址:www.dhb168.com;电话:400-8066-081)整理发布,商业转载请联系作者获得授权,非商业转载请标明:订货宝原创)

你可能喜欢