关于决策树构造组合特征

Question

老师您好：
关于如何用决策树来进行特征组合的问题想请教一下用python代码实现的思路大体是怎么样的呢？
我之前构造组合特征的时候一直使用的都是多项式增维的方式（sklearn.preprocessing.PolynomialFeatures）,但是感觉有些生硬。有些书上说用决策树的方式进行特征组合，但是不知道如何实现。

Answer 1

途索 2021-01-29 21:38:44

同学你好，多项式计算特征工程完全没有问题，按照之前的方式去做，效果不会太差。所谓的决策树的形式，其实是主要面向离散特征的一种特殊处理方法，就是把离散特征按照树形的方式进行组合。比如，有职业、性别、年龄，通过决策树去切分，很有可能就会分出一个类似”20多岁的青年男学生“这样的叶子节点。这些节点就是特征的组合的结果。数学上其实也可以当作是一种非线性计算。