如何判断哪些特征为贡献较大的特征？

Question

波波老师好，我利用多组特征组合进行分类，如何判断那组特征对分类的效果贡献最大呢？

谢谢，提前祝您新年快乐😁

Answer 1

liuyubobobo 2019-12-26 12:16:19

通常，我们在分类的时候，不考察特征的贡献度，而是在分类之前，进行特征工程，找到最有用的特征，然后进行分类。真的进入分类环节，我们主要关注分类的准确度，包括 precson, recall 等指标。这些内容后续会讲。

如果你一定要看不同特征对分类的贡献排序，一个简单的方式是分别扔掉每一个特征，然后进行分类，看分类结果准确度的变化。如果产生准确度的巨大下降，自然意味着这个特征更重要。

另外，有一些算法，在算法过程中，就能看出特征的贡献度。最典型的就是决策树。对于决策树算法来说，每一层根据一个特征进行划分。简单粗劣来说，越接近根节点的划分，特征贡献值越大。关于决策树，课程的后续1会进行介绍。

但是，比如 knn 或者 逻辑回归 或者 SVM，没有这个性质。

也提前祝你新年快乐！继续加油！：）