关于数据分析的学习路径

Question

老师您好：
我将视频中学到的技术运用到实际案例中的时候发现，我用简单的模型和简单的特征处理方式，达到的效果有时候比其他人使用复杂的模型和复杂的特征处理手段效果来的要好，因此我有以下几个疑问希望得到您的指点：
1、算法是否会过时？：数据分析的学习应该是纵向的还是横向的呢？例如我需要不断的学习新的算法还是精通一两种常用的算法比较好？（视频中老师介绍了许多算法，另外还有许多算法也是层出不穷）。
2、数据预处理手段如何选择才能最优？

Answer 1

途索 2020-03-09 09:08:37

同学你好，你的这个问题，是一个经过了深度思考的问题。
模型的复杂性和数据的量和数据维度的丰富性是有正相关关系的，一般来说（不是绝对），数据量越大，数据维度越多，想得到一个更完美的效果，模型就会越复杂。如果数据规模不够大，用了复杂的模型，就有非常大的过拟合风险；同时，很多模型中本身就包含着一些分类、回归的假设关系（如SVM中就以最大分类间隔做为分界线，但为什么？这其实是一个对现实观察的假设关系），如果不合适，即便是模型很牛，但也达不到很好的效果。
如果你发现用简单的模型就可以达到不错的效果，说明你用对了办法，但也别高兴得太早，因为这从另一方面得知你并没有遇到使用复杂模型的场景。
我刚写完一本书，叫做《数据分析通识》，预计今年7.1出版上市。书里会把数据分析与挖掘中最基本的概念进行剖析，我觉得会适合你。如果有一天你看到了该书出现在市面上，告诉我，我送你一本。

• 提问者 迷途20191129 #1

  谢谢途索老师的专业解！

• 提问者 迷途20191129 #2

  途索老师，我想说我在京东买西瓜书和统计学习方法的时候看到了你的《数据分析通识》，哈哈