采纳答案成功!
向帮助你的同学说点啥吧!感谢那些助人为乐的人
波波老师您好,我听完4-5,4-6 这两节课,自己又搜了搜资料,结果有俩概念越来越搞不清楚了:特征工程和超参数问题,需要向您请教,我把我问题列举一下:
不好意西,一问起来就展开了。。尤其是第5问,真的很困惑。
期待您的回复~谢谢
简单来说,特征工程就是对原始数据进行初始处理,进而提炼出更多特征,或者更有意义的特征的过程,特征工程是对 X 进行处理;
而超参数,指在算法运行前就需要指定的参数。一个算法有什么超参数,和数据无关(和 X 和 y 无关),只和算法本身相关。通常超参数不是计算出来的,而是指定出来的。
1
你列出的算法属于优化算法。什么叫优化算法?就是辅助你求解一个最优值用的。比如在机器学习的过程中,我们通常要求解使得某个损失函数最小的对应的参数,就可以使用优化算法。比如这个课程里就介绍了模拟退火。
在比如求解 TSP 问题(可以在网上搜索一下),就可以用你罗列的这些优化算法中的很多。
优化算法和机器学习没有必然联系。只不过我们在训练机器学习模型的时候,需要优化一个函数,所以会用到优化算法。
优化算法既不是特征工程方法,也不是超参数优化方法。
2
对。
3
网格搜索就是这么低效。这也是很多机器学习算法一算就要算一个礼拜的原因。
4
如果真能达到 95%,确实不需要优化了。
但关键是,这个 95% 是训练数据集上的结果?还是测试数据集上的结果?如果是数据测试集上的结果,是不是因果了验证数据集?否则,大概率的,是过拟合。
解决过拟合是处理机器学习问题的过程中需要解决的重要问题,可以参考这里:http://coding.imooc.com/learn/questiondetail/39781.html
当然,如果真的,对于你要处理的问题,结果就是这么好,那很好啊,你的模型可以直接使用了:)
5
首先,机器学习就是没有那么高大上:)
其次,是的,很多数据工程师,根本不了解机器学习算法的内部原理,就是调包侠。
这就像现在的很多软件工程师也不懂操作系统不懂体系结构不懂编译原理甚至不知道几个算法与数据结构也能拿到不错的薪水:)
为此,我在公众号写过一篇文章,叫《学算法有什么用?没用》:https://mp.weixin.qq.com/s?__biz=MzU4NTIxODYwMQ==&mid=2247483901&idx=1&sn=c6a6e50354f1abbf2109b1d62bcf5237&chksm=fd8caebbcafb27adca8478a851f9ddf82623ba0175dbca3921f9f3cd1df6e431113967baf88b&token=535836254&lang=zh_CN#rd
但是你要明白,这个世界还是需要有人理解底层原理,进而改进底层的。
以这轮人工智能浪潮为例,很大原因是出现了深度学习。而深度学习的出现,可不是调包侠的功劳。
从另一个方面,你的理解非常对,对于大多数数据工程师,甚至是机器学习工程师来说,特征工程是非常非常重要的一环。
可以参考这里:http://coding.imooc.com/learn/questiondetail/99483.html
继续加油!:)
谢谢波波老师耐心解答,听您的课程真的很有收获。希望您之后可以推出进阶版的人工智能算法相关的课程~~
登录后可查看更多问答,登录/注册
Python3+sklearn,兼顾原理、算法底层实现和框架使用。
2.5k 19
3.5k 17
2.9k 15
1.6k 15
1.4k 14