数据降噪

Question

老师，除了pca，还有哪些数据降噪的方法啊，有没有相关的资料链接之类的呢

Answer 1

liuyubobobo 2021-10-23 01:11:46

最典型最常用的“专门的”降噪算法是使用频率分析的方式。比如傅里叶变换，比如小波分析。他们本质都是把数据看做信号，把信号转换到频域，在频率上做滤波处理。

如果你想学习相关的算法，最直接的方式是学习“数字信号处理”这个领域。

如果你的课题或者项目是专门的领域，在一些领域中，对领域数据做相关滤波分析，本身就是重要的课题。比如在数字图像处理领域，使用这些算法（图像由于没有时间信息，一般不用小波分析）做图像降噪就是图像处理领域的重要课题。在这种情况下，直接去学习“数字图像处理”即可。

继续加油！：）

• 提问者 六点半r #1

  老师，我去查了scikitlearn的preprocessing。
  QuantileTransformer和Quantile_transform提供了一种非参数转换，可以将数据映射到值在0和1之间的均匀分布。
  许多建模方案中，需要数据集中要素的正态性。幂变换是一组参数化，单调变换，旨在将数据从任何分布映射到尽可能接近高斯分布的位置，以稳定方差并使偏斜最小化。
  这两种方法是不是可以进行降噪呢？他们是不是就是尽量忽略了离群点的影响？适用于什么情况呢？

• liuyubobobo 回复 提问者 六点半r #2

  通常不管这类方法叫降噪，而叫数据预处理。其实在我看来，你说的这个 QuantileTransformer 一定程度上和最大最小归一化或者标准化是一类方法，本质是对数据的一种 scale，只不过这种 scale 的方式更复杂。为什么做这种 scale？
  
  你的描述已经很充分了。因为：1）许多建模方案中，需要数据集中要素的正态性；2）稳定方差并使偏斜最小化（也降低了离群点的影响）。
  
  所以：1）如果你的建模方案需要数据的正态性，就可以使用。（实际上，很多很基础的算法，是存在这个假设的，或者说在这个假设下，工作的更好。线性回归是典型的例子。如果你的数据满足正态性，那么线性回归就可以以每一个特征的均值为主要标准计算出系数，效果会更好。逻辑回归同理）；2）如果你的数据极度偏斜，或者有 outlier，也可以使用。但是，如果仅仅是为了 outlier 的话，我个人更建议手动把 outlier 剔除。（你已经知道他是 outlier 了，那就没必要留着他非要用算法处理。因为不管是什么算法，只能减少影响，但还是会被 outlier 影响的。）
  
  如果你的问题是这类算法，那么你应该去找数据处理或者特征工程相关的书籍。我在出这个课程的时候，这方面资料很少，可以参考我的这个问答：https://coding.imooc.com/learn/questiondetail/40722.html
  
  但现在距离我这个课程已经有两三年的时间了，我刚刚又简单查了一下，在这方面似乎有了一些书籍，比如：
  https://book.douban.com/subject/35324191/
  https://book.douban.com/subject/35520512/
  
  包括 Amazon 上的一些书，比如：
  https://www.amazon.com/Preprocessing-Python-Absolute-Beginners-Hands/dp/1734790105/
  https://www.amazon.com/Hands-Data-Preprocessing-Python-effectively/dp/1801072132/
  
  说明，这些书我都没看过，仅供参考。继续加油！：）

• 提问者 六点半r 回复 liuyubobobo #3

  谢谢老师！！你能回复这么具体真的很感动！