激活函数和归一化的问题

Question

老师，为什么E^(-wx)是激活函数呢？1的存在又是什么呢？
归一化的含义在这里到底是什么呢？我的理解就只是两个分子相加，但是不理解具体老师想表达的是什么…

Answer 1

linhbo 2019-07-23 22:16:54

我说说我的理解吧，今天刚看了这个课程，在刷问答区刷到这个问题

1.首先，激活函数不是E^(-wx)，而是整个P这个式子。

2你可以从从宏观考虑，P这个主要是为了计算概率，而我们利用e^的特性，e^x 肯定是一个大于0数，所以整个式子的取值刚好在0-1之间，你可以画图像，当wx=0的时候，1/1+e^0是不是刚好是0.5，所以在二分类问题上，大于0.5归为一类，小于0.5归为一类。所以P（0|x）=1-P(1|x) 

3.关于归一化是指将所有的数据映射到同一个维度下，sigmoid函数将所有的数据都映射到了0-1之间的维度中了。所以在logistic回归中，数据事前不需要做归一化了。

4.所以这个1我觉得你不用太纠结，应该只是单纯的表示1这个数字，通过数字1和e^(-wx）组合起来就是sigmoid函数

Answer 2

徐梓淞 2019-05-19 08:39:15

老师已经不管这帮学生了吗 好久都没上线了

Answer 3

慕勒8140236 2019-01-31 09:18:42

我的理解1是和E^(-wx)一样，E^(-wx)的范围可以大于1可以小于1，所以抽象化理解成在二分类中的分别取到的两个值；

归一化是两项或者多项求和之后，某项在这些和中所占的比例，这个目的是将range缩放到（0,1）区间，而且二分类中更像概率

Answer 4

正十七 2019-10-01 05:02:13

weixin_lhb1124_0的回答很对，补充一点，这里的归一化是要把两个实数给映射到概率空间。对于二分类来说，1相当于是一个标杆，有了这个1，我做映射的时候就只需要一个w向量去和x相乘。

而如果是多类的话，那么我们一般就不用1了，而是给每个类一个向量w去和x做内积。得到

e^(-w1 * x), e^(-w2 * x),... 等，然后再归一化。

Answer 5

qq_慕容8357050 2019-07-22 21:22:41

再补充一下，那个1是为了和b配对而加上X的，这样就变成了X矩阵和w参数的矩阵点乘，如果不懂的可以看liuyubobo老师的机器学习课程

Answer 6

qq_慕容8357050 2019-07-22 21:19:02

这老师讲的真的差，和对面的liuyubobo老师完全没法比，这里激活函数我没研究，数据归一化操作在这里应该指极值归一化：（当前值-最小值）/（最大值-最小值）

• 正十七 #1

  你对归一化的理解太狭窄了。这里是把实数映射到概率空间，使他们的转换结果之和为1.