eta取值问题

Question

无意中发现eta=0.001时算出的w2与您设定的eta=0.01时计算出的w2的方向正好相反（您的是前负后正）。又试了eta=0.1和0.0001时发现跟eta=0.001时也保持一致。单单eta=0.01时方向不一样。我想请问老师怎么知道哪个eta对应的w2是可靠的呢？您选eta=0.01是根据经验吗？不同数据集最好的eta值会不同吗？

Answer 1

liuyubobobo 2020-12-15 23:39:27

首先，因为主成分表示的是另一个空间的基，所以完全相反的轴是正确的。这就像虽然我们可以用 (0, 1) 和 (1, 0) 两个坐标轴表示二维空间，但使用 (0, 1) 和 (-1, 0) 也完全可以表示二维空间。

是的，eta = 0.01 是经验值。你说的是正确的，根据数据集的不同，eta 可能需要选择不同的值，在一些情况下（不是简单地凸函数），eta 可以看做是算法的超参数，需要进行调参 。

我测试了一下，说明在 eta = 0.001 的时候，找到了另外一个最优解。同时我测试了一下，比如 eta = 0.002，找到的也是这个解：）

继续加油！：）

• 提问者 ITMOCC #1

  我的意思是w2是一个方向向量，代表一个主成分所在的方向。那这个方向不应该唯一吗？eta取一个值是这个方向，取另外一个值方向又相反。哪个方向才是主成分真正的方向呢？另外怎么调参确定eta，通过网格搜索吗？是不是可以理解为确定了最佳的eta后相对应的w2的方向才是主成分真正的方向？

• liuyubobobo 回复 提问者 ITMOCC #2

  主成分的方向不是唯一的，一个轴上相反的两个方向都是正确的。因为主成分在确定轴，相反的两个方向是一个轴。你也可以这么理解，我们课程中介绍了，在确定 k 个主成分的基础上，第 k+1 个主成分只需要和前 k 个主成分组成的空间垂直就可以。只保证垂直，有两个方向的。

• 提问者 ITMOCC 回复 liuyubobobo #3

  明白了。我还想问当需要对eta调参的情况下，怎么知道哪个eta最合适？

点开查看后面3条评论