在xor这章中，这里为什么第一层激活函数用的relu

Question

model.add(tf.layers.dense({
units: 4,
inputShape: [2],
activation: ‘relu’
}));
model.add(tf.layers.dense({
units: 1,
activation: ‘sigmoid’
}));

Answer 1

lewis 2021-12-27 06:54:41

也可以用sigmoid，只是为了把线性变成非线性

• 提问者 西北莫 #1

  那如果都可以，是不是就没有区分了，我理解非线形的变化也是千差万别的，为什么不是需要某种具体的非线形，不同的非线性为什么都难得到正确的结果

• lewis #2

  虽然都可以，但是效果有好坏，relu的学习效率更高，比sigmoid更适合放在隐藏层，但是你把sigmoid放在这里也是能学出来的

• ok_Wei 回复 lewis #3

  老师请问怎么做才能选择出最优的激活函数？

点开查看后面1条评论