结合上一章,完善一个全连接网络
要求
上一章,我们展示了如何用torch构建全连接神经网络,并且用了一个示例项目完整的跑完了一个神经网络,但是鉴于知识有限,我们并未加上第三章的部分知识。本章重点在神经网络的优化,包括优化器选择,模型初始化、正则等等,那么我们就利用本章学到的知识,来完整的构建一个全连接网络,加入本章的一些优化策略,看是否能得到更好的效果。
作业
基于第二章项目构建的神经网络,我们进一步加上模型初始化、更换激活函数、更换优化器、加上数据增广和Dropout等策略,对比看看,那些会对模型效果有提升,最后形成如下格式报告:
优化策略 | accuracy |
---|---|
换SGD优化器 | |
加Dropout(0.3/0.5) | |
激活函数换Relu | |
。。。 | 。。。 |
建议:
- 这种对比性的工作同学们再后续的论文中会反复看见,一般来讲这个有个专有名词叫做:消融实验,可以理解为“控制变量法”,就是验证一个设计的变化,其他部分不动的时候,来探究这个设计是否有效。
- 同学们可以做多组对比实验,然后自己博客记录,作为一次知识的积累,也为别人造福。