• 训练神经网络的一些经验分享


    在这里给大家分享一下我在训练神经网络时候遇到的困难,以及走的一些弯路之后自己总结得经验。

    1.学会正确地debug,神经网络最困难的我觉得不是建立模型,而是数据转换,所以需要你对numpy包非常熟悉。

    2.将训练量调小一些,刚开始不知道性能,不知道程序是不是往正确的方向发展,那么我们可以将迭代次数取小一点,将数据量调小一点。

    3.分批次运行代码,节约运行时间,如果数据量很大,那么训练完一段代码之后,将它注释掉,继续跑下面的代码。

    4.错误提示是很好的指示,根据错误提示进行定位,并尝试看源代码。

    5.用gpu进行训练会大大加快你的训练速度,性能的提升往往是几十倍的。网上有各种框架进行加速的代码,需要注意的是,需要卸载tensorflow包,安装tensorflow-gpu包,否则还是会用cpu进行训练的。

    6.如果数据类型出现问题,先把数据的类型打印出来。再reshape成指定的类型,如果数据类型的错误始终解决不了,那就要考虑深层次的也就是输入数据的问题。

    7.数据量不够时,一般采用数据增强的方法对其进行补充,或者采用滑动平均的方法对数值进行补充。

    8.数据预判断;有数据需要处理的时候,用excel来拟合特征和输出之间的关系,确保输入和输出之间是有关系的,也就是要确保你选取的特征是对输出有影响的。

    9.如果你需要对神经网络进行改进,或者在论文中对深度学习模型进行深入描述,那么你需要将模型的原理,结构都得弄懂。

  • 相关阅读:
    虚树入门
    378. 骑士放置(最大独立集)
    377. 泥泞的区域(最大点集)
    352. 闇の連鎖
    P2680 运输计划
    Linux下的段错误(Segmentation fault)
    Acwing 98-分形之城
    快速幂 和 快速乘
    P1308-道路修建 (noi 2011)
    洛谷 P1070 道路游戏(noip 2009 普及组 第四题)
  • 原文地址:https://www.cnblogs.com/maboii/p/13175617.html
Copyright © 2020-2023  润新知