一、什么是深度神经网络
浅层神经网络:一个逻辑回归是一个浅层的神经网络,最简单的神经网络是包含一个隐藏层的双层神经网络【不含输入层】,
深层神经网络是一个包含多层隐藏层的神经网络。
二、深层神经网络和浅层神经网络的比较
计算y = x1 xor x2 xor x3 …… xor xn,x1异或到xn的结果。
左边是深层神经网络,时间复杂度为O(logn)
右边是浅层神经网络,时间复杂度为O(2^n)
三、超参数和参数:
参数:W和b
超参数:影响W和b的一些参数,如学习率、隐藏层数、单元数、激活函数的选择、以及代码运行时的mini-batch,几种不同的正则化参数等。