卷积神经网络是从利用开始,一步一步走到懂过程,再到理解。
对卷积神经网络的理解,先从其结构开始。卷积神经网络包括了输入层,卷积层,池化层(下采样) ,全连接层和输出层。
卷积层,这是卷积神经网络中较为核心的网络层,主要进行卷积操作,基于图像的控件句不相关性分别抽取图像局部特称,通过这些局部特征进行连接,可以形成整体特征。一个卷积核就相当于一个滤波器,找出我们所感兴趣的信息。
池化层(下采样)是对卷积层结果进行下采样操作,主要用来降低维度并保留有效信息,一定程度上避免过拟合。
对于卷积操作,对图像(不同的数据窗口数据)和滤波矩阵(一组固定的权重:因为每个神经元的多个权重固定,所以又可以看做一个恒定的滤波器filter)做内积(逐个元素相乘再求和)的操作就是所谓的『卷积』操作,也是卷积神经网络的名字来源。
dropout对于过拟合问题是很有意义的。
2.多通道多个卷积核卷积计算
图片:假设图片的宽度为W,高度为height:H,图片的通道数为D,一般目前都用RGB三通道D=3,为了通用性,通道数用D表示;
卷积核:卷积核大小为K*K,由于处理的图片是D通道的,因此卷积核其实也就是K*K*D大小的,因此,对于RGB三通道图像,在指定kernel_size的前提下,真正的卷积核大小是kernel_size*kernel_size*3。
对于D通道图像的各通道而言,是在每个通道上分别执行二维卷积,然后将D个通道加起来,得到该位置的二维卷积输出,对于RGB三通道图像而言,就是在R,G,B三个通道上分别使用对应的每个通道上的kernel_size*kernel_size大小的核去卷积每个通道上的W*H的图像,然后将三个通道卷积得到的输出相加,得到二维卷积输出结果。
standard NN, Convolutional NN , Recurrent NN
结构化数据和非结构化数据,计算机更喜欢处理结构化数据,但神经网络给我们带来了不同,其更适合处理人类能够容易理解的数据,非结构化数据。
为什么最近神经网络才开始起飞呢?其背后的理论知识已经出现很久了(十几年,几十年),但知道现在才让深度学习流行起来。普通的机器学习算法(传统统计学习算法无法处理海量数据),但随着社会进步,近20年所产生的数据急速增加。 人们想要让计算机达到足够高的性能,就需要训练大规模的神经网络,而大规模的神经网络也需要更大规模的数据来做支撑。