自己要搞深度学习，正好手上有本keras之父写的深度学习书，于是就从keras入手吧。看了一个电影的二分类问题，确实很简单，可以熟悉深度学习的流程。首先熟悉了结果keras的模块，如model，Sequential等，这和numpy有什么区别吗？没有啊
有了keras框架,预处理图片数据，构建网络都很快，就像搭乐高积木一样。但是我在做一个猫狗识别network时，准确率一直在50%，数据和参数和书上的差不多，但是人家是70%，这是为什么？如何提高准确率，这也是深度学习领域的一个重要问题，如何发现问题？数据预处理？网络结构，网络参数?可以观察的数据只有loss和acc，所以设计神经网络有时候还真是一个技术活，多多练习，掌握一些基本的经验。
为什么很随意的一个dnn网络或者cnn网络，mnist数据集的识别精度可以达到90%，而这样区别明显的二分类问题效果却很差？看了数据集标注，没什么问题。网络结构也正常，不知道应该在哪里改进？然后看了kaggle上的一些竞赛代码，发现自己训练的数据太少（或者说迭代次数太少），吧epoch和steps_per_epoch调整了一下，损失函数慢慢降低，但是任然很慢，之前的训练都不到10分钟，现在看得一上午时间。
在看到keras的高级深度学习实践的过程中，有一个Embeding层对象没有看懂，看了官网的api文档也没弄明白是什么意思。但是今天看了教科书的一些讲解，有点一知半解。现在想来它就是一个自然语言处理中，将文本转换为词向量的一个工具，如果你的重点是cnn，cv方面，懂到这个程度就行了，毕竟效率很重要，不能荒废了，做无用功，这就是一种学习能力的体现，不在无用的地方浪费自己的时间。
keras中一个好用的地方就是集成了已经训练好的网络，比如vgg16,可以看一下源码和相关论文。
神经网络原理：
1、神经网络最基本的原理也是函数拟合，所以lose function就显得非常重要了，我们训练的目的之一就是减小损失函数，常用的损失函数参考：https://www.cnblogs.com/hypnus-ly/p/8047214.html，比如entropy_cross,比较两个概率分布的差异，同时又使得反向传播时好计算。
2、神经网络训练都是以一个batch为训练单位，即一批一批的训练，那么反向传播时怎么计算导数呢？可以体会，这个batch轴对于w没有什么影响，对于b有一些影响。只不过反向传播时，loss function取均值。