机器学习记录点滴

目标：每天花一个小时时间学习

基本思路按知乎子实的回答 附上链接：子实的回答

第一步：复习线性代数。

内容：

• 懒得看书就直接用了著名的——麻省理工公开课：线性代数，深入浅出效果拔群，以后会用到的SVD、希尔伯特空间等都有介绍；
• 广告：边看边总结了一套笔记 GitHub - zlotus/notes-linear-algebra: 线性代数笔记。

计划：

2016.11.4 学系麻省看理工公开课：线性代数

1.方程组的几何解释：行图像 ，列图像

2.消元法： 

3.A的LU分解

4.置换阵：PA=LU 保证非零主元

5.子空间：R2中子空间：直线必须过零点。

2016.11.5&6 双休日，太懒没有学习

201611.7

6.列空间与零空间

 

 

第二步：入门机器学习算法。

• 还是因为比较懒，也就直接用了著名的——斯坦福大学公开课 ：机器学习课程，吴恩达教授的老版cs229的视频，讲的非常细（算法的目标->数学推演->伪代码）。这套教程唯一的缺点在于没有介绍最近大火的神经网络，但其实这也算是优点，让我明白了算法都有各自的应用领域，并不是所有问题都需要用神经网络来解决；
• 多说一点，这个课程里详细介绍的内容有：一般线性模型、高斯系列模型、SVM理论及实现、聚类算法以及EM算法的各种相关应用、PCA/ICA、学习理论、马尔可夫系列模型。课堂笔记在：CS 229: Machine Learning (Course handouts)，同样非常详细。
• 广告：边看边总结了一套笔记 GitHub - zlotus/notes-LSJU-machine-learning: 机器学习笔记

第三步：尝试用代码实现算法。

• 依然因为比较懒，继续直接使用了著名的——机器学习 | Coursera ，还是吴恩达教授的课程，只不过这个是极简版的cs229，几乎就是教怎么在matlab里快速实现一个模型（这套教程里有神经网络基本概念及实现）。这套课程的缺点是难度比较低，推导过程非常简略，但是这也是它的优点——让我专注于把理论转化成代码。
• 广告：作业参考 GitHub - zlotus/Coursera_Machine_Learning_Exercises: Machine Learning by Andrew Ng from Coursera

第四步：自己实现功能完整的模型——进行中。

• 还是因为比较懒，搜到了cs231n的课程视频 CS231n Winter 2016 - YouTube ，李飞飞教授的课，主讲还有Andrej Karpathy和Justin Johnson，主要介绍卷积神经网络在图像识别/机器视觉领域的应用（前面神经网络的代码没写够？这门课包你嗨到爆~到处都是从零手写~）。这门课程的作业就更贴心了，直接用Jupyter Notebook布置的，可以本地运行并自己检查错误。主要使用Python以及Python系列的科学计算库（Scipy/Numpy/Matplotlib）。课堂笔记的翻译可以参考 智能单元 - 知乎专栏，主要由知友杜客翻译，写的非常好~
• 在多说一点，这门课对程序员来说比较走心，因为这个不像上一步中用matlab实现的作业那样偏向算法和模型，这门课用Python实现的模型同时注重软件工程，包括常见的封装layer的forward/backward、自定义组合layer、如何将layer组成网络、如何在网络中集成batch-normalization及dropout等功能、如何在复杂模型下做梯度检查等等。另外，这门课的作业实现非常推崇computational graph，不知道是不是我的幻觉……要注意的是讲师A.K的语速奇快无比，好在YouTube有自动生成解说词的功能，准确率还不错，可以当字幕看。
• 广告：作业参考 GitHub - zlotus/cs231n: CS231n Convolutional Neural Networks for Visual Recognition (winter 2016) （我的在作业的notebook上加了一些推导演算哦~可以用来参考:D）

因为最近手头有论文要撕，时间比较紧，第四步做完就先告一段落。后面打算做继续业界传奇Geoffrey Hinton教授的Neural Networks for Machine Learning | Coursera，再看看NLP的课程 Stanford University CS224d: Deep Learning for Natural Language Processing，先把基础补完，然后在东瞅瞅西逛逛看看有什么好玩的……