一、概述
这个是最近的核心工作了，基本上都是靠着这篇paper的model过日子了啊..
论文主要讲的是hand gesture recognition，实际上是用googlenet做的一个classification的工作，他的工作也就是在googlenet上做了fine-tuning，那么论文的关键是什么呢...当然就是标题啦..关键工作是CNN+EM，通过EM算法对隐变量参数进行预测，用CNN代替stepE的高斯模型的预测，这样迭代下来，最终训练了在这个值标记了3000张但是有1 Million的数据集上训练了一个CNN模型。
二、state-of-the-Art
最牛逼的地方在于解决了对大量continuous且weakly labeled的数据的处理，这个在其他地方也会有很好的应用，所以得了CVPR 2016的oral啊..
1. 首次在CNN上用weakly labelled data sets 来训练
2.第一次使用posture and pose-independent hand shape classification，也就是当你的pose(手势)固定以后，把它作为一个符号，即使你旋转或者翻转，只要作为刚体的pose不变，那么就是一类的，这个在手语识别和一些其他地方还是有不错的用处的。
3.其他都是在自吹自擂..
三、weakly supervised CNN training
对他的算法进行了说明，对于一个视频序列而言，首先提取手部画面，然后他对每个image有一个标记，其中识别不出来的术语garbage class，然后通过CNN+Em来迭代计算，这里就是之前说的，用CNN来预测类别来代替传统EM中用Guassian mixtures做概率预测，每次迭代的时候，都会有个新的预测，有时候可能会改变之前的label。然后关键也是每个类别之间的boundaries的改变。
然后这里有一句对整体算法最好的一个概括:we solve the problem in an iterative fashion withthe EM algorithm in a HMM setting and use the CNN for modelling p(k|x).
四、一堆废话以及没搞懂的HMM在其中的应用。
有时间要去彻底弄懂HMM。
五、整体流程
1、数据准备
在数据集上跑我之前的一篇dp跟踪手的程序，得到手部画面的数据集。
2、建立字典
个人理解是不同的数据集的表示不同。这里是把他们统一起来，可能有问题。
3、初始化算法
随机的对整个视频序列进行label，并且认为每个video的开始和结束时garbage class
4.隐马尔科夫模型的设置
这里它是基于一个RASR的开源软件，具体不是很清楚
5、CNN训练
CNN训练的一些tricks
六、拓展-手语识别
这里话是前面工作的衍生了，首先把最后fc变回了1024层，整个CNN作为了一个feature提取的工具，然后通过PCA降维到200，具体的实现方法他也是参考的另一篇paper，以后要是用到这里可以去看一下。
七、总结
总的来说两点是state of art 的：1、用CNN+EM的方法对大量连续弱标记数据的处理
2、在手势识别的时候是pose-independt的。