任务
action recognition
基本流程
把一个骨架视频中节点的各个坐标变成一幅图像,对图像用卷积和池化训练,如下图,图像的每一列表示一帧中各节点的坐标,不同列表示不同帧的信息。
创新点及为什么work
创新点:
- 把时序骨架节点坐标表示成图像,把时序动态特性转换为空间结构
- 提出用这些特殊的图像训练一个CNN模型,也就是提出用CNN模型来做骨架动作识别。并且提出用max-pooling来扮演空间-时间同步池化的角色,以克服动作频率变化的问题。
为什么work:
- CNN的各个filter可以提取不同的特征...
- max-pooling可以克服动作频率变化的问题
其实我觉得作者并没有讲清楚为什么创新点work,只是似是而非地提了一下,然后用实验结果证明了一下。很多深度神经网络论文都有这问题。
数据集
Berkeley MHAD
ChaLearn Gesture Recognition Dataset