《Action Recognition》-Learning Spatiotemporal Features with 3D Convolutional Networks(C3D)

Contributions

• We experimentally show 3D convolutional deep net-works are good feature learning machines that model appearance and motion simultaneously.
• We empirically find that 3×3×3 convolution kernel for all layers to work best among the limited set of explored architectures
• The proposed features with a simple linear model out-perform or approach the current best methods on 4 different tasks and 6 different benchmarks .They are also compact and efficient to compute.

Framework

网络的输入3×16×128×171,随机裁剪后为3×16×112×112，然后输入到网络中，共有8层3D卷积，5层Pooling,和2层全连接。

• 3D convolution and pooling
  作者在文中使用了3D卷积和3D池化层，3D卷积相对于2D卷积来说，能够更好的学习到时序上的信息，因为2D卷积只在高和宽两个维度(hxw)上进行运算，而3D增加了时序上的维度(lxhxw)。下图展示了3D卷积和2D卷积的区别：
  
• 卷积核时序上的维度
  作者做了几个对比实验，得出卷积核时序上维度为3时模型效果最好，实验结果如下图：
  

Result

作者指出，通过C3D提取出来的特征，与其他2D网络提取特征相比能够与分类器结合后达到更好的效果。实验结果如下图：

Conclusion

虽然C3D的效果并没有很亮眼，但由于其网络结构简单清晰，比Two-Stream方法快很多，而且基本上都是端到端的训练，同时提取出了空间和时序上的特征。但是3D卷积网络的缺点就在于网络参数很大。导致网络很难训练，小型数据集容易导致过拟合。