记录一些书里的知识点，摘自魏秀参的《解析深度学习-卷积神经网络原理与视觉实践》

 

• 第三章 卷积神经网络经典结构

1.在深度学习中，深度卷积神经网络呈现“分布式表示”，既“语义概念”到神经元是一个多对多映射。直观讲就是：每个语义概念由许多分布在不同神经元中被激活的模式表示；而每个神经元又可以参与到许多不同语义概念的表示中去。（对某个模式，会有不同卷积核产生响应；对某个卷积核，也会在不同模式上产生响应）

2.神经网络响应的区域多呈现“稀疏”特性，即响应区域集中且占原图比例较小。

3.深度特征的层次性。卷积操作可以获取图像区域不同类型的特征，而池化等操作可以对这些特征进行融合和抽象，随着若干卷积和池化操作的堆叠，从各层得到的深度特征逐渐从泛化特征（如边缘、纹理等）过渡到高层语义表示（躯干、头部等）。

• 第四章 卷积神经网络的压缩

（这部分知识点挺多，后续若有使用的地方专门补充）

• 第五章 数据扩充

1.特殊的数据扩充方式：Fancy PCA

首先对所有训练数据的R、G、B像素进行主成分分析，得到对应的特征向量和特征值，然后根据特征向量和特征值可以计算一组随机值，将其作为扰动项加入到原像素值中即可。

参考文献：Alex Krizhevsky,Ilya Sutskever,and Geoffrey E. Hinton. ImageNet classification with deep convolutiional neural networks. 2012

2.特殊的数据扩充方式：监督式数据扩充

海康威视研究院提出的一种监督式（利用图像标记信息）的新型数据扩充方式。在场景分类问题中，主要依靠图片所蕴含的高层语义进行分类，此时若采用随机截取等简单的数据扩充方法，会很容易漏掉关键信息，还会引入一些影响分类判断的错误标记，可以使用以下方法：首先用原始数据训练出一个初始分类模型，并利用该模型生成每个图的heat map，这张特征图可以指示图像区域与场景标记之间的相关概率。之后，依据此概率映射会原图选择较强相关的图像区域作为扣取的图像块。

这种数据扩充方式适用于一些高层语义图像分类任务，比如场景分类和基于图像的节日分类等。

• 第六章 数据预处理

1.归一化。卷积神经网络中的数据预处理操作，通常是计算训练集图像像素均值，之后在处理训练集、验证集和测试集图像时需要分别减去该均值。减均值操作的原理是：我们默认自然图像是一类平稳的数据分布（既数据每一个维度的统计都服从相同分布），此时，从每个样本上减去数据的统计平均值（逐样本计算）可以移除共同部分，凸显个体差异。

• 第十一章 超参数设定和网络训练 

1.小卷积核相比大卷积核有两项优势：(1)增加网络容量和模型复杂度;(2)减少卷积参数个数

2.批规范化操作(BN)，该方法在一定程度上换建立深层网络的“梯度弥散”问题

• 第十二章 不平衡样本的处理

1.数据层面的处理

(1)数据重采样

包括上采样和下采样，上采样可以复制少的类别的图像使其与样本最多类别的样本数一致，也可以使用数据扩充的方式代替简单的复制操作。下采样并不是直接随机丢弃一部分图像（那样做会降低训练数据多样性进而影响模型泛化能力），正确的下采样方式为，在 批处理训练 时对 每批 随机抽取的图像严格控制其样本较多类别的图像数量（既每批训练的时候随机抽样来保证正负样本量一致，并不丢弃多的样本）。此外，还需注意的是，仅使用数据上采样有可能引起模型过拟合问题，更保险且有效的数据重采样是将上采样和下采样结合使用。

(2)类别平衡采样

该策略是把样本按类别分组，由每个类别生成一个样本列表。在训练过程中先随机选择1个或者几个类别，然后从各个类别所对应的样本列表中随机选择样本，这样可以保证每个类别参与训练的机会比较均衡。（在此之上提出一个优化的方法：类别重组法）

2.算法层面处理

(1)代价敏感方法

增加小样本错分的“惩罚代价”并将此“惩罚代价”直接体现在目标函数中。这样，通过优化目标函数就可以调整模型在小样本上的“注意力”。

以分类问题为例，介绍以下两种方法

-基于代价敏感矩阵的代价敏感：

假设N个样本，，其中样本标记y属于K类，利用K×K的矩阵C对不同样本类别施加错分惩罚（亦可称权重）：

其中表示类别yi错分为yj的“惩罚”，对角线元素为0。

施加代价之后的训练目标变为：训练得到的某分类器g，使得期望代价之和最小。

可以看出，代价敏感矩阵反映是是类别级别的错分惩罚。

-基于代价敏感向量的代价敏感：

代价敏感向量反映的是样本级别的错分惩罚。

对某样本，有对应的一个K维代价敏感向量Cn，其中Cn的第k维表示该样本被错分为第k类的惩罚，自然第yn类为0。

基于代价敏感向量的方法在模型训练阶段，是将样本级别的代价敏感向量与样本以的三元组形式一同作为输入数据送入学习算法。

代价敏感矩阵实际上是代价敏感向量的一种特殊形式，即对于某类的所有样本，其错分惩罚向量为同一向量。

 

3.代价敏感法中权重的指定方式

(1)按照样本比例指定

样本数量多的，对应逞罚权重可以设为稍小值

(2)按照混淆矩阵指定

一种方式可以直接以错分样本数为矩阵取值；更优的方法是考虑各类的错分比例，并以此比例调整各类错分权重。

 

• 第十三章 模型集成方法

（知识点很多，后续有使用专门补充）

 

参考资料：

《解析深度学习-卷积神经网络原理与视觉实践》 魏秀参