卷积神经网络互相关运算和卷积运算原理

article/2025/10/24 5:27:35

卷积神经网络用的其实不是卷积运算，实际用的是互相关运算；互相关运算和卷积运算的区别在于对输入结果所加的权重系数的顺序不同而已，但由于神经网络本身就是训练参数的，所以两者的输出结果其实是一样的，而互相关运算相比卷积运算由于权重系数(卷积核)无需翻转，更加简单，所以实际的卷积网络都是基于互相关运算的；

互相关运算和卷积一维计算原理：

这里先从一维的开始介绍，方便大家理解；给定一维序列 $W=(\ldots ,w[-1],w[0],w[1],\ldots )\$ 和一维序列 $X=(\ldots ,x[-1],x[0],x[1],\ldots )\$ ,

则互相关序列为：

$W\star X=(\ldots ,(w\star x)[-1],(w\star x)[0],(w\star x)[1],\ldots )\$

其中的元素为：

$(w\star x)[i]=\sum\limits_{t=-\infty }^{+\infty }{w[i+t]x[t]}\$

对于卷积序列为：

$W*X=(\ldots ,(w*x)[-1],(w*x)[0],(w*x)[1],\ldots )\$

其中的元素为：

$(w*x)[i]=\sum\limits_{t=-\infty }^{+\infty }{w[i-t]x[t]}\$

这里举例来解释什么意思：假设序列 $W=(\ldots ,w[-1]=0,w[0],w[1],w[2],w[3]=0,\ldots )\$ , $X=(\ldots ,x[-1]=0,x[0],x[1],x[2],x[3],x[4],x[5]=0,\ldots )\$ 省略号表示后面都是0，因为一般来说，权重序列和输入矩阵都是稀疏矩阵；

那么互相关运算 ${\color{Red} \[W\star X\]}$ 满足：

对于上述互相关运算 $W\star X\$ 的第i个元素会等于序列W的第 ${{i}_w}\$ 个元素w[ ${{i}_{w}}\$ ]和序列X的第 ${{i}_{x}}\$ 个元素x ${{i}_{x}}$ 相乘再相加，其中 ${\color{Red} {{i}_{x}}-{{i}_{w}}=i\$

以上面公式1的第二行为例， $\(w\star x)[-2]\$ 此时i=-2, 先看W序列和X序列的元素序号，找到 ${{i}_{x}}-{{i}_{w}}=-2\$ 的所有组合：ix=0时，iw=2;ix=1时，iw=3,由于w[3]=0，而且后续因为都是0，所以对于 $(w\star x)[-2]\$ 只有 $w[2]x[0]\$ 这一项；

再以公式1的第三行为例， $(w\star x)[-1]\$ ，此时i=-1, 先看W序列和X序列的元素序号，找到 ${{i}_{x}}-{{i}_{w}}=-1\$ 的所有组合：ix=0时，iw=1,则;ix=1时，iw=2;ix=2时，iw=3,由于w[3]=0,而且后续因为都是0，所以对于 $(w\star x)[-1]\$ 有 $w[1]x[0]\$ , $w[2]x[1]\$ 共两项；后续就不在介绍了，大家可以自行推导；

对于卷积运算 ${\color{Red} W*X\$ 则是：

对于上述卷积运算 $W*X\$ 的第i个元素会等于W序列的第 ${{i}_{w}}\$ 个元素w[ ${{i}_{w}}\$ ]和序列X的第 ${{i}_{x}}\$ 个元素x[ ${{i}_{x}}\$ ]相乘再相加，其中 ${\color{Red} {{i}_{x}}+{{i}_{w}}=i\$ ,

以公式2第3行为例， $(w*x)[1]\$ ，此时i=1, 先看W序列和X序列的元素序号，找到 ${{i}_{x}}+{{i}_{w}}=1\$ 的所有组合：ix=0时，iw=1,则;ix=1时，iw=0；ix=2时，iw=-1,由于w[-1]=0，而且后续因为都是0，所以对于 $(w*x)[1]\$ 有 $w[1]x[0]\$ , $w[0]x[1]\$ 这两项；一次类推，大家可以试试其它行，结果都符合上述规则，这里就不再推导；