卷积神经网络

从全连接层道卷积

全连接层

\([H]_{i,j}=[U]_{i,j}+\mathop\sum\limits_{k}\mathop\sum\limits_l [W]_{i,j,k,l}[X]_{k,l}\\=[U]_{i,j}+\mathop\sum\limits_{a}\mathop\sum\limits_{b} [V]_{a,b}[X]_{i+a,j+a}\)

平移不变性

检测对象在输入X中的平移,只会导致隐藏层H中的平移

V和U实际上不依赖于(i,j)的值,即\([V]_{i,j,a,b}=[V]_{a,b}\),且U是一个常数

\([H]_{i,j}=u+\sum\limits_a\sum\limits_b[V]_{a,b}[X]_{i+a,j+b}\)

局部性

\([H]_{i,j}\)不会关注距离(i,j)太远的地方

\([H]_{i,j}=u_d+\sum\limits^{\Delta}_{a=-\Delta}\sum\limits^{\Delta}_{b=-\Delta}[V]_{a,b}[X]_{i+a,j+b}\)

代价

• 特征必须平移不变
• 每一层只包含局部信息

通道

对于图像,一般是三维的张量

\([H]_{i,j,d}=\sum\limits^{\Delta}_{a=-\Delta}\sum\limits^{\Delta}_{b=-\Delta}\sum\limits^{\Delta}_{c}[V]_{a,b,c,d}[X]_{i+a,j+b,c}\)

图像卷积

\(n_k\times n_w的输入矩阵,k_h\times k_w的卷积核,输出矩阵为(n_k-k_h+1)\times(n_w-k_w+1)\)