CNN学习笔记-局部连接&权值共享

局部连接

局部连接（Sparse Connectivity）是CNN的一个重要特征。
输出feature map中的每一个结点对应的不是前一层的全局信息，而是局部信息，这是通过CNN中的kernel滑动窗口实现，这个窗口也叫做感知野(receptive field)。
因此CNN中低层网络识别的是低级局部特征，通过中层和高层网络再将局部特征逐步整合成全局特征。
局部连接启发于生物识别系统，这是因为对外界的感知是从局部到全局。
局部连接不仅有利于特征的整合，也大大减少了参数量。

权值共享

权值共享是CNN的另一个重要特征，也是通过kernel滑动窗口实现的。
不同窗口内的位置共享同一个kernel的权值，因此可以将整个图像中的某特征用该卷积核全部识别出来。
图像的局部统计特征在整幅图像上具有重复性（即位置无关性）。即如果图像中存在某个基本图形，该基本图形可能出现在任意位置，那么不同位置共享相同权值可实现在数据的不同位置检测相同的模式。

作用

局部连接和权值共享使得CNN具有仿射不变性(平移、缩放等线性变换)。
用具体的人脸识别的例子来说，到高层网络时，CNN将浅层基础特征组成成更高级的特征，比如人的眼睛、鼻子等，直到全连接层将这种两个眼睛一个鼻子的组合识别为人脸。因此，即使对图像进行平移、缩放，由于局部连接和权值共享在浅层依旧能提取出点、线、边缘等基础特征，并且到高层就能将它们组合成眼睛鼻子，从而最终依旧能被识别为人脸。