CNN的计算量通常用乘加数（Multi-Add）来表示，与输入输出图尺寸有关，通常卷积层的占比最大。
假设kernel-size为\(k \times k \times C_{in}\)，数量为\(C_{out}\)。输入feature map尺寸为\(H_{in} \times W_{in} \times C_{in}\),输出feature map尺寸为\(H_{out} \times W_{out} \times C_{out}\)
那么Multi-Add为\((k \times k \times C_{in} + k \times k \times C_{in}-1) \times (H_{out} \times W_{out} \times C_{out}) = (2 \times k \times k \times C_{in} -1) \times (H_{out} \times W_{out} \times C_{out})\) （不考虑bias的情况）
若考虑bias，则Multi-Add为\((k \times k \times C_{in} + k \times k \times C_{in}) \times (H_{out} \times W_{out} \times C_{out}) = (2 \times k \times k \times C_{in}) \times (H_{out} \times W_{out} \times C_{out})\)
IID：独立同分布（independently identically distribution），指的是随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。
然而网络层数的增加，每一层的输入分布就会改变，从而不符合IID假设，网络也很难学习到稳定的科学规律，因为每一层针对的都是新的数据分布，只能通过很小的学习速率和精调的初始化参数来解决这个问题。
由于现在的CNN通常包含很多的隐藏层，在训练过程中每一层的分布都会发现变化，因此CNN中的每一层网络都会发生协变量偏移(Covariate Shift)问题。由于是对中间隐藏层的分析，所以叫做内部协变量偏移(Internal Covariate Shift)。
为了使每一层的输入分布固定下来，提出了Batch Normalization。
