【ICCV 2019】ACNet: 使用非对称卷积块增强CNN的卷积核骨架

【ICCV 2019】ACNet: 使用非对称卷积块增强CNN的卷积核骨架

ACNet: Strengthening the Kernel Skeletons for Powerful CNN via Asymmetric Convolution Blocks

说明：

Top-5准确率：对一个图像，如果预测概率前五中包含正确答案，即认为正确。

Top-1准确率：对一个图像，如果预测概率最大的是正确答案，即认为正确。

利用增强后的卷积核参数对原始模型进行初始化并部署，可以在不需要额外的计算成本的前提下提升原始模型的准确率。

那么，给定现成的卷积网络（原始网络），我们用ACB替换每个方形卷积核层来构造非对称卷积网络（ACNet），并对其进行训练直至收敛。

训练完成后，我们将ACB中的三个卷积核在对应位置相加，得到骨架(skeleton，方形卷积核的中心交叉部分)增强的卷积核参数：

最后将骨架增强的卷积核的权值参数对原始网络进行初始化并部署。

这种方式

不引入其他的超参数，可以很方便地跟一些网络结合。与直接训练得到的原始网络相比，只是卷积核的权值有差别，所以部署时不需要额外的计算成本。

卷积网络常用到BN层。这篇文章的实验表明，先BN后融合效果是最好的：

如果使用BN后再融合，在训练完ACNet后，原始模型的的卷积层和BN层用通过BN fusion、branch fusion化简得到表达式替换：

其中

均值和标准差都是训练时的滑动平均。

ACNet为什么有效？

这篇论文通过实验观察到，核的骨架上的权重通常较大：

且以一定稀疏率(sparsity ratio)将卷积核在边角(corner)、骨架(skeleton)、全局(global)的权重随机置零：

骨架(skeleton)对准确率影响是最明显的，这说明了骨架的重要性。

骨架如此重要，所以ACB中将水平和垂直核添加到方形核的骨架对其进行增强可以促进网络学习。

另外，方形、水平和垂直核上的权重有可能是负的，因此将它们相加可能会导致骨架更弱。然而，作者根据实验观察到模型学习时总是增强每一层的骨架。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。