深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现

深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现

深度学习论文: MicroNet: Improving Image Recognition with Extremely Low FLOPs及其PyTorch实现 MicroNet: Improving Image Recognition with Extremely Low FLOPs PDF: ​​​概述

MicroNet的提出主要的遵循以下两个设计原则：

降低网络节点（神经元）之间的连通性而不降低网络的宽度使用更复杂的非线性激活函数来弥补通性网络深度的减少所带来的精度损失

2 Micro-Factorized Convolution

Micro-Factorized convolution 将MobileNet中的point-wise卷积以及depth-wise卷积分解为低秩矩阵，从而使得通道数目和输入输出的连通性得到一个良好的平衡。

2-1 Micro-Factorized Pointwise Convolution

提出了一种微分解卷积(MF-Conv)来将Pointwise卷积分解成两组卷积层。其中，组数G适应于通道C的数量为：

R是通道减少率。在给定的计算成本下，这个等式在通道数和节点连接性之间实现了很好的权衡。数学上，Pointwise卷积矩阵由一个块矩阵(G×G块)近似，其块的rank为1。这保证了最小的路径冗余和最大的输入覆盖率 ，从而使网络能够为给定的计算预算实现更多的通道。（如上图左）

2-2 Micro-Factorized Depthwise Convolution

2-3 Lite Combination

先用depthwise进行expand（通道数增加），再使用pointwise进行squeeze（通道压缩），这样可以节省更多的计算资源用到depthwise上，而非通道融合的pointwise上。（如上图右）

3 Dynamic Shift-Max

Dynamic Shift-Max 使用一种新的激活函数，通过最大化输入特征图与其循环通道偏移之间的多重动态融合，来增强非线性特征。之所以称之为动态是因为，融合过程的参数依赖于输入特征图。

Dynamic Shift-Max(DY-ShiftMax)，加强了由微分解创建的组之间的连接。是一种对微分解pointwise卷积的补充，因为微分解pointwise卷积更加关注组内的交互。

第一个非线性是对侧重于每一组内的连通性的微分解pointwise卷积的补充，从而加强了每一组之间的连接 。第二个非线性使网络能够根据输入x来调整这种增强功能 。这两种操作增加了网络的表示能力，弥补了减少的层数所固有的损失。

4 MicroNet

4-1 Micro-Blocks

三个不同方式组合的Micro-Blocks

4-2 Architectures

不同参数和计算量的MicroNet实例化结构

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。