Page 98 - 《应用声学》2025年第2期
P. 98

358                                                                                  2025 年 3 月


             3.4 鸟声识别性能对比                                      性。特别是，EfficientNet-B0-Tuning1在参数减少近
                 在本实验中，设置了不同的阈值上限，并根                           半的情况下，鸟声识别精度仅降低了 5.52%，这验证
             据参数和计算量 FLOPs 约束决定了通道剪枝的                          了本文所提网络压缩方法的有效性。但值得注意的
             幅度。根据不同的计算需求，实验中得出了 3 种                           是，随着剪枝参数的增加，识别精度逐渐降低。尤其
             EfficientNet-B0 的 Pruning 级网络结构版本。与原                当计算压缩率达到 0.25× 时，Tuning 级网络平均识
             始模型的通道数对比如表3所示。                                   别精度也仅为 64.38%，这可能归因于在结构化剪枝
             3.4.1 剪枝对比                                        过程中对某些重要通道的过度剪枝。

                 经过剪枝得到的EfficientNet-B0-Pruning三种
                                                               3.4.2 切割对比
             网络，本文均采用所提知识蒸馏方法对其进行网
                                                                   为完成较好的轻量级鸟声识别网络，本文在剪
             络微调，分别得到微调后对应的 3 种 Tuning 级轻量
                                                               枝阶段设计加入了稀疏校准系数 τ 并迭代更新，在
             化网络。为了验证所提出轻量化网络压缩方法的
                                                               知识蒸馏阶段设计加入内部蒸馏损失 L I 。为验证
             有效性，分别使用上述 3 种 Pruning 级网络与 3 种
                                                               所提设计方案的有效性，本节展示了切割实验的实
             Tuning 级网络，对 5184 份测试样本进行鸟声识别
                                                               验结果。相关切割模型的介绍如下：
             测试。对测试结果进行统计分析后，相关的分类性
             能、网络规模和计算量见表4。                                        (1) Pruning1-SCC：在EfficientNet-B0-Pruning1
                 从表 4 可看出，与未剪枝的 EfficientNet-B0 原                的剪枝过程中，取消了网络稀疏校准系数 (Sparse
             始网络相比，剪枝所得 Pruning 级网络的参数量分                       calibration coefficient, SCC) 的计算与更新。在此
             别降低了 43%、58% 和 72%，而其计算量也分别达                      情况下，训练中通过随机掩码实施通道剪枝并完成
             到了 0.54×、0.41× 和 0.25× 的要求。这证实了通道                 微调。
             剪枝方法在网络压缩方面的有效性。此外，与微调                                (2) Tuning1-IDL：在 EfficientNet-B0-Tuning1
             前Pruning 级网络的相比较，微调后的 Tuning级网                    的微调过程中，删除了损失函数中的内部蒸馏损失
             络c-mAP精度提升了 4.67%、7.10%、12.2%，这体现                 分量 (Internal distillation loss, IDL)。在此情况下，
             了微调对恢复剪枝网络精度的有效性，同时看到微                            知识蒸馏损失仅由交叉熵损失与概率预测分布损
             调恢复精度的能力与剪枝规模也存在一定的相关                             失组成。

                                        表 3   EfficientNet-B0 剪枝网络前后的结构对比
                 Table 3 Structure comparison of EfficientNet-B0 pruned network before and after pruning

                                                                      通道数
                        网络模型
                                        模块 1   模块 2    模块 3   模块 4    模块 5   模块 6    模块 7   模块 8    模块 9
                     EfficientNet-B0       2       6      24      40     80     112     192    320    1280
                  EfficientNet-B0-Pruning1  4      2      16      28     56      80     136    224     920
                  EfficientNet-B0-Pruning2  6      2      16      24     48      64     112    184     740
                  EfficientNet-B0-Pruning3  4      8      10      18     36      50     86     144     572

                                        表 4   EfficientNet-B0 剪枝网络前后的性能对比
                Table 4 Performance comparison of EfficientNet-B0 pruned network before and after pruning

                       网络模型            c-mAP/%     精度下降比       参数量/M      参数压缩比       FLOPs/M    计算压缩比
                    EfficientNet-B0        97.16        1×         5.3         1×         387         1×
                 EfficientNet-B0-Pruning1  86.97       0.90×       3.0        0.57×       209        0.54×
                 EfficientNet-B0-Tuning1   91.64       0.94×       3.0        0.57×       209        0.54×
                 EfficientNet-B0-Pruning2  75.81       0.73×       2.2        0.42×       157        0.41×
                 EfficientNet-B0-Tuning2   82.91       0.85×       2.2        0.42×       157        0.41×
                 EfficientNet-B0-Pruning3  52.19       0.54×       1.5        0.28×        96        0.25×
                 EfficientNet-B0-Tuning3   64.38       0.66×       1.5        0.28×        96        0.25×
   93   94   95   96   97   98   99   100   101   102   103