Page 99 - 《应用声学》2025年第2期
P. 99
第 44 卷 第 2 期 申小虎等： 网络剪枝与知识蒸馏相结合的轻量级鸟声识别方法 359
由表 5 发现，在取消稀疏校准系数与内部蒸馏 表 6 EfficientNet-B0 微调网络与主流基准网
损失分量的操作后，轻量级网络在相同参数量条件 络性能对比
Table 6 Performance comparison between
下均产生了不同程度的性能下降，这是由通道剪枝
EfficientNet-B0 fine-tuned network and
的随机性与模块间特征映射信息缺失所造成。本节
state-of-the-art network
实验结果支持本文所提出的稀疏校准系数与内部
蒸馏损失分量在提升轻量级模型鸟类识别精度上 网络模型 参数量/M FLOPs/M c-mAP/%
的结论。 EfficientNet-B0-Tuning1 3.0 209 91.64
SqueezeNet 4.8 391 92.18
表 5 EfficientNet-B0 切割前后的性能对比 MobileNet-V2 3.5 300 90.79
Table 5 Performance comparison of Efficient- TinyNet-B 3.9 312 91.43
Net-B0 before and after cutting
ShuffleNet-V2 1.5× 3.5 299 89.98
EfficientNet-B0-Tuning2 2.2 157 82.91
切割方法 c-mAP/% 参数量/M
MobileNet-V2 0.5× 2.0 97 80.60
EfficientNet-B0-Tuning1 91.64 3.0
TinyNet-C 2.5 100 81.57
Pruning1-SCC 70.14 3.0
EfficientNet-B0-Tuning3 1.5 96 64.38
Tuning1-IDL 86.78 3.0
MobileNet-V1 1.3 110 66.05
3.5 与其他主流轻量级网络的对比 ShuffleNet-V2 0.5× 1.4 41 61.43
LDFSRE-NET 0.9 35 70.84
3.5.1 在服务器平台上的对比结果
随着深度学习方法在图像识别和目标识别 3.5.2 在边缘设备平台上的对比结果
领 域 的 成 功 应 用， 很 多 研 究 者 将 经 典 深 度 网
此外，本文在龙芯 2K1000LA 边缘设备开发板
络引入到鸟声自动识别领域。除前述的轻量级 上对本文微调后的 Tuning级网络进行了性能对比。
网络 KD-CLDNN(97.6 M)、LDFSRE-NET(0.9 M) 龙芯2K1000LA兼具高性能、低功耗、高可靠性等特
外，著名的经典轻量级网络还包括 SqueezeNet [31] 、 点，适用于包括声学监测和语声识别在内的多种应
TinyNet [32] 、MobileNet [33−34] 、ShuffleNet [35] 等，并 用场景，其具体参数如表7所示。
在近年发展出许多升级版本。为了对比，选择与本
表 7 龙芯 2K1000LA 参数细节
文模型规模相近的网络，并用相同数据集进行了训
Table 7 The detailed information of
练。鸟声识别测试的结果如表6所示。
2K1000LA
从统计结果来看，本文方法得到的 Efficient-
Net-B0 各规模压缩模型与其他模型相比均获得 测试环境 参数内容
了较好的分类性能，展现了较强的可伸缩性。例 架构 Loongarch
如，EfficientNet-B0-Tuning2 在参数和计算效率相 系统 Loongnix
似的情况下，其平均识别精度比 TinyNet-C 提高了 CPU LS2K1000LAi 1G
内存 4 GB DDR3
1.34%。尽管 EfficientNet-B0-Tuning1 网络在平均
峰值速度 8GFlops
识别精度上没有取得最佳成绩，但网络参数量与计
功耗范围 1∼5 W
算量均小于获得最佳精度成绩的SqueezeNet 网络。
动态降频降压 支持
而EfficientNet-B0-Tuning3网络表现性能则略低于
近似规模的 MobileNet-V1 与 LDFSRE-NET，这说 本节实验选择自建数据集中的10种鸟类，每种
明本文方法在压缩规模存在一定的限制。与规模相 鸟类100份样本，共1000份鸟声片段(5 s)进行推理
近网络相比，LDFSRE-NET 在最小参数量下获得 测试，计算得到的平均推理时间如表8所示。
最佳c-mAP精度，这可能得益于双特征融合算法更 剪枝微调后的到的 Tuning 级网络随着参数量
全面地提取了鸟声特征，为下一步研究方向指明了 的下降，推理时间也得到相应减少，分别下降了为
方向。 41.5%、53.7%与68.3%。实验结果表明，本文方法构
