Page 90 - 《应用声学》2025年第2期

第 44 卷 第 2 期 Vol. 44, No. 2
2025 年 3 月 Journal of Applied Acoustics March, 2025

⋄ 研究论文 ⋄

网络剪枝与知识蒸馏相结合的轻量级鸟声识别方法 ∗

申小虎 1,2† 李冠宇 3 史洪飞 2 王传之 4

(1 江苏警官学院刑事科学技术系 南京 210031)
(2 国家林业和草原局 野生动植物物证技术国家林业和草原局重点实验室 南京 210023)
(3 大连海事大学信息科学与技术学院 大连 116026)
(4 科大讯飞科技有限公司 合肥 230088)
摘要：在鸟声识别应用中，算法模型多数采用参数密集型，缺少能够搭载至被动声学监测设备的高效网络。针
对 EfficientNet 网络结构特点，将结构化剪枝与知识蒸馏方法相结合，确保剪枝后的网络保持良好的泛化能力，
能够满足不同资源配置条件下的网络需求。一方面，通过逆背包准则建立了剪枝通道与资源间的信息表述，在
保留网络框架条件下完成通道剪枝。另一方面，在知识蒸馏方法中通过加入 MBConv 模块内部蒸馏损失分量
并完成训练，确保跨组信息交换保留了剪枝前后特征映射之间的距离。通过对南京浦口区老山森林中收集的
10 类鸟声检测分类实验，在压缩后网络参数量仅 3.0 M 的条件下，分类精度可达到 91.64%。该文所提方法在
完成网络规模压缩的同时，较好地保留了分类精度，与相同规模主流轻量级网络相比较，能更好地适应鸟声识
别被动声学监测的设备需求。
关键词：网络剪枝；知识蒸馏；鸟声识别；轻量级网络；被动声学监测
中图法分类号: TP18; TN912.3 文献标识码: A 文章编号: 1000-310X(2025)02-0350-12
DOI: 10.11684/j.issn.1000-310X.2025.02.009

A light-weight bird sound recognition method combining network pruning and

knowledge distillation

3
2
SHEN Xiaohu 1,2 , LI Guanyu , SHI Hongfei and WANG Chuanzhi 4
(1 Department of Forensic Science and Technology, Jiangsu Police Institute, Nanjing 210031, China)
(2 National Forestry and Grassland Administration, Key Laboratory of National Forestry and Grassland Administration on
Wildlife Evidence Technology, Nanjing 210023, China)
(3 College of Information Science and Technology, Dalian Maritime University, Dalian 116026, China)
(4 iFLYTEK Co., Ltd., Hefei 230088, China)

Abstract: In bird sound recognition, most algorithm models heavily rely on parameters and lack efficient
networks compatible with passive acoustic monitoring (PAM) equipment. The deficit becomes pronounced
given the typically complex of EfficientNet network structure. This challenge is addressed by synergistically
combining structured pruning and knowledge distillation techniques, which upholds the generalization
capability of the pruned EfficientNet network while accommodating diverse resource allocation conditions. The
network pruning was reconceptualized using an inverse knapsack criterion. This strategic approach facilitates
channel pruning while maintaining the network’s foundational architecture. Simultaneously, in the knowledge

2023-10-27 收稿; 2023-12-27 定稿
国家自然科学基金项目 (61976032), 野生动植物物证技术国家林业和草原局重点实验室开放课题 (KLNPC2102), 2023 江苏省高等学
∗
校优秀科技创新团队 “人工智能框架下的法庭毒理学” 项目
作者简介: 申小虎 (1981– ), 男, 山东青州人, 博士, 高级实验师, 研究方向: 声信号处理与机器学习。
† 通信作者 E-mail: shenxiaohu@jspi.cn