Page 135 - 《应该声学》2022年第2期

第 41 卷 第 2 期 高子洋等： 卷积神经网络的缺陷类型识别分析 303

据) 和二维图像 (A 扫信号的波形显示图) 分别作为 跟一维卷积类似，w uv 为卷积核权重，y ij 为卷
输入，采用不同 CNN 结构实现缺陷的分类识别，在 积输出，常用于计算机视觉、图像处理领域。
此基础上对网络性能进行优化，实现识别准确率的
1.2 激活函数
提升。
目前对于 CNN 激活函数的研究中普遍使用

1 CNN基本原理和结构 ReLU (Rectified Linear Unit) 函数 [21] 或 ReLU 函
数的变种，ReLU函数定义为
CNN 通过卷积核与输入数据的卷积操作提取
a i,j,k = max(z i,j,k , 0), (3)
特征，然后通过激活函数和池化来对特征进行处理，
经过训练之后使网络输出端能够正确识别输入数 其中，z i,j,k 是第 k 通道在 (i, j) 位置激活函数的输
据进行分类。训练过程如图 1 所示，输入特征经过 入，优点是计算效率高，可以很快收敛，但是会导致
网络主干部分后分类识别，如未达到迭代次数，跟真 神经元死亡问题，如果学习率过大，那么网络中可能
实标签比较通过损失函数和优化函数来对参数进 有很多神经元都无法正常更新参数。在此基础上衍
行修正，再次进入卷积训练过程，当达到迭代次数以 生出了Leaky ReLU函数 [22] ，定义为
后，停止训练并保存当前网络的权重。 a i,j,k = max(z i,j,k , 0) + λ min(z i,j,k , 0), (4)

ᣥКಖኤ 其中，λ是(0,1)范围内的预定义参数，它与ReLU函
数的区别是在输入小于 0 时，会有一个很小的常数
ᣥКྲढ़ ૯ܿѦ஝
λ与输入相乘，使得信息不会全部丢失，解决了神经
Ԅሥࡏ ͖ӑѦ஝ 元死亡问题。图 2 为 ReLU 和 Leaky ReLU 函数示
ա
意图。
༏ำѦ஝
௧ա᣺҂
ᤖ̽൓஝ ௧ ፇౌ 5 5
෉ӑࡏ
4 4
Лᤌଌࡏ
3 3
Ѭዝ
ᣥѣᮕ฾ፇ౧ ᣥѣ: a 2 ᣥѣ: a 2

图 1 训练过程
1 1
Fig. 1 Training process
1.1 卷积核 0 0
CNN 中卷积的特点在于获得输入的局部空间
-1 -1
-4 -2 0 2 4 -4 -2 0 2 4
特征，依靠的是内部包含的多个卷积核，按照维度的
ᣥК: z ᣥК: z
不同可分为一维卷积、二维卷积和多维卷积。一维 (a) ReLU (b) Leaky ReLU
卷积输入通常为时间或频谱采样，卷积核在一维空 图 2 ReLU 与 Leaky ReLU 函数
间滑动计算，计算公式如下： Fig. 2 ReLU and Leaky ReLU activation function
K
∑ 1.3 Dropout和Batch Normalization
y t = w k x t−k+1 , (1)
k=1 Dropout 和 Batch Normalization 为在训练过
其中，w k 为卷积核权重，y t 为卷积输出，常用于信 程中防止过拟合使用的优化手段，Dropout 是在训
号、序列模型、自然语言处理领域等。二维卷积输入 练的时候，随机使一部分隐藏节点值为 0，即不参
一般包含多个通道，通常为图像，卷积核在二维空间 与训练，减少隐藏节点间的相互作用。Batch Nor-
滑动计算，计算公式如下： malization [23] 为将输入分布转化为均值为 0、标准
U V
∑ ∑ 差为 1 的正态分布，其主要作用为加快网络收敛
y ij = w uv x i−u+1,j−v+1 . (2)
速度，防止过拟合，在最近几年的深度学习模型
u=1 v=1