Page 92 - 《应用声学》2020年第3期

412 2020 年 5 月

l
l
练参数的数目，使模型对平移、扭曲、缩放具有一定 式 (11) 中，x 为第 l 层的第 i 个特征映射，N 为第 l
f
i
程度的不变性，并具有强鲁棒性和容错能力，且也易 层的特征映射数，X l−1 是第 l − 1 层的特征映射图，
于训练和优化 [17−18] 。 W 和 b 分别为权值矩阵和偏置。批量归一化层对
l
l
i
卷积神经网络的基本结构由输入层、卷积层、 输出数据进行规范化处理，即：
激活层、池化层、全连接层及输出层构成，此外还可 x i − µ b
y i = γ √ + β, (12)
2
以增加批量归一化层和丢弃层以进一步强化模型 σ + ε
b
的泛化能力。卷积层包含多个卷积核，神经元通过 式(12)中，x i 为输入的第i个特征映射图，y i 为x i 规
卷积核与上一层的局部区域相关联，每个卷积核以 范化处理的结果，γ 为缩放系数，β 为偏移，γ 和 β
局部权值矩阵的形式遍历作为输入的特征图，进行 会随着网络训练而自动变化，γ 和 β 的初值分别为
内积运算，同一卷积核实现权值共享，加上偏置完成 1 和 0，µ b 和 σ b 为数据的均值和方差，ε 为一个非常
特征映射，即： 小的数，旨在提高方差 σ b 极小时归一化处理的稳定
∑ l−1 l l l 性。丢弃层会按照一定比例将部分输入数据赋值为
l
x = X j W + b , 1 6 i 6 N , (7)
ji
i
i
c
0，从而避免了所有的神经元同步优化其权重以致
j∈M k
l
式(7)中，x 为第l 层的第i个卷积核的特征映射，N c l 收敛到同样的结果，防止过拟合的发生。
i
为第 l 层的卷积核数量，X l−1 是第 l − 1 层的第 j 个 本文设计了包含多个卷积层和池化层的卷积
j
特征映射图，M k 为第l − 1 层中与第 l 层第i个卷积 神经网络，采用递增的卷积核设置和池化操作处理
l
核进行卷积运算的所有特征映射，W 为权值矩阵， 不同尺度的特征，并增加批量归一化层和丢弃层以
ji
b 为偏置。W 和 b 会随着网络训练而自动变化， 避免过拟合，该网络的结构如下：
l
l
l
i ji i
l
l
b 的各分量的初值均为 0，W 采用 Glorot 初始化， (1)输入层；
i ji
即 W 的各分量独立采样自均匀分布，该均匀分布 (2) 卷积层，卷积核数量为 NC，卷积核的两个
l
ji
均值为0，方差如下： 维度相等，均为dim W；
(3)批量归一化层；
var =
(4)激活层，激活函数为ReLU函数；
2
, (5) 池化层，池化类型为最大池化，池化窗口的
dim W 1 ∗ dim W 2 ∗ N ch +dim W 1 ∗ dim W 2 ∗ N c l
(8) 两个维度分别为1和dim P；
(6) 卷积层，卷积核数量为 NC，卷积核的两个
式(8)中，var为方差，dim W 1 和dim W 2 为卷积核的
维度相等，都为2 ∗ dim W；
两个维度，N ch 为输入通道数。激活层实现卷积神
(7)批量归一化层；
经网络对非线性特征的检测，典型的激活函数有
(8)激活层，激活函数为ReLU函数；
sigmoid、tanh 和 ReLU 等，其中 ReLU 激活函数是
(9) 池化层，池化类型为最大池化，池化窗口的
最为常用的，其形式为
两个维度分别为1和dim P；
ReLU(x) = max(0, x). (9)
x (10) 卷积层，卷积核数量为 NC，卷积核的两个
池化层旨在通过降低特征映射的分辨率来实现移 维度相等，都为4 ∗ dim W；
位不变性，典型的池化类型有最大池化、均值池化 (11)批量归一化层；
等，其中最大池化函数为 (12)激活层，激活函数为ReLU函数；
(13)丢弃层，丢弃率为rDrop；
Pool max (X) = max(X), (10)
(14)全连接层，神经元数为分类数；
式 (10) 中， X 是 维 度 为 dim P 1 ∗ dim P 2 的 矩 阵，
(15)输出层。
dim P 1 和 dim P 2 为池化窗口的尺度。全连接层与
卷积神经网络训练时，采用随机梯度下降法对
卷积层类似，差别在于该层的所有神经元均与前一
卷积层和全连接层的权值和偏差、批量归一化层的
层的所有神经元相连，即：
缩放系数和偏移等参数进行调整，随机梯度下降法
l
l
l
l
x = X l−1 W + b , 1 6 i 6 N , (11) 可表示为
i
i
f