Page 134 - 《应用声学》2023年第3期
P. 134
572 2023 年 5 月
在神经网络开始训练之前,首先要设置网络的 0.05。本节通过调整这些超参数,研究超参数对模型
超参数,这些参数在训练过程中是固定不变的。通 的影响,逐步优化网络性能。
过调整超参数,能够大大提升模型的训练精度。最 4.1 迭代次数对模型的影响
佳超参数组合通常都是结合训练完成后的指标曲
迭代次数对模型的训练精度具有重要的意义,
线变化和拟合效果图进行判断,比如迭代次数,先配 当训练集与测试集指标误差最小时,说明当前的迭
置为 50次,观察收敛过程的指标曲线变化和拟合效 代次数是合适的,否则需要继续增大迭代次数。迭
果,如果拟合曲线在 50 次后仍处于下降,则可以继 代次数越多,数据拟合程度越好,但是迭代次数过
续增大训练次数,直至拟合指标曲线基本平稳甚至 多,训练时间又会增加。针对原始数据集,通过迭代
上翘为止;其他参数也类似,比如学习率 (Learning 不同次数,对比准确率与损失值。训练结果曲线如
rate, lr),先设置为 0.05,如果收敛很慢,则增大为 图6所示。
loss loss
2.0 acc 2.0 acc
val_loss val_loss
val_acc val_acc
1.5 1.5
ϙ ϙ
1.0 1.0
0.5 0.5
0
0 20 40 60 80 100 0 25 50 75 100 125 150 175 200
ᤖ̽ ᤖ̽
(a) Epoch=100 (b) Epoch=200
loss loss
2.0 acc 2.0 acc
val_loss val_loss
val_acc val_acc
1.5 1.5
ϙ 1.0 ϙ 1.0
0.5 0.5
0 0
0 50 100 150 200 250 300 0 100 200 300 400 500
ᤖ̽ ᤖ̽
(c) Epoch=300 (d) Epoch=500
图 6 Epoch 对 CNN 的影响
Fig. 6 Impact of Epoch on CNN
表 3 为迭代不同次数时模型准确率、损失值和 练集上效果更好,但是在测试集上的精度却在逐渐
训练时间。当迭代次数分别为 100、150、200 和 250 偏移。
次时,acc 分别为 82.75%、93.72% 和 100% 和 100%,
表 3 迭代次数对 CNN 的影响
val_acc 分别为 79.46%、91.24% 和 98.93% 和 100%。 Table 3 Impact of Epoch on CNN
当迭代次数为 320 时,损失值降到最低,此时模型
的鲁棒性能达到最好。当继续增加迭代次数时,准 迭代次数 100 150 200 250 500
确率开始出现下降,并且测试集损失值发生偏移, 准确率/% 84.75 93.72 100 100 99.42
损失值 0.3674 0.1869 0.0074 0.0028 0.1679
说明迭代次数过多的时候,网络会出现过拟合,此
训练时间/s 37 56 75 94 187.5
时模型会偏向于学习训练集的细枝末节,争取在训