近日，辽宁大学轻型产业学院电气工程及其自动化系高哲教授及其研究团队硕士研究生剪静和阚涛同学在国内信号处理及模式识别方向的权威期刊《IEEE Transactions on Signal Processing》发表学术文章——《Parameter Training Methods for Convolutional Neural Networks With Adaptive Adjustment Method Based on Borges Difference》。
在图像识别技术领域，图像识别精度和收敛速度是验证图像是否有效识别的关键指标。 为了有效提高神经网络的识别精度和收敛速度，需要提升卷积神经网络的网络参数调整的自适应性、稳定性以及灵活性。本文主要针对随机经典动量算法和自适应矩估计(Adam)算法的自适应性、稳定性以及灵活性不足的问题，利用Borges差分运算方法建立基于分数阶微积分理论的神经网络动量优化方法。
首先，通过使用基于Borges差分的动量算法和基于Borges差分的Adam算法用来更新神经网络反向传播时的参数，可以更灵活地调整动量信息。该文通过从Borges导数的定义中提出了Borges的差分形式，并与卷积神经网络中的梯度算法相结合。文章发现，基于Borges差分的动量算法和基于Borges差分的Adam算法可以更灵活地进行反向传播的参数调整，以加快神经网络的收敛速度。本文中具有Borges差分的参数优化算法比整数阶动量算法和整数阶Adam算法具有更好的性能，并针对卷积神经网络参数使用非线性调整的方法。通过分析Fashon-MNIST数据集和CIFAR-10数据集的实验结果，本文提出的基于Borges差分的优化算法比相对应的整数阶优化模型更好的表现，可以加快收敛速度和识别精度。
其次，提出基于Borges差分的反向传播时参数的训练方法。为了提升卷积神经网络训练的稳定性和自适应性,，提出一种基于Borges差分运算的参数训练方法, 自适应地调节动量和学习率，对动量法和Adam算法进行了改进，用Borges差分代替整数阶差分。 同时, 讨论了两种非线性自适应调节方法来调节阶次。并通过保留动量信息和自适应调整学习率来稳定训练卷积神经网络, 增强了卷积神经网络参数更新的稳定性和自适应性。
进一步，对于基于Borges差分的卷积神经网络参数训练方法，通过阶次对动量信息的影响程度进行分析，确定了适当的阶次取值区间，并根据网络参数的更新对阶次进行自适应调节。 同时，采用Fashion-MNIST数据集和CIFAR-10数据集进行实验，对所提出优化方法的有效性进行了分析。与整数阶动量法和Adam算法相比，所提出的基于Borges差分的卷积神经网络参数训练方法改善识别精度和学习收敛速度。
在Fashion-MNIST数据集和CIFAR-10数据集中，本文进行了不同阶次区间的网络训练，30次的平均训练结果如下所示。对于参数γ在不同的阶次区间内，识别精度是不同的。本文还研究了不同区间长度对识别精度和学习收敛速度的影响，在阶次选取区间范围较大时， 所训练的识别精度比较好。对于分数阶优化算法来讲，当阶次在(0,1)区间内时，相同的区间长度，阶次的起始值越大，识别精度越高。在相同的阶次起始值相同时，阶次区间越大，识别精度越高。
本文与现有优化算法的不同点是，有关学者虽然对分数阶神经网络模型的稳定性进行了研究，但利用神经网络中的历史梯度信息对网络优化算法进一步改进研究较少，而本文引入Borges差分引入神经网络优化算法优化速度更快、自适应性和灵活性也更强。因此，本文研究分数阶动量优化算法更具实际意义。此外, Borges差分动量法可以减少神经网络的计算时间，提高计算速度， 被应用于神经网络模型的优化和加快识别速度。
因此，此文提出了分数阶优化算法和非线性自适应调整阶次的训练方法。不仅推广了分形导数的分形差分在动量法中应用，而且给出了分数阶优化算法的卷积神经网络权重和偏置更新的计算公式。 通过梯度信息自适应地调整阶次，改善了算法优化速度和精度，使分数阶优化算法的卷积神经网络参数图像识别精度更高。 采用分数阶参数优化算法可以提高图像分类的准确性，在目标检测和语义分割方面取得更好的学习性能。它还可以用于优化模式识别、 医学图像处理、机器人控制、语音识别和文本翻译等性能，也为卷积神经网络的参数更新提供了一种新的选择。
IEEE Transactions on Signal Processing创刊于1991年，2021年中科院升级版工程技术类一区，主要刊发信号处理理论、算法和应用等方面的相关文章，是国际信号处理与模式识别领域的旗舰期刊。
引用来源：Jing Jian, Zhe Gao*, Tao Kan. Parameter training methods for convolutional neural networks with adaptive adjustment method based on Borges difference. IEEE Transactions on Signal Processing, 2022, 70: 673-685。
原文链接：https://ieeexplore.ieee.org/document/9677964
高哲，辽宁大学轻型产业学院电气工程及其自动化系教授，辽宁大学数学与统计学院硕士生导师，“兴辽英才计划”青年拔尖人才、辽宁省百千万人才万人层次、沈阳市中青年科技创新人才、沈阳市高层次人才拔尖人才、辽宁大学青年拔尖人才、以第一作者或通讯作者发表SCI检索的学术论文40篇，获得辽宁省自然科学奖三等奖一项(独立获奖)。
剪静，辽宁大学数学与统计学院硕士研究生，北京工业大学在读博士。
阚涛，辽宁大学数学与统计学院硕士研究生。
