设为首页  |  加入收藏
 

 首页 | 单位介绍 | 机构设置 | 科技简报 | 政策法规 | 项目管理 | 科技平台管理 | 成果管理 | 经费管理 | 学术活动 | 下载中心 
  公告栏
 
  友情链接
 
    科技简报
 
     
   
高哲教授及其研究团队在国内信号处理及模式识别方向的权威期刊发表学术文章
2022-09-13 15:22  

近日辽宁大学轻型产业学院电气工程及其自动化系高哲教授及其研究团队硕士研究生剪静和阚涛同学在国内信号处理及模式识别方向的权威期刊《IEEE Transactions on Signal Processing》发表学术文章——Parameter Training Methods for Convolutional Neural Networks With Adaptive Adjustment Method Based on Borges Difference》。

在图像识别技术领域图像识别精度和收敛速度是验证图像是否有效识别的关键指标 为了有效提高神经网络的识别精度和收敛速度需要提升卷积神经网络的网络参数调整的自适应性、稳定性以及灵活性本文主要针对随机经典动量算法和自适应矩估计(Adam)算法的自适应性、稳定性以及灵活性不足的问题利用Borges差分运算方法建立基于分数阶微积分理论的神经网络动量优化方法

首先,通过使用基于Borges差分的动量算法和基于Borges差分的Adam算法用来更新神经网络反向传播时的参数,可以更灵活地调整动量信息。该文通过Borges导数的定义中提出了Borges差分形式,并与卷积神经网络中的梯度算法相结合。文章发现,基于Borges差分的动量算法和基于Borges差分Adam算法可以更灵活地进行反向传播的参数调整,以加快神经网络的收敛速度。本文中具Borges差分的参数优化算法比整数阶动量算法和整数阶Adam算法具有更好的性能,针对卷积神经网络参数使用非线性调整方法。通过分析Fashon-MNIST数据集和CIFAR-10数据集的实验结果,本文提出的基于Borges差分的优化算法比相应的整数阶优化模型更好的表现,可以加快收敛速度和识别精度。

其次,提出基于Borges差分的反向传播时参数的训练方法。为了提升卷积神经网络训练的稳定性和自适应性,提出一种基于Borges差分运算的参数训练方法, 自适应地调节动量和学习率对动量法和Adam算法进行了改进Borges差分代替整数阶差分。 同时, 讨论了两种非线性自适应调节方法来调节阶次。并通过保留动量信息和自适应调整学习率来稳定训练卷积神经网络, 增强了卷积神经网络参数更新的稳定性和自适应性。

进一步,对于基于Borges差分的卷积神经网络参数训练方法通过阶次对动量信息的影响程度进行分析确定了适当的阶次取值区间并根据网络参数的更新对阶次进行自适应调节。 同时采用Fashion-MNIST数据集和CIFAR-10数据集进行实验对所提出优化方法的有效性进行了分析。与整数阶动量法和Adam算法相比所提出的基于Borges差分的卷积神经网络参数训练方法改善识别精度和学习收敛速度。

Fashion-MNIST数据集和CIFAR-10数据集中,本文进行了不同阶次区间的网络训练,30次的平均训练结果如下所示。对于参数γ在不同的阶次区间内识别精度是不同的。本文还研究了不同区间长度对识别精度和学习收敛速度的影响在阶次选取区间范围较大时 所训练的识别精度比较好。对于分数阶优化算法来讲当阶次在(0,1)区间内时相同的区间长度阶次的起始值越大识别精度越高。在相同的阶次起始值相同时阶次区间越大识别精度越高。         

本文与现有优化算法的不同点是,有关学者虽然对分数阶神经网络模型的稳定性进行了研究但利用神经网络中的历史梯度信息对网络优化算法进一步改进研究较少而本文引入Borges差分引入神经网络优化算法优化速度更快自适应性灵活性也更强。因此本文研究分数阶动量优化算法更具实际意义。此外, Borges差分动量法可以减少神经网络的计算时间提高计算速度 被应用于神经网络模型的优化加快识别速度。

因此,此文提出了分数阶优化算法和非线性自适应调整阶次的训练方法。不仅推广了分形导数的分形差分在动量法中应用而且给出了分数阶优化算法的卷积神经网络权重和偏置更新的计算公式。 通过梯度信息自适应地调整阶次改善了算法优化速度和精度使分数阶优化算法的卷积神经网络参数图像识别精度更高。 采用分数阶参数优化算法可以提高图像分类的准确性在目标检测和语义分割方面取得更好的学习性能。它还可以用于优化模式识别 医学图像处理机器人控制语音识别文本翻译等性能,也为卷积神经网络的参数更新提供了一种新的选择。

IEEE Transactions on Signal Processing创刊于1991年,2021年中科院升级版工程技术类一区,主要刊发信号处理理论、算法和应用等方面的相关文章,是国际信号处理与模式识别领域的旗舰期刊。

引用来源:Jing Jian, Zhe Gao*, Tao Kan. Parameter training methods for convolutional neural networks with adaptive adjustment method based on Borges difference. IEEE Transactions on Signal Processing, 2022, 70: 673-685

原文链接https://ieeexplore.ieee.org/document/9677964



高哲,辽宁大学轻型产业学院电气工程及其自动化系教授,辽宁大学数学与统计学院硕士生导师,兴辽英才计划青年拔尖人才、辽宁省百千万人才万人层次、沈阳市中青年科技创新人才、沈阳市高层次人才拔尖人才、辽宁大学青年拔尖人才、以第一作者或通讯作者发表SCI检索的学术论文40篇,获得辽宁省自然科学奖三等奖一项(独立获奖)

 


剪静,辽宁大学数学与统计学院硕士研究生,北京工业大学在读博士。


阚涛,辽宁大学数学与统计学院硕士研究生。

 


关闭窗口
 
     
 首页 | 单位介绍 | 机构设置 | 科技简报 | 政策法规 | 项目管理 | 科技平台管理 | 成果管理 | 经费管理 | 学术活动 | 下载中心 
中国·沈阳·辽宁大学 @Copyright by www.lnu.edu.cn All rights reserved. 2010
地 址:沈阳市沈北新区道义南十大街58号 邮编:110136 (蒲河校区)
沈阳市皇姑区崇山中路66号 邮编:110036 (崇山校区)