当前位置: 首页 > 学术活动 > 正文
无放回取样的随机梯度法在非凸情形下的收敛性质
时间:2024年09月29日 17:04 点击数:

报告人:邱俊文

报告地点:腾讯会议ID: 8898648458 密码: 115119

报告时间:2024年10月10日星期四10:00-11:00

邀请人:徐东坡

报告摘要:

无放回取样的随机梯度法在实践中被广泛应用,但其收敛行为在非凸情形下的理解非常有限。当目标函数满足Kurdyka-Łojasiewicz (KL) 不等式时,我们证明了该算法所产生的迭代序列几乎必然收敛到稳定点,并根据 KL 指数给出了相应的收敛速度。我们也分析了带动量的随机算法(也称为随机加速算法)的收敛性以及复杂度。该报告会侧重介绍如何构造一个适用于随机加速算法的代理序列以及方程,从而达到简化分析的目的。得益于以上算法的收敛性分析,我们提出了适用于一系列随机算法的一个分析框架,包括分布式算法、联邦学习算法以及随机逼近算法。

主讲人简介:

邱俊文,本科毕业于暨南大学,博士毕业于香港中文大学(深圳),师从Andre Milzarek 教授,邱俊文博士现任新加坡国立大学博士后研究员,研究方向为非凸非光滑随机算法的渐进收敛分析以及算法的复杂度分析。邱俊文博士曾经在《SIAM Journal On Optimization》和《IEEE Transactionson Signal Processing》等权威期刊发表文章,并被邀请于 International Symposiumon Mathematical Programming 以及 SlAM Conference on Optimization 作学术报告等。

©2019 东北师范大学数学与统计学院 版权所有

地址:吉林省长春市人民大街5268号 邮编:130024 电话:0431-85099589 传真:0431-85098237