报告人:彭涵阳
报告地点:腾讯会议ID:889-864-8458,会议密码:115119
报告时间:2025年10月13日星期一09:00-10:00
邀请人:徐东坡
报告摘要:
Adam优化器虽在实践中广受赞誉,但其复杂的理论证明一直是个挑战。传统视角将其视为带动量的预条件SGD,导致分析冗长晦涩。本报告将分享一项突破性研究:我们通过将Adam重新阐释为一种“类符号优化器”,开创了一种更简单、更直观的理论分析框架。在此新视角下,我们于更温和的假设下,首次证明了Adam达到最优收敛速率,结果优于先前理论。报告还将揭示动量在确保收敛中的关键作用,并为学习率调优提供实用见解,有力弥合了理论与实践的鸿沟。
主讲人简介:
彭涵阳,鹏城实验室副研究员,博士生导师,博士毕业于中科院自动化所模式识别国家重点实验室,长期从事机器学习优化理论,大模型优化算法,分布式学习等方面的研究。主持博士后面上基金,广东省自然科学基金,国家自然科学基金项目等多项基金。作为项目负责人主持1项国家实验室重大攻关项目,以项目骨干身份参与2项国家实验室重大攻关项目。以第一作者和通讯作者在TPAMI、TNNLS、TIP、NeurIPS、ICCV、AAAI等顶级期刊和会议发表论文10+篇。担任PRCV 2023、GHMIC 2024等重要会议的组委会成员,担任NeurIPS 2024-2025、ICML 2025等国际顶级会议的领域主席。研制的重要算法在GitHub上获得10000+ stars。