随机梯度下降算法是机器学习中的常用优化方法。在高维学习问题中，该算法的迭代次数通常少于模型参数的数量，此时算法对模型所产生的隐式正则效应，是模型具备良好泛化能力的关键原因。本次讲座中，我们将探讨随机梯度下降算法在不同学习场景下所求解模型的泛化性能，并深入理解其工作机制。在线性模型部分，我们将讨论算法在不同学习尺度（即样本数与问题维度之间的不同依赖关系）以及协变量偏移条件下的学习效率，试图阐明算法对学习任务的适应性及涌现现象的成因。在非线性高阶张量分解模型中，我们将揭示模型特殊的过参数化表达与随机梯度下降能有效缓解统计计算鸿沟（computational-to-statistical gap）。最后，基于理论分析，我们将启发设计一种内存节约型的大模型训练算法，算法能在GPT-2等标准测试平台上实现更优越的性能。