此次报告的主题是面向稳健大语言模型训练的优化器。报告围绕如何实现更稳健的大语言模型训练展开，重点揭示了训练过程中普遍存在的梯度突刺（gradient spike）现象，以及其对模型和最终性能带来的影响。此外，报告从优化器设计与梯度调控机制的角度切入，介绍SPAM（Spike-Aware Moment regularization）方法如何通过瞬态梯度突刺的检测与裁剪，有效缓解异常梯度放大效应，抑制由不均衡动量累积导致的训练震荡，显著改善大模型的训练。在此基础上，报告进一步介绍了Stable-SPAM，该方法通过引入自适应突刺识别阈值与动态缩放策略，可以更为稳定的进行大语言模型的低精度训练。

报告结束后，黄老师和与会师生进行了详细的交流探讨，对于师生提出的各种问题进行了耐心解答。黄田进老师生动详细的报告内容和求实创新的治学精神对我院师生有着很大的启发。