近日，2023年度中国科学院优秀博士学位论文评审结果公布，应用数学所易鸣洋博士的博士学位论文《机器学习中的泛化理论》入选。其导师马志明院士荣获本年度“中国科学院优秀导师奖”。
论文题目：机器学习中的泛化理论
作者：易鸣洋 博士
指导教师：马志明 院士
选题依据及学术意义
近年来，由于计算能力的巨大进步， 机器学习方法结合深度学习技术已经被广泛地运用于各种实际场景，如图像识别， 文本翻译，推荐系统，机器人控制，自动驾驶等。机器学习的一个重要内容即预测，其过程可以简单地描述成通过收集一些样本数据构成训练集去训练一个模型，使得这一模型在训练集之外的数据上也有好的预测表现。这种从训练集外推的过程即泛化的过程。因此泛化问题也成为了机器学习中的一个问题。由于在实际应用中机器学习算法，模型，数据的多样性，从理论上探索泛化问题有利于我们揭示其本质，解释已有的现象，从而发展更加有效的算法。
本文将从理论的角度探索机器学习中的泛化问题。泛化问题的理论研究是机器学习中的一个经典的问题，然而现有的研究多集中于与训练集同分布数据上的泛化理论。而由于机器学习的发展及广泛应用，模型在与训练集不同分布数据上的泛化近年来变得备受关注。因此本文将分为两个部分，即探索模型在与训练集同分布以及不同分布的数据上的泛化性。
论文创新点和主要贡献
一、与训练集同分布数据 (样本内数据) 上的泛化性。不同于已有的多关注于低维模型的理论，我们在局部强凸的假设下建立了能够运用于高维模型如神经网络的的泛化理论。同时我们提出了一种基于重加权的方法能够帮助模型更加高效地利用数据，从而提升模型的样本内泛化性。
二、与训练集不同分布数据 (样本外数据) 上的泛化性。具体来说，样本外数据来自于样本内数据加上某种具体的扰动，而这样的扰动一般可以分为分布上的扰动，伪相关的扰动以及数据风格扰动。针对第一第二种扰动，我们提出分别通过提升模型鲁棒性以及模型对无关属性的不变性来提升其样本外泛化性。最后，基于一个因果模型，我们建立了一套更加一般的理论，保证了具有某种因果不变性模型能够在上述三种样本外数据上都会有好的泛化能力。
中国科学院优秀博士学位论文于2004年设立，每年评选一次，评选数量一般不超过100篇，要求入选的博士论文必须为本学科前沿，在理论或方法上有创新，有重要的理论意义或现实意义，并取得突破性成果，达到国内同领域的领先水平或国际同类领域的先进水平。2023年，全院共有99篇学位论文入选。
（本文摘自《数系星空》）
