本期发布术语热词：稳定学习（Stable Learning）是一种以开放真实环境下分布外泛化为目标的机器学习任务。
开篇导语：
开放环境下真实数据的异质性和不确定性对当前机器学习模型的可解释性和泛化能力提出了严峻挑战。如何突破独立同分布基本假设的局限性，探究机理本质可泛化、性能稳定可解释的机器学习新途径，是新一代人工智能的重要基础理论问题之一，对于军事、医疗和金融等高风险场景具有重要应用价值。以此为目标，稳定学习通过在机器学习框架下引入因果统计思想和探索并利用数据异质性两条路径，寻求数据中的“不变性机制”，使其兼具分布外泛化能力和大规模可扩展性的优势，有效提升机器学习算法面对未知开放环境的性能稳定性和可解释性。
稳定学习
（Stable learning）
作者：崔鹏（清华大学）
InfoBox：
中文名：稳定学习
外文名：Stable learning
学科：机器学习，因果推断
实质：学习如何泛化到未知开放环境数据分布的机器学习任务
基本简介：
稳定学习是研究如何让模型能够泛化到未知开放环境的机器学习任务。现在的机器学习算法已经被广泛应用到各种高风险场景之中，包括医疗、工业制造、金融和司法等。在这些场景中，基于独立同分布假设的机器学习模型往往会暴露出稳定性、可解释性和公平性等社会风险[1]。因此稳定学习旨在学习一个预测模型，该模型可以在任何可能的真实环境上取得一致的良好性能[1]，进而规避潜在的技术风险。
研究概况：
不同于经典机器学习中训练数据集与测试数据集独立同分布的假设，稳定学习[1]研究如何实现一个能在任何潜在未知的测试环境中都能取得一致良好性能的预测模型。它能够提高预测模型在真实环境应用中的可靠性和稳定性。
与现有的迁移学习和领域泛化这些机器学习范式不同的是，稳定学习既不假设已知与测试数据集相关的先验知识，也不假设已知训练数据集的环境构成。因此它提出了对泛化问题更高更深层次的要求。现有的稳定学习方法包括将因果理论引入学习理论的因果稳定学习和基于数据异质性识别来挖掘不变机制的方法。
因果稳定学习：
在因果推断的潜在结果框架中，通常会采用计算倾向得分(propensity score)的方式来平衡混淆变量(confounder)的分布，使得治疗变量(treatment)与混淆变量独立，从而更准确地估计因果效应[2]。受到这一做法的启发，因果稳定学习的核心思想是通过样本重加权(sample reweighting)实现各维特征的统计独立，从而使得重加权后结果变量与各维特征之间的关联(correlation)变为了真实因果关系[1]。相关的理论分析保障了样本重加权后普通最小二乘法(ordinary least squares)可以辨别出具有稳定因果关系的特征[3]。在线性模型下，常用的样本重加权方式包括基于混淆变量平衡的CRLR[4]和DGBR[5]、直接优化协方差矩阵实现线性独立的DWR[6]和DVD[7]、基于密度估计的SRDO[8]。在非线性模型下，StableNet[9]利用随机傅里叶特征刻画非线性的独立关系来实现样本重加权，从而将因果稳定学习推广到了深度卷积神经网络中。
异质性风险最小化：
真实场景下的数据往往采集自不同环境，且其内部预测机制可能存在不同，因此数据中存在着潜在的异质性。若不加以应对，会使得学习到的模型过分关注于训练数据中的多数群体而忽视少数群体，从而影响机器学习模型的泛化性能。异质性风险最小化(Heterogeneous Risk Minimization[10], HRM)的核心是挖掘数据中的潜在异质性，并且在模型优化过程中利用识别出的异质性来学习数据中较为稳定的预测关系，从而提升模型的泛化能力。Kernelized HRM[11]进一步结合了神经正切核(Neural Tangent Kernel[12])将HRM方法拓展到了复杂数据的场景中。上述思想也拓展到了网络表征学习[13]和推荐系统[14]中。
标准评测数据集：
目前，致力于研究数据分布偏移对现有机器学习或深度学习算法影响的数据集均可以用于评价稳定学习算法。例如研究跨域分布的数据集PACS[15]，DomainNet[16]等。但这类数据集的局限性较为明显，无法实现足够灵活和全面的验证。为了解决这一问题，NICO[17]及其扩充版NICO++[18]数据集为每个类别都设计了充分多的分布，用以支持灵活且全面的跨分布泛化验证。
当下，稳定学习的研究趋势包括：
1.研究稳定学习方法的理论保障，提高模型的机理可解释性。
2.面对未知开放测试环境，设计合理的模型验证方法和评估标准。
3.构建大规模基线数据集，全面、公平地比较不同模型的泛化性能差异。
4.将稳定学习方法适配更复杂的数据类型和应用场景，提高模型的通用性和鲁棒性。
参考文献：
[1] Cui, Peng, and Susan Athey. "Stable learning establishes some common ground between causal inference and machine learning." Nature Machine Intelligence 4.2 (2022): 110-115.[2] Imbens, Guido W., and Donald B. Rubin. *Causal inference in statistics, social, and biomedical sciences*. Cambridge University Press, 2015.[3] Xu, Renzhe, et al. "A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization." *International Conference on Machine Learning*. PMLR, 2022.[4] Shen, Zheyan, et al. "Causally regularized learning with agnostic data selection bias." *Proceedings of the 26th ACM international conference on Multimedia*. 2018.[5] Kuang, Kun, et al. "Stable prediction across unknown environments." *proceedings of the 24th ACM SIGKDD international conference on knowledge discovery & data mining*. 2018.[6] Kuang, Kun, et al. "Stable prediction with model misspecification and agnostic distribution shift." *Proceedings of the AAAI Conference on Artificial Intelligence*. Vol. 34. No. 04. 2020.[7] Shen, Zheyan, et al. "Stable learning via differentiated variable decorrelation." *Proceedings of the 26th acm sigkdd international conference on knowledge discovery & data mining*. 2020.[8] Shen, Zheyan, et al. "Stable learning via sample reweighting." *Proceedings of the AAAI Conference on Artificial Intelligence*. Vol. 34. No. 04. 2020.[9] Zhang, Xingxuan, et al. "Deep stable learning for out-of-distribution generalization." *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*. 2021.[10] Liu, Jiashuo, et al. "Heterogeneous risk minimization." International Conference on Machine Learning. PMLR, 2021.[11] Liu, Jiashuo, et al. "Kernelized heterogeneous risk minimization." Advances in Neural Information Processing Systems 34 (2021): 21720-21731.[12] Jacot, Arthur, Franck Gabriel, and Clément Hongler. "Neural tangent kernel: Convergence and generalization in neural networks." Advances in neural information processing systems31 (2018).[13] Chen, Zhengyu, Teng Xiao, and Kun Kuang. "BA-GNN: On Learning Bias-Aware Graph Neural Network." 2022 IEEE 38th International Conference on Data Engineering (ICDE). IEEE, 2022.[14] Wang, Zimu, et al. "Invariant Preference Learning for General Debiasing in Recommendation." Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2022.[15] Li, Da, et al. "Deeper, broader and artier domain generalization." Proceedings of the IEEE international conference on computer vision. 2017.[16] Peng, Xingchao, et al. "Moment matching for multi-source domain adaptation." Proceedings of the IEEE/CVF international conference on computer vision. 2019.[17] He, Yue, Zheyan Shen, and Peng Cui. "Towards non-iid image classification: A dataset and baselines." Pattern Recognition 110 (2021): 107383.[18] Zhang, Xingxuan, et al. "NICO++: Towards Better Benchmarking for Domain Generalization." arXiv preprint arXiv:2204.08040 (2022).
计算机术语审定委员会(Committee on Terminology)主要职能为收集、翻译、释义、审定和推荐计算机新词，并在CCF平台上宣传推广。这对厘清学科体系，开展科学研究，并将科学和知识在全社会广泛传播，都具有十分重要的意义。
术语众包平台CCFpedia的建设和持续优化，可以有效推进中国计算机术语的收集、审定、规范和传播工作，同时又能起到各领域规范化标准定制的推广作用。
新版的CCFpedia计算机术语平台(http://term.ccf.org.cn)将术语的编辑运营与浏览使用进行了整合，摒弃老版中跨平台操作的繁琐步骤，在界面可观性上进行了升级，让用户能够简单方便地查阅术语信息。同时，新版平台中引入知识图谱的方式对所有术语数据进行组织，通过图谱多层关联的形式升级了术语浏览的应用形态。
主任：
刘挺（哈尔滨工业大学）
副主任：
王昊奋（同济大学）
李国良（清华大学）
主任助理：
李一斌（上海海乂知信息科技有限公司）
执行委员：
丁军（上海海乂知信息科技有限公司）
林俊宇（中国科学院信息工程研究所）
兰艳艳（清华大学）
张伟男（哈尔滨工业大学）
返回首页
京公网安备 11010802032778号