CCF广东工业大学学生分会举办“面向非完备数据的深度学习”学术讲座

CCF广东工业大学学生分会于2023年5月31日（星期三）下午14:00成功举办了主题为“面向非完备数据的深度学习”的学术讲座。这场精彩讲座的报告人是厦门大学信息学院计算机科学与技术系助理教授卢杨，卢杨教授2012年和2014年分别获得澳门大学软件工程专业本科和硕士学位。2019年获得香港浸会大学计算机科学专业博士学位。已发表高水平论文30余篇，其中多篇论文发表在机器学习一流期刊（JCR 1区）如IEEE TNNLS和IEEE TCYB等，以及人工智能顶级会议（CCF A类）如CVPR、IJCAI、ACMMM等。主持国家自然科学基金青年项目、福建省自然科学基金面上项目、之江实验室开放课题等多个项目。目前主要研究方向为深度学习、联邦学习、长尾学习等方向。

近年来，深度学习在各个领域上都取得了令人惊叹的成果，然而在这背后不光是强大模型的功劳，更是因为有着海量的优质数据做支撑。那么，如果训练数据不够完美，甚至是存在各种各样的问题，如何能够得到强大的深度学习模型。

在本次讲座中，卢教授将近几年深度学习领域比较前沿的几个方向如联邦学习、长尾学习、噪声标签学习、持续学习等归纳为面向非完备数据的深度学习，并简要介绍在几种不完美的数据情形之下如何使深度学习模型保持鲁棒。

卢教授首先为大家介绍了良好的训练数据应具有大规模、平衡、干净等特征，这些也是深度学习训练模型的基础。紧接着又为大家介绍了学习不平衡数据的方式。在深度学习时代之前，该领域的研究大多采用重采样法或重加权法与传统机器学习方法相结合。在十年的发展过程中（大约2000到2012年），不平衡感知技术已经相当成熟，可以处理不平衡的数据集。大多数研究人员专注于具有人工特征的数据集上的二元分类问题，例如UCI数据集。在深度学习时代，新的挑战出现了。分类任务通常有大量的类（例如1000+类用于图像分类），不平衡状态远比二元分类复杂。大多数深度学习模型都是端到端的，数据不平衡不仅影响分类器，还影响特征提取。长尾学习也由此被提出。与传统的不平衡学习不同，长尾学习中的种类数量非常多，每类中的样本数服从幂律分布且专注于深度学习模型（主要用于 CV 任务）。

接着卢教授又为大家介绍了联邦学习。联邦学习是由谷歌在2016年提出的。它旨在学习一个没有集中训练的模型，数据以私密方式存储在每个客户端中，模型单独训练并在服务器上聚合。往服务器发送模型参数，而不是数据。

数据异构性是联邦学习的主要障碍之一。每个客户端的训练数据都是非IID。针对每个客户端上的训练数据数量不同、训练过程不同、不平衡比率不同、分布存在偏移等问题，提出了一系列联邦学习算法，如FedAvg、FedProx等，这些算法可以有效地解决联邦学习中的模型聚合问题。

接着，卢教授又为大家介绍噪声标签学习，噪声标签是机器学习中的另一个常见问题，由于数据集中存在标签错误或者噪声标签，因此如何处理这些噪声标签成为了一个难点。如Co-teaching、MetaCleaner等一系列噪声标签学习算法可以有效地解决噪声标签问题。通过校正损耗对噪声标签进行训练应大致等于通过原始损耗对清洁标签进行训练，这样，噪声信息就不会被学习到模型中。

讲座尾声，卢教授为大家介绍持续学习。面向非完备数据的深度学习中的持续学习是指模型能够在不断接收新数据的情况下进行学习，而不需要重新训练整个模型。这种能力在实际应用中非常重要，因为数据是不断变化的，而重新训练整个模型需要耗费大量时间和计算资源。卢教授也介绍了实现持续多种实现持续学习的方法，比如参数隔离的方法，该方法为每个任务专用于不同的模型参数，以防止任何可能的遗忘，通常来说，过去任务的重要参数是固定的；又如PackNet，受网络修剪技术的启发，利用大型深度网络中的冗余来释放参数，然后用于学习新任务。再如使用基于任务的硬注意力机制，保留先前任务的信息，而不会影响当前任务的学习。硬注意力mask在每项任务中同时学习，并利用以前的mask来调节这种学习。

面向非完备数据的深度学习中的持续学习是一种非常重要的技术，可以帮助模型更好地适应不断变化的数据，并且可以大幅度减少重新训练整个模型所需要的时间和计算资源。

面向非完备数据的深度学习是当前热门的研究领域之一。在许多领域中，如医疗保健、金融、自动驾驶等，数据往往是不完备的，例如缺失数据、噪声数据等。通过使用深度学习技术，我们可以更好地处理这些不完备的数据，并从中提取有用的信息。因此，面向非完备数据的深度学习具有广阔的应用前景。

至此，讲座圆满结束，感谢卢杨教授分享的精彩学术讲座！