CNCC | 当流数据遇到机器学习:如何从理论上突破传统机器学习理论范式
CNCC2024
论坛简介:
面向流数据的机器学习
举办时间:10月25日13:30-17:30
地点:夏苑-营造馆
注:如有变动,请以官网(https://ccf.org.cn/cncc2024)最终信息为准
机器学习是人工智能的基础,为人工智能的发展和产业化奠定理论和方法基础,机器学习基础理论的突破具有重要的理论和应用价值。
传统的机器学习理论通常假设计算资源充足甚至无限,使得所有数据都可以被处理。然而,实际中数据可能以数据流形式传入,其规模庞大且速度很快,有限的计算资源下可能无法及时处理所有接收到的数据。因此,机器学习的性能不仅取决于数据样本的规模,还取决于在现有计算资源限制下能处理多少数据;这已超出了传统学习理论的考虑范围。同时,流数据环境下会出现数据类别、属性、分布等环境要素的变化以及反馈带噪、高质量监督信息不足等问题,这也为机器学习方法带来了新的挑战。
本论坛旨在邀请国内外知名专家,系统介绍面向流数据的机器学习前沿理论与方法,探索如何在资源受限的情况下实现鲁棒、高效、适应环境变化的模型与算法。
论坛日程
顺序 | 主题 | 主讲嘉宾 | 单位 |
1 | 带有分时计算资源考虑的可学习性理论 | 周志华 | 南京大学 |
2 | Sketch与机器学习双向优化 | 杨仝 | 北京大学 |
3 | 矩阵略图与流数据机器学习 | 魏哲魏 | 中国人民大学 |
4 | 内存受限的流数据学习 | 黄增峰 | 复旦大学 |
5 | 应对变化环境的强化学习 | 张伟楠 | 上海交通大学 |
论坛主席及嘉宾介绍
论坛主席
侯臣平
国防科技大学教授、博士生导师
简介:主要从事人工智能基础方面的研究工作,在自适应学习理论与应用等方面取得了系列研究成果,并成功应用于国防领域。近年来,在IEEE TPAMI等以第一/通讯作者发表学术论文100余篇,多篇论文进入ESI各层次高被引论文。担任国防基础加强计划项目首席科学家,主持科技创新2030重大项目课题、国家自然科学基金、国防973专题等15项项目。获中国图象图形学学会自然科学一等奖1项、省部级一等奖1项,获国家杰青、优青、湖南省杰青,享受军队专业技术岗位一类津贴等。
论坛讲者
周志华
CCF会士、常务理事,南京大学副校长
南京大学副校长,国际人工智能联合会理事会主席,CCF会士、常务理事,CCF王选奖、杰出贡献奖、IEEE计算机学会技术成就奖等的获得者。
报告题目:带有分时计算资源考虑的可学习性理论
摘要:本报告将介绍最近提出的“计算资源高效学习(CoRE-learning)”,这是机器学习领域第一个带有算力资源调度考虑的学习理论框架,它从带时间约束的任务流角度,基于吞吐率来考虑“任务丛”上的机器学习成效,使得学习使用的算力资源能够被抽象刻画,为研究算力资源的供给分配对机器学习的影响提供了理论基础,并为“智算中心”在向机器学习模型训练提供资源服务时从“独占式”改变为“分时式”提供了学习理论依据。
杨仝
北京大学计算机学院长聘副教授、博士生导师
简介:清华计算机系毕业,主要研究网络、机器学习的数据结构与算法。近年发表一作/通信作者SIG论文24篇。负责1项国家自然基金重点支持项目、3项国家重点研发计划课题/子课题、国家自然面上基金、青年基金、华为、中心、今日头条等项目。研究成果被国家自然基金委网站报道2次,教育部科技发展中心1次,多项研究成果在华为海思、华为产品线、今日头条、Redis数据库中得到了应用部署。
报告题目:Sketch与机器学习双向优化
摘要:报告主题是“Sketch与ML双向优化”,分为两个方向:ML优化Sketch和Sketch加速ML。在ML2Sketch方向,首次提出了一系列机器学习优化Sketch的算法,从而实现Sketch误差的降低。在Sketch2ML方向,首次提出了利用Sketch来优化机器学习(分布式机器学习、联邦学习)的多种方法,主要思想是用Sketch来压缩分布式机器学习的梯度、联邦学习、推荐系统、以及大语言模型等。
魏哲巍
中国人民大学高瓴人工智能学院教授,博导
简介:入选国家高层次青年人才。研究方向为图计算与图学习、数据流算法与学习,获得PODS2022时间检验奖、2023年世界人工智能大会青年优秀论文提名奖。主持国自然重点项目、科技部重大专项课题,担任TPAMI期刊编委。
报告题目:Sketch与机器学习双向优化
摘要:报告主题是“Sketch与ML双向优化”,分为两个方向:ML优化Sketch和Sketch加速ML。在ML2Sketch方向,首次提出了一系列机器学习优化Sketch的算法,从而实现Sketch误差的降低。在Sketch2ML方向,首次提出了利用Sketch来优化机器学习(分布式机器学习、联邦学习)的多种方法,主要思想是用Sketch来压缩分布式机器学习的梯度、联邦学习、推荐系统、以及大语言模型等。
黄增峰
复旦大学教授,博导
简介:入选国家级青年人才计划。在国际期刊和会议上(ICML, NeurIPS, JMLR, FOCS, TIT等)发表高水平论文五十余篇,荣获了多项国际奖项,包括ICML 2018最佳论文亚军奖(best paper runner up award),两次世界人工智能大会青年优秀论文提名奖(2020,2023),以及ACM PODS 2022时间检验奖。
报告题目:内存受限的流数据学习
摘要:良好的记忆力可以显著提高学习效率是一个非常直观的常识。在机器学习中记忆对应于存储空间,可用存储空间容量和机器学习算法效率之间的关系近年来受到广泛关注。本次报告首先介绍空间受限的流数据学习问题的研究背景和意义,接着重点介绍该领域目前的一些研究进展,包括如何设计存储空间受限情况下的高效学习算法,以及存储空间约束带来的学习效率上的理论限制。最后简要概括该领域当前的研究难点以及开放性问题。
张伟楠
上海交通大学计算机系教授、博导、副系主任
简介:科研领域包括强化学习、决策大模型、智能体技术、具身智能,谷歌学术引用2万余次,获得5个最佳论文奖项,出版教材《动手学强化学习》,作为负责人承担国自然优青项目和科技部重大项目课题,获得吴文俊优青奖和达摩院青橙奖。
报告题目:应对变化环境的强化学习
摘要:强化学习作为一种典型的交互式学习范式,往往假设训练环境是不变的,但这样的假设在开放环境、博弈环境等实际场景中过于苛刻,导致强化学习的应对环境变化的泛化性能较低。面向变化环境的强化学习,一方面是需要预训练泛化性强的模型内在表征,以零试错或少试错代价来直接应对环境的改变,另一方面则需要设计稳健的轻量交互学习算法,在变化的新环境中做样本高效的自适应。在本次报告中,主要讨论强泛化性预训练方法的部分创新性工作,然后讨论关于如何设计稳健的轻量交互学习算法的一些思考。
关于CNCC2024
CNCC2024将于10月24-26日在浙江省东阳市横店镇举办,大会主题为“发展新质生产力,计算引领未来”。大会为期三天,包括18个特邀报告、3个大会论坛、138个专题论坛及34场专题活动和100余个展览。图灵奖获得者、两院院士、国内外顶尖学者、知名企业家在内的超过800位讲者在会上展望前沿趋势,分享创新成果。预计参会者超过万人。