返回首页
您的位置:首页 > 新闻 > CCF聚焦

NLP技术和产业化发展 | TF94回顾

阅读量:122 2023-03-13 收藏本文


2月23日,CCF TF第94期活动“NLP技术和产业化发展”在线举办,探讨技术理论知识及产业发展经验。来自知名香侬科技、前小米AILab和网易有道的资深专家围绕主题从不同层面分享了研究成果和行业发展,同时与参会者进行热烈的交流。



从算法模型,到产业应用,NLP在各个子领域都在进行突破,也面临更多的挑战和机遇。随着NLP模型越来越大,参数量迅速膨胀,分布式训练成为优秀NLP模型的必备技术。在产业应用中,对话是NLP最核心的场景,了解对话场景的前沿研究进展,可以帮助我们在许多领域向前继续进步。


本期邀请到香侬科技CTO王思宽、前小米AILab高级工程师李嫣然、网易有道NLP算法专家程桥三位在自然语言处理领域一线的专家和大家分享了他们对NLP技术和产业化进展的观点和实践经验。活动由香侬科技CTO王思宽主持。


图片


《NLP训练中的分布式算子研究》


图片


自然语言处理任务的模型规模迅速增长,从Bert发展到GPT-3,模型参数量从1亿突增到了千亿规模,在这种背景下,分布式并行训练就显得愈发重要。


本次分享王思宽从并行训练中最常见的数据并行引入主题,详细介绍了在多GPU服务器场景下的模型并行、算子并行的原理,以及实际工程场景下需要注意的计算、传输的平衡和监控。力图帮助大家在研究工作中提高训练效率和质量。


图片


《神经机器翻译中的语义一致性数据增强方法》


图片


程桥的分享主题是《神经机器翻译中的语义一致性数据增强方法》,数据增强方法是一种有效扩充数据规模的技术,并且在视觉等领域取得了显著的效果,但是在自然语言处理领域,这项技术还没有得到很好的应用。通过引入条件掩码语言模型和软增强改进了机器翻译训练中的词替换数据增强技术,使得在增强的过程中,可以保留源句和目标句的语义以及它们之间的跨语言互译关系。本次分享介绍了数据增强的技术背景和优化方法。


图片


《陪伴型情感对话的前沿探索》


图片


李嫣然在分享中提到,陪伴型情感对话机器人的研究进展及思考随着新冠疫情的蔓延及社会压力的加剧,越来越多的人们面临着情绪困扰。然而,专业的精神卫生服务却是十分稀缺的。为了解决供需不平衡,搭建陪伴型对话机器人成为了日益受关注的研究方向。陪伴型对话机器人也被称作情感疏导对话系统,其要求机器理解人类用户的情绪困扰,并通过提供共情回复和疏导建议给予情感陪伴。本次分享介绍了发表在ACL 2022和SIGIR 2022的3篇最新工作成果。这些成果主要体现了情感对话2个方向上的突破:从感知智能到认知智能的突破,以及从数据驱动到决策驱动的突破。为了实现前者,他们提出了C3KG,首个中文常识对话图谱,辅助情感对话机器人更好地认知到引发用户情绪背后的事件原因,并给出符合情境上下文的共情响应。为了实现后者,他们提出了混合策略的对话模型,模型不仅取得了指标突破,同时具备很好地可解释性。未来,相信情感对话领域还有很多值得探索的方向。


图片


三位嘉宾在分享中为参会者提供了很多新思路、新视角,相信通过本次活动,听众们从三位演讲者的分享中获取了不少关于NLP技术和产业化发展的相关知识。CCF TF精彩回顾视频可在CCF数字图书馆观看,欢迎持续关注TF更多精彩活动!


图片


下期预告:


CCF TF96


CCF TF知识图谱SIG

知识图谱赋能时空AI

图片

识别或扫码报名

报名链接:

https://conf.ccf.org.cn/TF96

关于CCF TF

CCF TF技术前线(Tech Frontier)创立于2017年6月,旨在为工程师提供顶级交流平台,更好地服务企业界计算机专业人士,帮助企业界专业技术人士职业发展,通过搭建平台实现常态化合作和发展,促进企业间、学术界与企业间技术交流。目前已组建架构、安全、智能前端、知识图谱、数据科学、工程师文化、算法与AI、智能制造、智能设备与交互、产业智能化、研发效能等十一个SIG(Special Interest Group),提供丰富的技术前线内容分享。2022年4月至2023年3月,CCF TF将在线开展47场活动,会员免费参加。

加入CCF

加入CCF会员享受更多超值活动,为自己的技术成长做一次好投资。

点击链接了解更多会员权益:CCF个人会员权益  CCF公司会员权益 

图片

识别或扫码入会


欢迎关注CCFTF及CCF业务总部公众号,精彩陆续开启!


图片

关注CCFTF获取TF活动资讯

图片

关注CCF业务总部优惠预定会议场地


合作单位


图片

CCF推荐

【精品文章】