返回首页
AIGC时代的多模态知识图谱构建与应用 | TF99回顾
1月18日，CCF TF第99期“AIGC时代的多模态知识图谱构建与应用”以线上会议形式成功举办。本次活动由CCF TF知识图谱SIG策划呈现，邀请了阿里、蚂蚁等互联网企业的代表，以及来自哈尔滨工业大学的研究人员，一起围绕AIGC时代多模态知识图谱构建与应用这个话题，分享典型的多模态知识图谱构建与应用的关键技术、典型案例与最佳实践。
CCF TF活动相关专家报告均收录在CCF数字图书馆【TF专辑】，欢迎长按识别，回看精彩分享。本期活动报告也已收录，欢迎回顾！
CCF TF第99期“AIGC时代的多模态知识图谱构建与应用”由CCF TF知识图谱SIG主席王昊奋主持。在活动介绍中，王昊奋对CCF TF的组织结构、宗旨以及往期的活动作出了介绍。
随后CCF TF主席杨卫华在活动致辞中进一步说明了CCF TF最近一年的相关活动，强调CCF TF的分享涉及多个行业领域，希望通过这个平台推动行业的发展。
《信息抽取: 从PLM到LLM的变迁》
阿里巴巴通义实验室算法专家蒋勇分享了在过去的两到三年从PLM时代到LLM时代在信息抽取方向所做的一些工作。首先介绍了PLM时代信息增强的抽取技术，深入解析了其技术演变路线与具体实现：隐式增强、显式检索增强、知识检索增强、模态增强与统一检索增强。接着介绍了基于PLM的少样本信息抽取相关的工作，从数据增强与有效利用源模型知识的少样本定制两个角度做了进一步展开。然后介绍了LLM时代的信息抽取技术，分享了提示工程与任务定制LLM两种实现思路。最后从实际应用出发，展望信息抽取在智能信息处理系统中的位置。
《领域事理图谱构建和知识服务逻辑性增强》
蚂蚁知识图谱算法专家孙梦姝分享了在事理图谱构建上的工作，聚焦在研报生成这一具体任务上。孙梦姝首先对事理图谱概念进行了介绍，分析了研报生成任务的难点与挑战。然后系统地介绍了解决该任务所搭建的整体技术框架，从构建区域风险事理图谱、区域风险专业能力自动评估、领域化增量预训练、KG引导的区域风险研报生成四个方面展开了深入浅出的讲解。最后从多个角度分析了最优解决方案。
《多模态知识图谱构建初探》
哈尔滨工业大学教授刘铭分享了在多模态知识图谱构建相关的研究工作，该分享从单模态过渡到多模态知识图谱的构建。单模态知识图谱构建部分围绕条件性知识图谱的构建技术，对构建每个环节做了细致入微的讲解。在多模态知识图谱构建部分则对多模态结构化信息提取做了进一步介绍，分为多模态命名实体识别、多模态实体关系抽取、多模态实体提取。接着具体到多模态抽取任务，针对图文结合的模态实体关系抽取与视频场景图生成两部分内容进行了深入浅出的讲解，并分享了一系列研究工作。随后刘铭总结了知识在大模型中嵌入的几种方式，他认为包括输入层面嵌入、模型层面嵌入与输出层面嵌入几种方法并进一步做了详细解读。最后分享了与快手合作的哈工大-快手智能Agent和动态认知benchmark两个开源工作。
互动环节，蒋勇针对在专业领域的复杂知识上进行信息抽取时大模型few-shot、RAG失效的问题展开了讲解，并提出两种解决思路。孙梦姝对图谱之间如何交互的问题进行了深入回答。刘铭解答了多模态大模型在对应领域上的未来影响这一问题，对当下的发展及未来趋势做了进一步阐述。
最后，王昊奋对本次活动作出总结。他认为在大模型时代知识图谱怎么做、如何和大模型结合、大模型又如何推动知识图谱发展是大家所关心的。知识图谱相关的研究也实现了从静态知识图谱到动态的事理图谱，再到多模态图谱的发展。
关于CCF TF
CCF TF技术前线(Tech Frontier)创立于2017年6月，旨在为工程师提供顶级交流平台，更好地服务企业界计算机专业人士，帮助企业界专业技术人士职业发展，通过搭建平台实现常态化合作和发展，促进企业间、学术界与企业间技术交流。目前已组建知识图谱、数据科学、智能制造、架构、安全、智能设备与交互、数字化转型与企业架构、算法与AI、智能前端、工程师文化、研发效能、软件质量工程等十二个SIG(Special Interest Group)，提供丰富的技术前线内容分享。
加入CCF
加入CCF会员享受更多超值活动，为自己的技术成长做一次好投资。
点击链接了解更多会员权益：
识别或扫码入会
欢迎关注CCFTF及CCF业务总部公众号，精彩陆续开启！
关注CCFTF获取TF活动资讯
关注CCF业务总部优惠预定会议场地
合作单位
京公网安备 11010802032778号