联手信息系统专业委员会：“多模态表示学习”术语发布 | CCF术语快线

InfoBox：

中文名：多模态表示学习

外文名：Multimodal Representation Learning

学科：机器学习

实质：表示学习

简介：

在大数据环境和新基建背景下，人机交互过程中数据对象的日益丰富和变化，呈现多模态的特点。其中，“多模态”可以直观地理解为数据不同的多媒体形式，也可以作为一个更加细粒度的概念，关键点在于为数据是否具有异构性，例如，对于某个歌手，互联网上可以找到他的照片和歌曲视频，同时也有相关的文本信息（百科，新闻等）以及具体的歌曲音频。这四种数据代表了图片、视频、文本、语音，可以被理解为该对象的多模态数据。多模态表示学习旨在通过利用不同多模态数据之间的互补性，剔除模态冗余性，从而将多模态数据的语义表征为实值向量，该实值向量蕴含了不同模态数据的共同语义和各自特有特征，可以应用于多模态数据的处理和理解中。

研究概况：

目前的多模态表示学习目前涉及了人工智能多个领域的研究，这里从宏观方向上的机器学习和知识工程两个研究领域介绍代表性工作（不一一列举）：

机器学习领域：

在理论层面，Ngiam等人采用联合表示学习的思路[1]，将自动编码器无监督学习的思想扩展到多模态领域，旨在将各个模态的数据源映射到同一个空间中进行表示，其核心思路是使用堆叠降噪自动编码器来分别对每个模态进行表示，然后在神经网络融合层使用另一个自动编码器将它们融合成一个多模态表示。另一种方法是协同表示学习，其思路是分别将各模态投影到独立的空间中表示，但是这些空间有约束关系，例如，清华大学朱文武等人提出了一种面向多模态表达的紧致哈希编码方法[2]。该工作首先基于模态内和模态间的相关性约束设计深度学习模型生成哈希编码，在此基础上基于正交正则化方法降低哈希编码特征的冗余性，并给出理论分析。

在应用层面，北京大学彭宇新等人提出了跨媒体智能[3]的概念，其借鉴人脑跨越视觉、听觉、语言等不同感官信息认知外部世界的特性，重点研究了多模态表示学习在跨媒体分析推理技术中的应用，包括细粒度图像分类、跨媒体检索、文本生成图像、视频描述生成等。华南理工大学蔡毅等人[4]提出一种结合图像信息和文本信息的神经网络来对短文本中的实体进行识别和消歧。其核心思想是将视觉和文本信息通过表示学习生成的嵌入连接起来，并且为细粒度的信息交互引入了的共同关注机制，实验结果表明，其方法优于单纯依赖文本信息的方法。

知识工程领域：

在理论层面，多模态表示学习理论方面的代表性工作是Mousselly等人[5]将视觉特征、文本特征和符号知识（主要是知识图谱）的结构特征构建成统一的知识嵌入，相较于传统的基于结构的知识图谱表示学习，其在链接预测和实体分类任务上的效果均有提升。清华大学刘知远等人[6]在后续提出了改进模型IKRL，其核心思路是在表示学习的过程中就将视觉特征和知识图谱的结构特征进行联合建模，进而在学习过程中通过不同模态信息之间的约束生成质量更高的多模态知识图谱嵌入。

在应用层面，中国科学技术大学的徐童等人[7]探索了如何有效联合映射与建模知识图谱中的跨模态语义信息，进而为支撑面向多模态内容的智能应用服务（如多模态知识图谱实体对齐）奠定重要基础。国防科技大学的赵翔等人[8]在多模态知识图谱的实体对齐任务上进一步进行了探索，其主要将多模态实体对齐任务从欧式空间拓展到了双曲空间进行建模表示，最终利用双曲空间内的图卷积网络和视觉特征抽取模型DENSENET实现了多个数据集上的实体对齐效果。

参考文献：