视觉智能邂逅多模态：从感知到理解｜CNCC Tutorial

随着大规模预训练模型和生成式人工智能技术的飞速发展，视觉智能与多模态学习已成为人工智能领域的重要研究前沿和产业突破口。视觉不仅是人类认知世界的核心模态，也是多模态系统中最具挑战性与创新潜力的关键环节。近年来，视觉与语言、视觉与语音、视觉与行为等多模态融合方式不断演进，推动了人工智能系统从单一感知向复杂语义理解、决策生成和人机交互全面升级。本次Tutorial以“视觉智能邂逅多模态：从感知到理解：从感知到理解”为主题，系统梳理多模态信息融合、多模态协同感知、多模态生成与交互、多模态表征推理等关键技术体系，结合最新的大模型应用和前沿研究，帮助参会者全面理解这一交叉领域的发展脉络、技术趋势和实践路径。Tutorial将特别关注如何实现不同模态的信息对齐、特征融合、协同感知与任务联动，促进智能系统在开放环境下的泛化与进化能力，推动下一代多模态人工智能的落地应用。

参与者将能够：

掌握多模态学习与融合的基本原理

理解多模态信息融合、跨模态对齐与协同感知的核心概念与方法，熟悉视觉与语言、视觉与语音等多模态系统的技术基础。

掌握视觉大模型与主流多模态技术框架

深入了解当前主流视觉大模型（如CLIP、BLIP、Stable Diffusion、Sora）及其跨模态对齐机制，掌握代表性技术路线与应用案例。

具备多模态应用系统的实践能力

能够基于开源工具（如Hugging Face Transformers、LAVIS等）进行多模态模型调优与应用开发，初步实现跨模态检索、生成和感知任务。

具备分析与解决多模态实际问题的能力

能够结合实际应用场景（如医疗影像、智能交互、虚拟现实等）设计多模态AI解决方案，并理解多模态AI在产业落地过程中的挑战与应对策略。

1.多模态表征学习与推理：理论、技术与应用

多模态融合在科学发现、医疗诊断、机器人等领域具有广泛和重要应用。不同模态数据蕴含的信息具有互补性、冗余性、动态性、不平衡、不完整等诸多复杂关联和不确定性，其对多模态数据融合的效果产生了深刻的影响。本报告将从不确定性的视角对多模态数据表征与推理进行阐述，并介绍面向低质量多模态数据的表征与推理理论、方法和应用。

2.多模态图像融合与协同感知技术

多模态信息融合与协同感知是连接物理世界与智能系统的关键纽带。本报告以面向实际应用需求的多模态图像融合技术为核心，聚焦多模态图像融合与协同感知领域内的关键挑战与前沿方向，涵盖未配准图像融合模型、文本驱动的退化鲁棒图像融合框架、视觉语义协同感知的融合范式以及通用图像融合方法。报告将结合安防监控、遥感监测与智慧医疗等典型场景，展示多模态信息融合与协同感知在公共安全、环境感知及辅助诊断等方面的实际价值与广阔前景。

3.多模态视觉生成、编辑与交互技术

生成式人工智能技术正深刻改变视觉与多模态智能的发展格局。多模态生成将综合考虑语言、图像、视频、3D和音频等典型模态，旨在实现丰富的内容创造、语义生成与智能交互。本报告将主要介绍多模态生成的主要进展、典型模型与应用，包括文生图像、文生视频、文生3D等任务，重点讲解扩散、自回归等代表性生成模型，介绍ID、布局、动作及相机运动的可控生成技术。同时，本报告还将介绍多模态视觉编辑、Agentic生成、交互式生成与编辑等技术，并分析多模态视觉生成发展过程中的伦理、安全与社会影响，为多模态视觉生成提供一个较为全面的介绍与分析。