多模态人工智能正大步走向场景应用新阶段

9月26日，以"共创产业智能新高度"为主题的多模态人工智能产业联合体第二次会议在武汉召开，会上发布了由中国科学院自动化研究所、武汉人工智能研究院、华为技术有限公司牵头的《多模态基础大模型技术白皮书》。

“当前，人工智能正从单模态、有监督学习，迈向多模态、自监督学习的时代。"中国科学院自动化研究所研究员、武汉人工智能研究院院长王金桥表示，"多模态人工智能的未来必将风光无限。”

对数据标注的依赖性降低了一个数量级以上

要了解多模态人工智能，首先需要明白何为模态。一般来说，每一种信息的来源或者形式，都可以称为一种模态。人类在信息获取、环境感知、知识学习与表达等方面都是采用多模态的输入、输出方式。比如寻找花朵，一般人们会采取视觉、嗅觉等多模态的方式来进行。“某种程度上说，多模态的输入、输出方式正是人类智慧的重要体现之一。”王金桥表示。

目前的网络数据包括图像、视频、文字、音频等不同模态。对于人工智能来说，要想更好地掌握、分析、利用网络上的数据，就需要能够对这些多模态的数据进行系统的统筹和分析。王金桥表示：“技术创新是推动多模态人工智能产业发展的重要动力之一。自20世纪70年代多模态学习起步以来，伴随着近年来生成式预训练、基于Transformer的双向编码器表达等大规模预训练模型的快速涌现，人工智能研究领域正在经历一场有监督学习向无监督学习条件下‘大数据+大模型’的大规模预训练范式转变，多模态人工智能发展迎来了新的巅峰。”

近年来，多模态人工智能在场景泛化性、对数据的依赖性等方面都取得了巨大的技术突破。“多模态人工智能通过自监督的学习方式对海量无标注数据进行学习，同时面向特定任务场景进行小数据的标注学习和微调。相对于单模态人工智能，其对数据标注的依赖性降低了一个数量级以上。”王金桥说。

“多模态大模型+小模型”模式或成主流

2017年，国务院制发《新一代人工智能发展规划》，由人工智能技术引发的产业变革正在加速演进。如今，多模态人工智能产业正大步走向场景化、实用化。目前，模型参数与数据规模不再是各研发机构的比拼重点，多模态人工智能产业正在走向场景应用的新阶段。例如，“全媒体多模态大模型”就是基于中国科学院自动化研究所“闻海”多模态媒体大数据和“紫东太初”三模态大模型的技术积累，结合新华社全媒体的海量数据积累和媒体融合业务场景而建立的。“全媒体多模态大模型”将加速推动人工智能在视频配音、语音播报、标题摘要、海报创作等多元媒体业务场景的应用。此外，在智慧城市、金融科技、民生服务等许多领域，多模态人工智能也有着广阔的应用场景。未来“多模态大模型+小模型”的模式或将成为多模态人工智能的主流，该模式可以有效解决需求碎片化、多样化等问题。

(内容来源：《科技日报》)