智能化普适多媒体服务模式与支持技术研究

张宇　闫幸

摘  要  文章阐述了普适多媒体服务的模式和过程，分析了其中所需的多媒体处理技术、大数据技术、深度学习、云计算、社会物联网等各种新技术对于展开服务规模化应用的支持作用。阐述了智能化普适多媒体服务集成框架的需求分析、设计方法和原则，设计了其体系结构，并对其中主要服务器的功能进行了说明。

关键词  人工智能;普适服务;多媒体;大数据;云计算

中图分类号  G2      文献标识码  A      文章编号  2096-0360（2020）13-0025-04

普适多媒体服务是指以人为中心，随时随地、无所不在的，能够通过各种网络终端设备和各种媒体形式，为用户提供各种业务的内容服务。与互联网环境不同的是普适服务不仅要考虑用户与内容、用户与用户之间的关系，而且要考虑时空环境、网络终端设备等情境因素对用户需求的影响。其目标是在适宜的情境下，以适宜的方式和形式，为用户提供丰富多彩的内容[1]。

目前，国内外研究人员在普适计算、个性化服务、多媒体技术等相关领域进行了深入的研究，取得了大量成果。但受到理论、技术、网络和软硬件设备条件等的限制，让各种普适多媒体服务业务真正融入人们的日常工作和生活，以更加灵活、主动和智能的方式提供满足用户需求的内容产品，展开大规模的应用，还需要较长的一段研究与实践的过程。人工智能、大数据、深度学习和云计算等新的理论和技术的发展为上述目标的实现提供了重要的支撑。能够不断满足普适环境下用户对于多媒体服务的及时性、多样性、易用性、稳定性和安全性的各种要求。普适多媒体服务的发展趋势表现为：从单一媒体到跨媒体;从分散到统一;从设备到云端;从数据到语义;从感知到认知。要实现各种规模化的应用，智能化是必由之路。

1  普适多媒体服务的模式与过程分析

1.1  普适多媒体服务的模式

普适多媒体服务的业务模式多样，如：智慧旅游、智能家居、智慧图书馆、移动学习、远程医疗、普适推荐、智能汽车等。表1总结了从不同视角对普适多媒体服务模式的分类，这些类型可以进行多种组合，从而为用户提供种类繁多的服务。

1.2  普适多媒体服务的过程

1.2.1  服务系统的学习过程

服务系统的学习过程主要回答：用户在何种情境下需要何种类型、何种形式内容的问题。该问题又细化为5个阶段：

1）原始数据获取：即从表1描述的各类数据网络中获取原始数据，这些数据通常具有时间戳，详细记录了用户在怎样的情境下，通过何种方式获取过何种类型和形式的内容。

2）数据预处理：预处理阶段需要清除无意义的、冗余的数据、解决数据的冲突、对缺失的数据进行填补、通过本体对其进行规范描述，形成集成完整的数据集。

3）数据存储：部分数据是即取即用，提取出规则即可;而有的数据则需要以适当的格式存储以待后续分析。随着用户数量的增长，上下文数据种类的增加，多媒体内容资源量的增长，传统的服务器处理方式很难胜任工作，需要运用云计算的理念，采用弹性的方式组织。

4）数据分析：其目标是发现描述用户情境的上下文数据的类型、取值与用户具体需求之间的各种关系，为后续系统的服务决策提供支持。这一阶段的工作最为重要也最为复杂。

5）规则存储与更新：主要任务是将数据分析阶段得到的各种上下文与用户需求之间的关联知识进行保存，以备系统工作过程使用。用户兴趣具有漂移的特征，学习机制需要不断运行，对服务规则进行更新。对于大规模的服务系统，一般采用增量式学习方式。

1.2.2  服务系统的工作过程

从用户与系统的交互方式视角看，可分为推式、拉式和互动方式。

1）主动推送：可分为两种问题。第一种即已知用户及其情境信息，求解适宜推荐的内容;第二种即已知需要推送的内容，求解需要被推送内容的目标用户及其情境。两种问题的本质均是在系统学习过程得到的规则库中提取所需的知识规则。规则的提取通过对知识库中的用户偏好与内容相似性的计算、规则情境与现实情境的相似性计算的方式进行，当满足相似度阈值时，做出内容推送决策[1]。

2）用户请求：在用户发出请求之前主动感知描述用户情境的基本上下文数据，可以提高系统的响应速度，如：系统可事先对粗粒度的时间上下文（工作日、周末）、位置上下文（图书馆、操場、寝室等）进行获取工作，根据情境偏好知识库中的知识规则对业务内容进行初始排序;在用户开始与系统进行交互时，再逐次获取知识库中描述情境的其他类型的上下文数据，对内容服务类目及其子类目的优先级进行调整。这种方式在一定程度上能够平衡系统负载，体现系统的智能化特征，获得良好的用户体验。

1.2.3  多媒体内容的适配过程

普适环境相对于固网环境在多媒体服务方面具有很多劣势，如：屏幕尺寸小、处理器运行速度较低、输入不方便、文件支持度较低、网络速度限制等。内容适配是根据用户偏好，在网络和终端能力约束的条件下，通过各种多媒体处理技术对内容进行加工处理，使各种内容资源满足用户需求的过程。传统的多媒体服务业务往往需要用户和内容提供商做出大量的手工选择和处理，要实现大规模的应用，内容适配过程的自动化和智能化也是必然趋势，即根据用户的偏好、网络和终端条件，主动智能地为其选择、加工和推送内容。

内容适配首先需要对终端设备和网络特征进行描述，将这些特征与内容元数据进行比较，然后对内容进行各种处理。目前一些国际组织已提出一些相关的元数据规范，具体应用需要结合各种参数进一步扩展。内容适配需要信息处理领域一系列智能技术的支持，如：信息提取、文本摘要、媒体形式转换、图像缩放、码率和分辨率调整等。

2  智能化普适多媒体服务支持技术分析

2.1  多媒体处理技术

多媒体信息的载体主要有文本、图形、图像、音频、视频等。多媒体技术融合了对多种媒体、复杂的智能化处理和交互，具有多样性、集成性、实时交互性、信息储量大等特征。目前，多媒体技术已广泛应用于工业、农业、国防、教育和娱乐等诸多领域。本文探讨的重点并非已得到成熟应用的编码、传输、压缩、解码、同步以及数据库等技术;而在于跨媒体分析、集成化、嵌入化、智能化等方面，其应用如：计算机视觉、智能监测、医学诊断、虚拟现实技术等。

对于智能化普适多媒体服务的研究，需要特别关注的两个方向：一是跨媒体智能[2]，其主要目标是面向不同的系统，使用不同的转换规则，智能地进行数据转换和集成。因此要求智能数据适配器必须具有通用性、智能性、稳定性和可解释性的特点。二是多媒体内容理解[3]，如：对于文本、图像、音频和视频，让计算机能够识别其中表达的主题思想。该技术在普适环境下，可用于目标监测、用户行为、心理、健康状态等的分析与识别，是实现普适环境下精准化服务的前提条件。大数据和深度学习技术为实现该目标提供了有力的支撑。

2.2  大数据技术

普适多媒体服务的数据来源多样：描述用户静态特征的上下文数据，动态心理、行为特征的上下文数据、互联网数据、移动网络数据、宽带卫星、GIS、GPS数据等。这些数据在规模、时间、类型等方面都有着不同的特性。如：种类繁多、数据量大、结构异构、变化速度快、价值密度低等。对这些数据进行处理和分析，采用传统的基于模型的方法显得力不从心。通过大数据分析和处理技术，构建通过各种特征描述的用户集之间、多媒体内容集之间、情境集之间，及其三者之间的关联关系，以此来支持普适多媒体服务的智能化。在服务提供的整个过程中，大数据技术的作用包括：海量异构媒体数据的采集;数据的预处理;分布式文件系统管理及负载均衡;各类数据的关联分析等[4]。

2.3  深度学习技术

目前，普适服务领域的研究在描述用户情境的上下文类型定义上比较全面，本文将上下文归纳为4个基本的类目：时空上下文、物理上下文、用户上下文和计算上下文，如图1所示。但是由于受到网络及软硬件条件和处理方法的局限，各种服务应用所能使用的上下文种类非常有限，一般仅限于部分静态上下文，如：性别、职业、终端描述等;动态上下文的情况则更加困难，能够使用的仅限于如：时间、位置、温度等。要提供更加精准智能的服务，用户活动、心理状态、意图的识别对于准确理解用户在普适环境中的内容需求至关重要。

深度学习如今己成为人工智能领域一个热门的研究方向，推动了整个人工智能领域的发展，在图像处理、语音识别、情感识别、行为识别，目标检测、自然语言理解等领域的应用中取得了令人满意的效果。多智能深度强化学习将是深度学习进一步研究的方向，其应用包括：一是社交行为学习，目的是挖掘出用户的模式，从而预测用户的行为;二是跨媒体学习，以逐层学习的方式提取海量跨媒体信息的特征，寻求不同模态信息的关联，提高跨媒体检索效率[5];三是构建推荐算法和推荐系统，根据用户模式，从海量大数据中挖掘出用户最需要的内容，大大节约用户搜索数据的时间。然而，深度学习目前也存在较多问题：参数过多、计算代价大;应用较多而理论研究滞后;用深度模型来表示语义信息还需要更多的研究等。

2.4  云计算技术

云计算集合了虚拟化、并行计算、分布式处理、大数据的存储与处理技术、资源管理与调度等多项技术。其理念是通过提高云的处理能力，减少用户终端的处理负担，使用户能以即插即用的方式享受强大的计算处理能力[6]。特点：弹性服务、资源池化、按需服务、服务可计费、泛在接入。服务提供商和用户均可不再受到本地服务器和设备资源的限制，用户可在云服务器中存储和访问丰富的多媒体资源，并且还可延长用户终端的续航时间和使用寿命。

普适计算虽经过多年的发展，仍未进入规模化应用。主要原因：一是网络带宽和接入能力不足;二是设备计算能力不足。云计算和普适宽带网络的出现，对普适计算所需的大容量带宽和实时计算能力的要求提供了有力保障。云媒体具有非常广阔的应用前景，可用于娱乐、教育、安防等诸多领域。目前，云媒体在解决媒体任务时仍面临着许多问题和挑战，如：多媒体资源、网络及设备的异构性、任务合理调度问题、媒体服务器负载均衡问题等。

2.5  社会物联网技术

物联网是通過RFID、红外传感、GPS等信息传感设备，按约定的协议，通过各种网络将各种终端设备联接起来，进行信息交换和通讯，以实现智能控制和管理的网络。物联网主要考虑物体管理与物体连接的问题，忽略了传感器设备和用户终端所反映出来的人与人之间的关系，如：智慧旅游系统设计中，通过GPS系统获取到多位用户在某地景点旅游，通过PDA设备的物物关系，可以建立人与人之间的关系，相互分享心得，推荐具有特色风土人情的景点、餐饮地点信息等。社会物联网[7]将物联网与社会网络相结合，形成物与物、人与物、人与人之间范围更大的全面感知的社会物联网体系，可以高效地支持和构建新的普适多媒体服务业务。

社会物联网作为一个新兴的领域，相关研究仍处于发展阶段，除相关技术问题外，如何利用相关模型和方法构建本研究所需的用户群体、情境集合和多媒体资源集合之间的相互关系，在开放、动态和多变的普适环境中为用户提供丰富多彩的服务是需要重点研究的问题。

3  智能化普适多媒体服务集成框架的分析与设计

3.1  需求分析

构建智能普适多媒体服务集成框架是一个庞大复杂的系统工程，从对功能需求的分析来看，需要实现的集成包括4个方面的内涵：

1）不同种类多媒体信息资源的集成。

2）学习机制和工作机制的集成。

3）内容管理和内容适配功能的集成。

4）不同种类多媒体业务的集成。

3.2  设计方法和原则

1）为保证其可行性，框架设计从大处着眼，系统实施从小处着手。系统实施不必要也不可能一次实现一个包罗万象的服务系统。首先展开用户需求的调研工作，对于有较大需求的业务优先安排设计和实施，提供的服务类型从少到多、功能由简到繁，逐步展开。

2）多媒体资源和服务的统一规范的语义描述是集成的基础，为實现上下文数据和多媒体内容服务资源的共享和重用，提高系统的可扩展性，在多媒体资源管理层和业务应用服务层之间加入知识管理层，实现多媒体服务资源和具体业务应用的松耦合。

3）权衡各种优势和劣势，充分利用上述智能化支持技术，传统的普适服务方法一般只能实现一些简单和具体领域的小规模应用，智能化是规模化的必由之路。

4）充分考虑用户体验，将结构复杂、需要大规模运算能力、存储能力的任务交由云服务器端，对于节省用户开支，保证良好的用户满意度具有重要意义。

3.3  集成框架的体系结构

集成框架是由互联网、移动通讯网、GPS网络等各种普适网络所组成的复杂网络体系。服务框架的4个层次和各个层次包含的主要服务器及其功能说明如下：

1）上下文数据管理层：通过各种渠道获取和感知用户的上下文数据，对其进行必要的处理。主要包括的服务器：实时通信服务器，用于连接知识管理层;上下文管理服务器负责上下文数据的获取、规范描述和推理解释任务。

2）多媒体资源管理层：主要承担根据用户偏好和网络终端的限制对多媒体内容的获取，形式、格式等进行必要的转换和存储等任务。主要包括的服务器：实时通信服务器，连接知识管理层;内容适配服务器负责管理用户网络和终端的参数信息，将用户请求与网络终端参数进行比较，做出内容转换和处理任务的决策。内容管理服务器：负责获取服务所需的多媒体资源，根据适配服务器的需求对多媒体资源进行处理和存储任务。

3）知识管理层：对统一描述的用户上下文数据和需求数据，分析其中蕴含的各种关系和规律，形成知识，存储于普适多媒体服务知识库中。主要包括的服务器：本体资源服务器负责提供不同层次和领域的本体资源，对各类异构大数据提供统一描述。大数据分析服务器主要负责挖掘用户、情境和多媒体内容之间的关联规则，存入知识库;并以增量方式对知识库进行更新。匹配服务器主要履行各类用户、资源和情境的匹配任务，进行相似度计算和排序，做出是否推荐的决策。

4）业务应用服务层：利用知识管理层中知识库中的规律知识，用于构建不同领域和各种方式的普适多媒体内容服务。主要包括的服务器：查询分析服务器，接收和处理用户请求。用户管理服务器：负责用户和内容提供商的注册和管理工作。业务管理服务器，构建业务与内容资源的多对多关系，对不同的多媒体业务进行分类管理。

4  总结

普适多媒体服务业务具有良好的发展潜力，智能化技术是其规模化应用的有效支撑。本文总结了普适多媒体服务的模式，将其服务过程分为系统学习、系统工作和内容适配三个阶段。分析了目前已经广泛展开研究的多媒体智能处理技术、大数据技术、深度学习技术等各种技术对于服务智能化的支持作用，并阐述了各种技术的优劣势。最后提出了智能化普适多媒体服务的集成框架，设计了其体系结构和主要服务器的功能。

参考文献

[1]张宇.个性化移动内容服务的模型和支持技术研究[D].武汉：华中科技大学，2010.

[2]白亮，郭金林，老松杨.基于深度认知神经网络的跨媒体情报大数据智能处理技术[J]指挥与控制学报，2016，2（4）：345-349.

[3]彭宇新，綦金玮，黄鑫.多媒体内容理解的研究现状与展望[J].计算机研究与发展，2019，56（1）：183-208.

[4]李学龙，龚海刚.大数据系统综述[J].中国科学（信息科学），2015，45（1）：1-44.

[5]彭欣.基于深度学习的数字图书馆跨媒体语义检索方法研究[J].情报探索，2018（2）：16-19.

[6]王家庆.多媒体云计算中的资源管理研究[D].南京：南京邮电大学，2018.

[7]赵明慧.基于智能算法的社会物联网可信服务适配研究[D].南京：南京邮电大学，2018.