多媒体物联网的关键技术研究

艾达+南江

摘 要：从物联网技术所面临的数据存储、网络带宽、数据处理等问题出发，归纳总结了多媒体信息应用于物联网的特点，分别从感知层、网络层和应用层三个方面，结合实际应用论述了多媒体物联网系统传感技术、传输技术和数据处理等关键技术。最后提出了多媒体物联网的发展趋势。

关键词：多媒体物联网；多媒体传感器；传输技术；云计算；云存储；智能处理

中图分类号：TN919.85 文献标识码：A 文章编号：2095-1302（2014）03-0073-03

0 引 言

物联网概念提出于1999年[1]，通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备，按照约定的协议，把任何物体与互联网相连接，进行信息交换和通信，以实现对物品的智能化识别、定位、跟踪、监控和管理。

早期物联网信息交互的量级是字节级的，在车联网、公安物联网、医联网等领域取得显著进展的同时，面临着新的技术挑战。在处理图像、音频、视频等信息量大的感知信息时，数据存储、数据传输、数据的有效利用等已成为必须要解决的问题。

本文从多媒体数据应用的角度出发，归纳总结了用新技术解决物联网多媒体问题的方法，包括多媒体传感技术、网络传输技术、数据处理技术等，并提出了多媒体物联网的未来发展趋势。

1 多媒体物联网

1.1 多媒体物联网的概念及特点

借鉴多媒体物联网（MCPS Multimedia Cyber Physical System）[2]技术，即通过音频、视频、GIS等信息传感设备，按照约定的协议，把任何物品与电信网、广播电视网、互联网、卫星定位网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理的网络。我们提出了一个新的名词“多媒体物联网”（M-IOT Multimedia Internet Of Things）。多媒体物联网是通过视频传感器、拾音器、高感光等信息传感设备对图像、音频、视频等数据进行采集、处理，并按照约定的协议，将采集的数据在适合的网络中进行传输，最后对采集的数据进行智能化识别、管理、应用以实现对物理世界的精确控制和智能决策的一种网络。与传统的物联网相比，多媒体物联网具有以下特点：

（1）M-IOT除了能够处理传统的标识、温度、湿度、位置等信息外，能感应和处理音频、视频、图像等多媒体信息；

（2）由于多媒信息的数据量庞大，必须要经过压缩、识别、融合等处理后，适合网络传输再进行传送；从人口量众多的北京、上海的调查数据来看，监控摄像头每天的数据量达到了PB级别。对于山东人口数量最少的莱芜，在2013年监控摄像头每天的数据量居然也达到了PB级；表1所列是5个城市每天的数据量。

表1 5个城市每天的数据量

城市（年份） 监控摄像头总数 数据量

北京（2009年底） 39万个 4.68 PB

上海（2010年底） 60万个 7.2 PB

重庆（2012年底） 50万个 6 PB

武汉（2013年） 25万个 3 PB

莱芜（2013年） 10万个 1.2 PB

（3）对网络传输速率和宽带要求高，传输速率高到Mb/s级别；

（4）从多个角度全面监测目标区域，可带来更丰富的物理信息，确保信息的准确性。

2 多媒体物联网关键技术

参考物联网的结构，我们将多媒体物联网从其技术架构上主要分为3层：感知层、网络层和应用层[3]。其结构图如图1所示。

2.1 感知层

随着监测环境的变化，传统传感器所获取的简单信息已无法满足现在的需求，如在安防行业中，实现检测环境的实时重现；医疗行业中，实现在线就诊；智能家居行业中，实现目标跟踪等。这就迫切需要将信息量丰富的图像、音频、视频等媒体引入到以传感器为基础的环境检测活动中来，实现细粒度、精准信息[4]的环境检测。由于感知层的多媒体传感网络能量受限，在现有的资源条件下，要对采集的信息进行相应的处理来缓解存储和网络传输压力。

图1 多媒体物联网技术结构图

2.1.1 多媒体节点的部署

节点的部署与网络覆盖、联通和能耗等研究有关。多媒体传感器始终伴随着能量有限的问题，采用中心汇聚节点能有效解决传输过程中能量消耗过大的问题。参考物联网的中心集控式控制结构[5]、分布式控制结构[6]和分级式控制结构[7，8]。在多媒体传感器节点系统中，采用中心汇聚与分层控制结构。

2.1.2 多媒体数据的压缩编码

为了减少传输视频流的数据量，减轻网络传输压力，对大数据量的图像或音视频进行压缩编码。采用现有的JPEG、JPEG2000等编码方式对静态图像进行压缩[9]。视频流压缩可采用以下压缩标准：压缩比高、成像清晰的MPEG-4压缩标准[10]；在不影响图像质量的前提下，和MPEG-4标准相比，数字视频文件的大小减少50%以上的H.264视频压缩标准。针对高分辨率的视频流，压缩率与H.264相比，提高30%～50% [11-12]的H.265压缩标准；克服了压缩编码的安全隐患，性能较高，由于专利授权模式简单，费用相对H.264较低，具有中国自主知识产权的AVS标准；以“忠实于场景的高保真视频编码”为核心思想，改善了音视频内容真实性、完整性和安全性保护不足的缺陷，忠实于当时场景，适应安防现状，兼顾原有视频资源的SVAC标准。通过以上标准，易提取出感兴趣音视频对象的编码信息从而进行传输，在节约网络带宽资源的同时还可以提供高质量的多媒体服务。

2.1.3 多媒体数据的聚集

多媒体数据收集试图从感知网络获取全部或近似全部的感知信息，然而在大多数应用场合，信息感知的目的是获取一些事件信息或语义信息，而不是所有的感知数据。因此，多数情况下不需要将所有感知数据传输到汇聚节点，而只需传输观测者感兴趣的信息。在满足应用要求的情况下，从原始感知数据中选择少量数据或提取高层语义信息进行传输，从而减少网络数据传输量。例如公安三所从低层次图像特征与人类高层次语义信息之间的差异性 [13]着手，将视频图像文本化作为研究的核心问题，提出了视频结构化描述技术。它能代替人智能阅读视频，并将其转化为计算机和人都看得懂的描述语言，传输感兴趣的文本信息，只要搜索关键词，相应的图像便推送出来，将大大节约时间和劳动力，甚至可以通过个性化的定制，由系统自动推送想要的视频。

2.2 网络层

多媒体物联网的网络层是建立在现有移动通信网和互联网的基础上的，通过各种接入设备与移动通信网和互联网相连，实现应用层和感知层信息的可靠传达。本文从多媒体的传输速率、网络带宽入手，介绍该层的相关传输技术。

2.2.1 多媒体传输技术

目前三星电子研究的HD-SDI[14]端口输出的传输速率达到1.485 Gb/s[15]，实现了多媒体的有效传输，在广电行业中得到了广泛应用。其提供的高清图像是智能监控中所需要的优质图像来源。与其他的传输模式不同，它采用无压缩模式，因此对网络带宽要求很高。而在有线电视传输过程中，超宽带技术的宽频带、高速率、功耗低等优点缓解了高宽带的问题，达到了以更高品质传输声音和图像的目的。利用先进的码分多址技术实现最大数量的用户合并，在封闭的电缆中，使信号互不干扰。

随着网络技术的迅猛发展，具有不用架设线缆、灵活性强等优点的无线网络弥补了“有线”的缺点，满足了移动用户的需求，逐渐赢得了市场的认可。Wi-Fi又称802.11b标准，凭借组网方便、便于扩展等特点，有着良好的应用前景[16]。无线接入、高速传输、网络可靠性高是Wi-Fi的主要技术优点。由于在在802.11网络上的连接速度是54 Mb/s，终端可以在Wi-Fi环境下进行大容量数据的通信，而不会因为宽带的限制而影响通信质量，然而由于Wi-Fi通信范围有限，一般仅为几十米到几百米。因此，用户在使用Wi-Fi通信时，其可活动的范围将要受到限制。

3G以其不受距离限制、网络带宽宽、实时性好[17]等特点而广泛应用于现实生活中。目前市场上生产的无线监控设备普遍采用3G传输技术。3G技术的使用使得视频监控逐渐摆脱了时间、空间的限制，实现了长距离和实时的视频传输。支持10 Mb/s的高带宽使得视频信号传输质量大幅度提升。随着工信部于2013年12月4日向中国大陆的三家电信运营商发放TD-LTE牌照，标志着我国电信产业正式进入了4G时代。TD-LTE网络带来的将是比3G更快的速度体验，其上传和下载的理论峰值分别能达到20 Mb/s和100 Mb/s，能够满足对地址和标识、拥塞控制的需求，同时给要求高速率、高移动性、低成本的多媒体数据应用带来了更好的发展机会，是未来技术的发展方向[18]。

2.3 应用层

应用层完成对感知层所采集的海量数据的存储、智能分析和处理，以实现对物理世界的精确控制和智能决策。

2.3.1 云计算、云存储

云计算中资源池是存储和处理海量数据必不可少的硬件条件。在基础设施层，IaaS可以为物联网提供廉价的CPU、存储空间和带宽[19]。在云计算模式下，云提供资源池，云模式下的网站程序开发和管理与拥有独占的物理资源时没有差异。它的伸缩性决定了数据量高峰期可以自动获得更多的资源，便于数据的处理和存储。

云存储通过网络提供可配置的虚拟化的存储及相关数据的服务。通过集群应用、网格技术或分布式文件系统[20]等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问。

一般情况下通过ADSL、DDN等宽带接入设备来连接云存储，Web2.0技术实现数据、文档、图片和音视频等内容的集中存储和资料共享。通过应用存储设备来进行数据的存储，实现应用软件功能。云计算的成功应用之一是Google的搜索引擎，它的数据分布式地存储在各地的数据中心，当用户发出搜索请求时，可以并行地从数千台计算机上发起搜索并进行排名，将结果反馈给用户。

2.3.2 面向服务的体系架构

对于整个系统来说，最重要的就是将感知层采集到的数据进行信息处理和应用集成，从而获取有价值的信息来指导物理世界高速运转。面向服务的体系结构（Service-oriented Architecture，SOA）[21]将应用程序的不同功能模块化，通过标准化的接口和调用方式联系起来，实现快速可重用的系统开发和部署。提高架构的拓展性，提升应用开发效率，充分整合和复用信息资源。大唐电信提出的关于地质灾害监测预警解决方案[22]中就采用了基于SOA的服务集成框架，实现了平台服务和业务应用的能力解耦，使监测管理人员可以通过平台监控服务的健康状态和可用性。

应用层可谓是多媒体物联网的“大脑”，在各层次间起到协调的作用，对物理世界进行智能化的管理。目前多媒体物联网已应用于智能交通、智能医疗、智能安防、智能家居等多个领域。

3 结 语

本文从多媒体数据应用的角度出发，分别从感知层、网络层和应用层三个层面对多媒体物联网的传感技术，传输技术和智能应用技术进行了阐述。从目前的发展现状看，多媒体物联网未来在医药、交通、安全等行业的应用将显著提升整个社会的信息化和智能化水平。而且随着产业技术的不断更新和发展，高清、超高清技术必将是未来的发展趋势，超高清电影、超高清视频的传播将更为广泛。如何将超高清技术应用到多媒体物联网中，将是未来的发展趋势。

参 考 文 献

[1]张卫，张峻峰，罗长寿，等. XMPP 应用于物联网通信协议的研究[J].中国农学通报，2012，28（9）： 289-292.

[2]吴晶，唐前进，赵锐.多媒体物联网关键技术的研究[J].中国安防，2010（12）： 37.

[3]刘云浩.物联网导论[M].北京：科学出版社，2010.

[4] CUCCHIARA R. Multimedia surveillance systems [C]// Proceedings of the 3rd ACM international workshop on Video surveillance & sensor networks. Singapore： ACM， 2005： 3-10.

[5] CHANDRAMOHAN V， CHRISTENSEN K. A first look at wired sensor networks for video surveillance systems [C]// Proceedings of LCN 2002 27th Annual IEEE Conference on Local Computer Networks. Tampa， FL， USA： IEEE， 2002： 728-729.

[6] FENG W， CODE B， KAISER E， et al. Panoptes： a scalable architecture for video sensor networking applications[C]//Proceedings of ACM Multimedia. Washington DC， The USE： ACM， 2003： 151-167.

[7] HEINZELMAN W B， CHANDRAKASAN A P， BALAKRISHNAN H. An application-specific protocol architecture for wireless microsensor networks [J]. IEEE Transactions on Wireless Communications， 2002， 1（4）： 660-670.

[8] ZHAO J， ERDOGAN A T， ARSLAN T. A novel application specific network protocol for wireless sensor networks [C]// Proceedings of 2005 IEEE International Symposium on Circuits and Systems. Kobe， Japan： ISCAS 2005： 5894-5897.

[9] FENG W， CODE B， KAISER E， et al. Panoptes： a scalable architecture for video sensor networking applications[C]// Proceedings of ACM Multimedia. Berkeley， CA， USA： ACM， 2003： 151-167.

[10] CHIASSERINI C F， MAGLI E. Energy consumption and image quality in wireless video-surveillance networks [C]// Proceedings of the 13th IEEE International Symposium on Personal， Indoor and Mobile Radio Communications. Lisboa， Portugal： IEEE， 2002： 2357-2361.

[11] SULLIVAN G J， OHM J R. Meeting report of the first meeting of the Joint Collaborative Team on Video Coding （JCT-VC） [C]. JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11.Dresden， DE， East Germany： JCT-VC， 2010： 1-57.

[12] WU P， LI M. Introduction to the high-efficiency video coding standard [J]. 中兴通信技术，2012，10（2）.

[13]浦世亮.浅析视频数据挖掘技术在监控系统中的应用[J].中国公共安全，2011（3）：119-122.

[14]杨圣伟.浅谈 HD—SDI 高清的发展现状及问题[J].中国安防，2012（7）：17.

[15]Watkinson J， Rumsey F. Digital Interface Handbook[M]. CRC Press，2012.

[16]李扬.WIFI技术原理及应用[J].科技信息，2010，24（2）：59-61.

[17]徐凯，钱燕，魏宗群，等.基于TMS320DM365的3G实时视频传输系统设计与实现[J].浙江农业科学，2012 （7）：1056-1059.

[18]李勇辉，马瑞涛，符刚.基于LTE的物联网发展研究[J].互联网天地，China Internet，2013（9）：27-29.

[19] TIANFIELD H. Cloud computing architectures [C]// 2011 IEEE International Conference on Systems， Man， and Cybernetics. Anchorage， Alaska， USA： IEEE， 2011： 1394-1399.

[20] HUO Y， WANG H， HU L， et al. A cloud storage architecture model for data-Intensive applications [C]// 2011 International Conference on Computer and Management. Wuhan， China： IEEE，2011： 1-4.

[21]乔亲旺.物联网应用层关键技术研究[J].电信科学，2011（s1）：66-69.

[22]毛旭.基于物联网技术的地质灾害监测预警解决方案[J].物联网技术，2013，3（4）：9-10.

[5] CHANDRAMOHAN V， CHRISTENSEN K. A first look at wired sensor networks for video surveillance systems [C]// Proceedings of LCN 2002 27th Annual IEEE Conference on Local Computer Networks. Tampa， FL， USA： IEEE， 2002： 728-729.

[6] FENG W， CODE B， KAISER E， et al. Panoptes： a scalable architecture for video sensor networking applications[C]//Proceedings of ACM Multimedia. Washington DC， The USE： ACM， 2003： 151-167.

[7] HEINZELMAN W B， CHANDRAKASAN A P， BALAKRISHNAN H. An application-specific protocol architecture for wireless microsensor networks [J]. IEEE Transactions on Wireless Communications， 2002， 1（4）： 660-670.

[8] ZHAO J， ERDOGAN A T， ARSLAN T. A novel application specific network protocol for wireless sensor networks [C]// Proceedings of 2005 IEEE International Symposium on Circuits and Systems. Kobe， Japan： ISCAS 2005： 5894-5897.

[9] FENG W， CODE B， KAISER E， et al. Panoptes： a scalable architecture for video sensor networking applications[C]// Proceedings of ACM Multimedia. Berkeley， CA， USA： ACM， 2003： 151-167.

[10] CHIASSERINI C F， MAGLI E. Energy consumption and image quality in wireless video-surveillance networks [C]// Proceedings of the 13th IEEE International Symposium on Personal， Indoor and Mobile Radio Communications. Lisboa， Portugal： IEEE， 2002： 2357-2361.

[11] SULLIVAN G J， OHM J R. Meeting report of the first meeting of the Joint Collaborative Team on Video Coding （JCT-VC） [C]. JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11.Dresden， DE， East Germany： JCT-VC， 2010： 1-57.

[12] WU P， LI M. Introduction to the high-efficiency video coding standard [J]. 中兴通信技术，2012，10（2）.

[13]浦世亮.浅析视频数据挖掘技术在监控系统中的应用[J].中国公共安全，2011（3）：119-122.

[14]杨圣伟.浅谈 HD—SDI 高清的发展现状及问题[J].中国安防，2012（7）：17.

[15]Watkinson J， Rumsey F. Digital Interface Handbook[M]. CRC Press，2012.

[16]李扬.WIFI技术原理及应用[J].科技信息，2010，24（2）：59-61.

[17]徐凯，钱燕，魏宗群，等.基于TMS320DM365的3G实时视频传输系统设计与实现[J].浙江农业科学，2012 （7）：1056-1059.

[18]李勇辉，马瑞涛，符刚.基于LTE的物联网发展研究[J].互联网天地，China Internet，2013（9）：27-29.

[19] TIANFIELD H. Cloud computing architectures [C]// 2011 IEEE International Conference on Systems， Man， and Cybernetics. Anchorage， Alaska， USA： IEEE， 2011： 1394-1399.

[20] HUO Y， WANG H， HU L， et al. A cloud storage architecture model for data-Intensive applications [C]// 2011 International Conference on Computer and Management. Wuhan， China： IEEE，2011： 1-4.

[21]乔亲旺.物联网应用层关键技术研究[J].电信科学，2011（s1）：66-69.

[22]毛旭.基于物联网技术的地质灾害监测预警解决方案[J].物联网技术，2013，3（4）：9-10.

[5] CHANDRAMOHAN V， CHRISTENSEN K. A first look at wired sensor networks for video surveillance systems [C]// Proceedings of LCN 2002 27th Annual IEEE Conference on Local Computer Networks. Tampa， FL， USA： IEEE， 2002： 728-729.

[6] FENG W， CODE B， KAISER E， et al. Panoptes： a scalable architecture for video sensor networking applications[C]//Proceedings of ACM Multimedia. Washington DC， The USE： ACM， 2003： 151-167.

[7] HEINZELMAN W B， CHANDRAKASAN A P， BALAKRISHNAN H. An application-specific protocol architecture for wireless microsensor networks [J]. IEEE Transactions on Wireless Communications， 2002， 1（4）： 660-670.

[8] ZHAO J， ERDOGAN A T， ARSLAN T. A novel application specific network protocol for wireless sensor networks [C]// Proceedings of 2005 IEEE International Symposium on Circuits and Systems. Kobe， Japan： ISCAS 2005： 5894-5897.

[9] FENG W， CODE B， KAISER E， et al. Panoptes： a scalable architecture for video sensor networking applications[C]// Proceedings of ACM Multimedia. Berkeley， CA， USA： ACM， 2003： 151-167.

[10] CHIASSERINI C F， MAGLI E. Energy consumption and image quality in wireless video-surveillance networks [C]// Proceedings of the 13th IEEE International Symposium on Personal， Indoor and Mobile Radio Communications. Lisboa， Portugal： IEEE， 2002： 2357-2361.

[11] SULLIVAN G J， OHM J R. Meeting report of the first meeting of the Joint Collaborative Team on Video Coding （JCT-VC） [C]. JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11.Dresden， DE， East Germany： JCT-VC， 2010： 1-57.

[12] WU P， LI M. Introduction to the high-efficiency video coding standard [J]. 中兴通信技术，2012，10（2）.

[13]浦世亮.浅析视频数据挖掘技术在监控系统中的应用[J].中国公共安全，2011（3）：119-122.

[14]杨圣伟.浅谈 HD—SDI 高清的发展现状及问题[J].中国安防，2012（7）：17.

[15]Watkinson J， Rumsey F. Digital Interface Handbook[M]. CRC Press，2012.

[16]李扬.WIFI技术原理及应用[J].科技信息，2010，24（2）：59-61.

[17]徐凯，钱燕，魏宗群，等.基于TMS320DM365的3G实时视频传输系统设计与实现[J].浙江农业科学，2012 （7）：1056-1059.

[18]李勇辉，马瑞涛，符刚.基于LTE的物联网发展研究[J].互联网天地，China Internet，2013（9）：27-29.

[19] TIANFIELD H. Cloud computing architectures [C]// 2011 IEEE International Conference on Systems， Man， and Cybernetics. Anchorage， Alaska， USA： IEEE， 2011： 1394-1399.

[20] HUO Y， WANG H， HU L， et al. A cloud storage architecture model for data-Intensive applications [C]// 2011 International Conference on Computer and Management. Wuhan， China： IEEE，2011： 1-4.

[21]乔亲旺.物联网应用层关键技术研究[J].电信科学，2011（s1）：66-69.

[22]毛旭.基于物联网技术的地质灾害监测预警解决方案[J].物联网技术，2013，3（4）：9-10.