多技术构架大数据存储应用

■徐民先

关于大数据存储的技术有多种，如何设计和构建关键技术是很多厂商头疼的问题。如果从芯片角度来看，存储的关键点应该是能定制化为客户提供解决方案。

在安防行业，大数据时代引发诸多技术革命，对于监控存储企业面临诸多挑战，如何解决是业界为之关注话题。

大数据时代的存储方式

英特尔的理念是在端到端的安防行业，全面实现数据价值的挖掘。所谓“端到端”，包括前端视频采集、分析，存储以及后端数据中心处理。区别于单个设备的解决方案，英特尔以其优越的性能、灵活的设计为设备制造商和系统集成商提供整套系统化解决方案，从数据获取、存储、分析到应用各个层面均有覆盖。从硬件角度，英特尔提供的全系列处理器涵盖入门级的凌动、酷睿以及高性能的至强处理器，随着夸克产品线的推出，我们在前端的应用将更具性能功耗比优势。此外，英特尔聚焦于通过GPU进行媒体处理工作负载的整合，比如编解码的硬件加速，从而实现更高密度的视频流集成，使系统整体性能得到优化。在软件层面，英特尔拥有多种媒体处理工具，如异步IPP、媒体处理开发套件（Media SDK）以及Open CL开发套件。同时，作为Open Source的重要合作伙伴，英特尔提供的Hadoop发行版能够为海量数据的存储和处理提供灵活支持，使之更适用于交通和安防行业的应用，合作伙伴也可以在这个开放的平台之上自如地融入自己的创新。

安防是大数据的直接应用领域，建设平安城市的过程伴随大量数据的产生，尤其是以视频监控为主要特征的数字安全监控（Digital Security Surveillance,DSS）领域。我们所居住的城市中有无数的高清摄像头，涉及治安监控、指挥通信、侦查破案、规范执法、社会服务等，视频接入规模从几千到几十万，每天产生海量数据，这些规模庞大、形态复杂的数据极富分析价值。

2013年年初，南京警方为了抓捕一名在逃嫌犯，调动了两千警力，因为所有的摄像头没有联网，只能绕道各个小区、派出所、楼宇去拷数据，当时整个南京市所能买到的存储设备几乎都被警方买空。这个案例说明：第一数据需要联网，第二大数据一定要存储好，第三大数据必须经过分析和挖掘才有价值。

多技术架构下的大数据存储

从芯片厂商的角度来看，英特尔多项嵌入式技术可以为安防行业存储提供差异化的解决方案或不同层次的技术支持：

凌动™平台

为中低档视频录像机（DVR、NVR）提供了经济实惠、性能卓越的低功耗的英特尔凌动解决方案。凭借优异的热设计功耗（TDP），英特尔凌动平台能够高效地支持基于软件的编码器，支持客户灵活、轻松地增加功能或升级其解决方案。它不仅能够支持高分辨率视频成像并且采用先进压缩技术，以降低存储量，同时还支持视频分析功能，是住宅、小型零售店和小型办公/家庭办公环境等较成熟的中档客户的理想之选。而随着夸克产品线的推出，英特尔在前端的应用将更具性能功耗比优势。

双核处理器技术

双核处理器技术采用了智能高速缓存技术，能够在另一个内核空闲时让另一个运行中的内核独占所有二级缓存，从而带来更卓越的双核性能。此外，在占用空间和耗电方面一个双核处理器均要少于两个单核处理器的消耗量。同时，并发工作的两个处理器内核还能够大幅提高多任务处理性能和多线程应用程序的吞吐率。通过更有效地利用原本可能闲置的资源，支持超线程（HT）技术的英特尔双核产品可以同时处理四个软件线程。这将可以为 DSS 应用程序中的复杂算法带来直接性能优势，并满足多信道、高分辨率的图像要求。

64 位内存扩展技术

传统的32位CPU支持4GB直接寻址内存，已无法满足众多新应用程序的需求。英特尔® 64位内存扩展技术能够支持对多达1TB的内存进行寻址。这一超大内存空间可显著提高内存密集型应用程序的性能。

PCI Express＊

PCI Express* 目前是英特尔嵌入式芯片的主流配置，并正升级到PCIe2.0，速度高达5GT/S，双向数据传输速率达16GB/S，从而提供了可扩展的 I/O 来支持不断增加的高分辨率和高帧速视频信道的数量。其外，通过嵌入式处理器或芯片组能提供多个PCIe接口，为DSS产品的接口扩展以及大数据量的存储提供了灵活的可扩展空间。

超线程（HT）技术

超线程（HT）技术可支持单一处理器作为两个“虚拟”处理器运行，能够并行执行两个线程。通过按需将处理器资源分配给应用程序，该技术能够实现更高效的多任务处理，支持处理器在指定时间内完成更多任务。安排线程时，操作系统将两个不同架构状态视为独立的“逻辑”处理器。尽管超线程（HT）技术无法提供通过添加第二个处理器所能实现的性能水平，但基准测试显示，一些服务器应用程序的性能可得到 30%的提升。当应用英特尔双核处理器技术后，超线程（HT）技术可为 DSS 应用程序（例如涉及多视频数据流的应用程序）带来显著的性能提升。虚拟化技术

虚拟化技术能够对硬件资源进行划分，并分配到多个独立操作系统环境，从而能够支持在单一硬件平台中存在多个“虚拟”平台。虚拟化支持单一设备同时运行多个操作系统。例如，企业将可以实施多用途终端，在同一平台上同时运行销售点和监控应用程序，从而节约成本并最大限度地提高工作效率，并能有效提高系统运行或数据的安全性。

主动管理技术

主动管理技术是一种基于非易失性存储、并驻留于平台之中的硬件和软件解决方案。它能够支持维护部门远程发现、修复和保护联网的计算资产。目前主要的独立软件开发商均在其产品中增加了对于主动管理技术特性的支持，同时主要原始设备制造商（OEM）也纷纷在其平台上实施该技术。

LaGrande 技术

LaGrande技术来保护如机密用户数据、通信和银行交易等关键信息免受基于软件的攻击，同时不影响平台的可用性。LaGrande技术含有一个高度通用的硬件增强集合，为帮助保护数据机密性和完整性提供了一个重要基础。它通过实施域分离，可有效抵御基于软件的攻击。通过硬件增强，LaGrande技术能够能够在 CPU、芯片组、设备和平台之间建立一个可靠的通道，确保 CPU、内存页和设备不受系统上所有其它软件的影响。它可为 DSS 应用程序开发商带来一个受保护的执行空间、安全的存储和受保护的 I/O。

SIMD 指令集

单指令多数据（SIMD）处理技术可同时对多个数据执行单一指令，以增加可处理的数据量。英特尔处理器中第一代 SIMD技术是MMX™ 技术，并很快扩展到了下一代SIMD，即 SIMD 流指令扩展（SSE）、SSE2/3/4，有效满足了多媒体、通信和图形/视频应用程序的需求。考虑到日益增强的对更高平行处理的要求，英特尔进一步将SIMD升级到了256位的AVX指令集，并进一步扩充了一些新的指令集。这些平行处理指令集的进化，尤其是AVX的出现，将为DSS的高清化和智能化的发展提供更有效的工具。

结束语

为支持安防行业快速、有序发展，并为城市带来更加安全的生产生活环境，英特尔将进一步提高芯片设计、制造工艺以及软件开发能力，把个性化的“互联计算”（Compute Continuum）”引入安防产业。英特尔认为，互联计算首先是要基于互联网，其次是要实现智能化。这其中又包含三个层面的含义，其一是设备与设备之间的联系，其二是设备与人之间的联系，其三是设备与数据中心之间的联系，而这些都必须依托一个智能化平台架构。在未来的“互联计算”时代，数字安全监控将伴随着互联网技术、数字高清化技术以及智能化技术的发展成为人们生活和工作中不可或缺的组成部分，并成为中国构建“平安城市”和“智慧城市”的中坚力量。至于英特尔在其中扮演的角色，其实也脱离不了英特尔公司整体战略，即设计和构建关键技术，为全球的计算设备奠定基础，改善人们的生活水平。从这个角度来看，英特尔在其中一定要扮演一个技术领先者、行业引导者以及有责任感的企业公民这样一个全方位的角色。