智能摄像头白盒化技术方案研究

2021-06-28李四维林健

广东通信技术 2021年6期

［李四维林健］

1 智能摄像头发展概况

国内视频监控市场呈家庭化、民用化的发展趋势。目前，家用智能摄像头产品销量以线上为主，据BCI 数据监测，智能摄像头市场过去2～3 年快速增长，现已达到平稳发展阶段；预计2021 年线上市场将较小幅度增长，如图1 所示，销量将达到1 070 万部。

图1 国内智能摄像头线上销量数据

摄像头品牌主要分为传统监控品牌和互联网品牌，其中互联网品牌中小米和360 占据较大的市场份额，而传统品牌中如海康威视和大华等在原有业务的基础上也加入智能领域，分别推出了萤石和乐橙等专注于智能摄像方面的产品。小米以低价销售为策略，占据大部分低价格带市场，萤石则更注重高端化市场。

2 智能摄像头结构

智能摄像头的内部主要是在传统摄像头的基础上增加了数字化处理、数字视频压缩以及网络接入功能，即将数字化的视频信号转换成符合网络传输协议（如TCP/IP协议）的数据流，以便送到网上传输。能够捕获影像并直接通过IP 网络进行传输，从而使授权用户能够通过标准的基于IP的网络基础构架，在本地或者远程地点实现观看、存储和管理视频数据，或者监听该摄像机内置麦克风采集的现场声音。从而，传感器与处理能力比普通摄像头要求更高，硬件能力更强。

2.1 硬件结构

常见的智能摄像头硬件结构如图2 所示，由前后盖、PCB 板、镜头、红外补光灯等组成，PCB 板上器件包括芯片、无线模块、电源IC、电池、传感器（PIR 人体感应器）等。摄像头中最重要的是芯片部分，分别为处理芯片和成像传感器。

2.2 芯片

IPC SoC 芯片集成ISP 技术和视频编解码技术，具备高压缩比的视频编解码技术的IPC SoC 芯片将逐步占领市场。主要厂家包括海思、德州仪器、安霸、MStar、国科微、富瀚微、升迈等，可以提供支持H.264/H.265 的IPC SoC，其中H.264/H.265 分4 种画质，分别是基本画质、进阶画质、主流画质、高级画质。

成像传感器是将光信号转化为电信号的装置，是摄像头中最为重要的部件之一，分为CCD 和CMOS 两大类。相比于CCD，CMOS 虽然成像质量不如CCD，但是CMOS 因为耗电低、体积小、重量轻、集成度高、价格低迅速占领市场，目前除专业摄像机，大部分带有摄像头设备使用的都是CMOS。

3 智能摄像头关键技术

智能摄像头的构成与技术相对稳定和成熟，且实现智能摄像头的监控功能需要软硬件的密切配合。智能摄像头的关键技术包括红外热成像、图像传感技术、视频处理技术、流媒体技术。

（1）红外热成像，利用红外线的成像技术来探测夜间目标，通过光电转换将目标物体的温度分布图像转换成视频图像，可实现夜间和能见度低场景下的监控，完成防烟雾、防火监控，识别隐藏目标和伪装目标。

（2）图像传感技术，利用感光二极管进行光电转换，将图像转换为数字数据，监控摄像头的画面传感从CCD向CMOS 转变，CMOS 探头的集成度更高，成本更低。

（3）视频处理技术，视频处理分析功能通过人工智能技术实现图像以及图像描述建立映射关系，从而进行图像分析处理，减少降低人工劳动，实现运动目标跟踪、运动目标分类、运动目标行为分析。

（4）流媒体技术，将音视频文件经过压缩处理,存储在网络服务器上,通过网络采用流式传输技术分段传送，客户端将起始几秒的数据先下载到本地的缓冲区中，即开始播放，后面收到的数据会不断输入到缓冲区,实现即时收看。优点在于用户不需要花费很长时间将多媒体数据全部下载至本地后才能播放。

人工智能、深度学习等技术持续引入至智能摄像头，可实现自定义区域侦测、人形跟踪、声音跟踪等功能，但目前智能摄像头具备AI 能力占比低。随着人工智能与传统监控系统的加速融合，传统的摄像头正被赋予新的功能与任务。

4 摄像头前端智能化挑战

（1）环境约束性强，极端环境下成像质量恶化。智能摄像头应用场景越来越多时，会遇到强光、反射光、玻璃，或者室内照门口的情况，出现易反光、发白的情况影响监控画面效果，除了调整摄像头角度外，普通智能摄像大多不具备这种处理复杂光线的能力。

（2）数据利用率低。随着安防行业走向高清化与智能化的时代，视频数据呈指数性增长。采集视图数据无法充分解析，复杂场景无法有效识别，可用性不足。利用结构化、聚类、大数据挖掘、深度学习等先进技术对超大规模视频图片资源进行综合数据治理，实现从海量视频数据中汇聚归档，简历标准化的数据管理体系。

（3）场景碎片化，应用场景长尾化。用户需求个性化，安防市场呈现出“长尾特征”，由于产品种类型号多、需求零散等，智能摄像头市场碎片化的形态存在已久。智能化时代到来后，安防行业内涌现出很多AI 感知智能需求的机会，此前未被满足的客户需求有了实现的可能，市场空间进一步打开，但碎片化这一特征仍然存在，导致安防企业在市场竞争中很难集中发力。

5 智能摄像头白盒化技术方案

“白盒化”的概念最早在服务器、交换机等IT 领域出现。为了更好地应对日益增长的新业务需求，智能摄像头需要一个更加灵活、更加开放、更加智能的解决方案。通过白盒化技术方案实现软硬分离。可以带来的灵活度提高是未来网络架构的发展趋势，随着通用硬件的进一步发展，白盒化设备的成本和功耗可能进一步降低。如图3 所示，智能摄像头白盒化方案汇聚AI 算法及增强网管功能，AI 算法转换及打包发布，设备及应用健康与安全监控。采用标准化硬件接口，统一系统及IPC 接口，支持不同型号终端，支持不同芯片平台。

图3 智能摄像头白盒技术方案系统架构

通过AI 算法商城打造开放的合作产业链，丰富AI应用，形成可持续运营的产品体系。具体方式包括：第一是开放商城与架构，实现算法公司和第三方开发者外部算法的移植，通过许可（license）或业务分成方式运营；第二是算法转换与移植，支持采用本地环境和训练数据实现模型AI 框架；第三是实机/虚拟机调试，实机加载算法进行实际环境测试和调整参数与虚拟机调试，通过云平台模拟摄像头算力，导入训练集测试和调整参数；第四是打包发布人脸识别、人形检测、宠物检测等算法到算法商城；按设备需求加载家庭室内、门铃猫眼、平安农村等应用场景。

运营方、算法公司、第三方开发者可通过在算法商城发布算法，实现商城利润分成，具体的发布流程如图4所示。

图4 AI 算法商城架构

6 智能摄像头发展趋势

6.1 软件定义摄像机带给行业新颠覆

相较于传统摄像机因软硬件绑定而产生的应用局限性，采用智能算法与硬件底座分离的设计理念，在硬件底座算力充足的情况，通过对摄像机前端算法的不断在线迭代实现一次硬件投资、全生命周期内算法可持续。从架构上，“灵活、开放、敏于管理”的摄像机是软件定义摄像机架构是一个软件系统的骨架，要改变的就是传统的一体化架构，打造一个灵活的、开放的、便于管理的软件体系。

6.2 芯片、产品功能AI 化

传统的智能监控设备通常是在硬件上增加一颗CPU芯片-DSP、ARM 或者FPGA，负责完成摄像机内部智能分析算法的运算，能满足当前的需求，但却限制了后期摄像机的升级空间。随着城市场景日益复杂，对于人、车、物的分析深度和广度要求也越来越高，提升单算法的精度，以及多细分场景下的智能算法并行已经提上日程，算力瓶颈问题开始突显。专业的AI 芯片算力高，最大功耗低，拥有极致性能低功耗，是最为理想的前端智能芯片。智能摄像头逐渐步入智能阶段，将持续引入人工智能如：自定义区域侦测、人形跟踪、声音跟踪等。开放的OS，全景感知，开放架构，多维感知。