智能视频技术应用研究

朱华新，魏 强，徐昊帆，金 振

（中国移动通信集团浙江有限公司 浙江 杭州 310016）

0 引言

目前视频监控一直在家庭、企业和公共场所发挥监测和事后回看审查的重要作用。但传统的视频监控后期工作量十分庞大且需要人力手动处理，由人工进行视频监测发现安全隐患或异常状态，或者用于事后分析，这种应用具有其固有的缺点，难以实现实时的安全监控和检测管理[1]。

本文通过介绍浙江移动智能视频系统，通过安装视频监控设备，同时叠加先进的智能AI技术，助推千行百业智慧化转型，加速AI普惠化进程。截至目前，浙江移动智能视频产品已经在食品安全、数字乡村、智慧工地等场景得到广泛的应用，帮助用户建立集感知、认知、预知于一体的应用体系，同时建立算法仓，携手广泛的生态合作伙伴，完整交付涵盖云端、边端、终端的AI视觉产品和解决方案。

1 智能视频技术的概念

智能视频技术是使用计算机图像视觉分析技术，通过将场景中背景和目标分离，进而分析并追踪在摄像机场景内出现的目标和行为。用户可以根据视频内容分析功能，通过在不同摄像机的场景中预设不同的报警规则，一旦目标在场景中出现了违反预定义规则的行为，系统会自动发出报警，监控工作站自动弹出报警信息并发出警示音,用户可以通过查看、回看报警信息，实现报警的场景重组并采取相关措施[2]。

2 智能视频技术应用的意义

带有智能分析功能的监控系统可以通过区分监控对象的外形、动作等特征，做到主动收集、分析数据，并根据预设条件执行报警、记录、分析等动作，让监控摄像机变得更“聪明”，进而减少处理海量视频所需的人力物力，使得打击违法犯罪行为、安防监管等更有效率[3]。

智能视频系统要解决的问题有两个：一个是将安防操作人员从繁杂而枯燥的“盯屏幕”任务解脱出来，由机器来完成这部分工作；另一个是事后追溯时在海量的视频数据中快速找到想要的事件记录。基于上述两点，智能视频分析系统将在未来成为视频监控系统的标配。

3 智能视频的具体应用——浙江移动智能视频系统为例

3.1 智能视频应用场景

食品安全：通过打造“阳光厨房”，实时监控厨房的每个角落和操作过程，使就餐者能够对食品卫生更加放心，从而吸引更多消费者。智能视频典型应用场景主要有：（1）未戴口罩检测；（2）未戴厨师帽检测；（3）动物活体监测；（4）未穿厨师服检测；（5）地面垃圾未清理；（6）人脸识别；（7）地面垃圾未清理等。

应急消防：火灾的发生是现实生活中常见、突出、危害的一种灾难，是直接关系到人民生命安全、财产安全的大问题。针对应急消防领域，智能视频同样也起到了重要作用，其典型应用场景如下：（1）消控室人员在离岗测试；（2）消防通道被占用监测；（3）电瓶车违规停放监测；（4）烟雾监测；（5）火焰识别等。

数字乡村： 数字乡村是伴随网络化、信息化和数字化在农业农村经济社会发展中的应用，是乡村振兴的战略方向，也是建设数字中国的重要内容。智能视频在数字乡村中典型应用如下：（1）防疫期间人员聚集监测；（2）车辆车牌识别及监测；（3）区域入侵监测；（4）消防占道监测；（5）水体漂浮物监测；(6）私拉横幅监测等。

智慧工地：随着我国新型城镇化的大规模推进，建筑行业施工中的安全问题日益突出，一线施工现场存在很多高危场景和安全隐患，对统一管理造成了极大的困难。智能视频在工地管理中发挥了极大的作用，有效地减少了安全隐患的发生，典型应用场景如下：（1）施工车辆监测；（2）基坑堆放监测；（3）吸烟监测；（4）烟火监测；（5）吊车在岗人员监测；（6）反光衣监测；（7）安全帽穿戴监测；（8）施工区域玩手机监测等。

3.2 浙江移动智能视频解决方案

3.2.1 智能视频系统架构

浙江移动智能视频系统融合了视频、人工智能、云计算等技术，通过对视频和AI算法的智能管理，采用感知层、接入层、能力层、管理层和应用层五级架构（如图1），支持视频采集接入、存储转发、AI推理、运营管理、算法管理等功能，提供标准化SaaS应用和场景化SaaS应用，将平台的视频能力延伸到终端，满足智能化业务需求。

采集层：通过各种类型的摄像机完成基础视频的快速采集。

接入层：实现专线、宽带、4G、5G等多种方式的视频接入。

能力层：支持存储、转发、实况等视频基础能力，口罩检测、车辆识别、人脸识别、烟火检测等视频AI能力，视频开通、视频转码等运营管理能力，告警管理、质量诊断等运维管理能力，以及算法封装、编排、调度等算法管理能力，并通过统一接口对外开放能力。

应用层：集成视频能力和AI能力，提供标准化SaaS应用和场景化SaaS应用以及客户第三方应用。

3.2.2 智能视频算法仓实现

算法仓是智能视频的核心功能，也是本系统和传统视频平台的区别，其提供了智能视频中的“智能”能力。本系统通过算法仓的智能能力，赋能前端摄像头，满足行业应用低成本、灵活部署、边端轻量化定制等应用需求。

（1）算法仓的功能

算法仓（如图2）主要功能为实现对不同厂家、不同类别的算法进行统一管理、统一训练、评测和自服务。

统一封装管理：通过标准化API接口，统一管理多厂家、多类型的算法，统一支撑上层应用，通过API和SDK的形式与算法能力进行对接，满足不同业务场景下的算法灵活选择；对处理后的数据按照不同的类型进行差异化存储，同时，由于不同厂商算法产生的数据可能不兼容，通过数据的统一封装处理，屏蔽对上层应用产生的影响。

统一接入管理：平台定义标准协议，算法按照平台定义的算法接入协议进行接入。

统一开通：对算法的生命周期提供统一管理，根据业务需要动态启停算法。

统一开放：提供标准化检测结果开放接口，对接各行业应用场景，支撑行业应用极速上线。

统一模型管理：支持对算法分析结果建立数据模型，以支持可扩展的算法接入支持对算法数据模型进行管理，能够将算法识别结果按照模型动态解析成数据结构。

算法评测：基于实际运行质量与用户感知，在线测评AI算法各项性能，对算法解析成功率、算法比对成功率、资源使用统计、图片质量统计等算法KPI可视化呈现，可持续性优化系统实战效果。

算法自服务：支持用户通过可视化界面自助选择算法及应用，满足用户个性化场景需求（如图3）。

（2）智能策略调度模块，实现算力资源最大化利用

算法仓中的智能调度模块，通过用户使用场景、工作时间等维度对算法和计算资源进行智能调度，使视频检测任务在算法和算力执行上达到最佳组合[4]，运用有限的资源，更高效地完成智能分析任务（如图4）。

1）按使用场景调度：根据不同业务场景对检测频次、检测时延进行调度。比如烟火检测需要强算力和低延时，而横幅识别仅需一般算力，可接受较高时延。

2）按工作时间调度：根据任务的工作时间、动态调整识别算法。

3）按用户位置调度：根据用户的位置调度算法到不同的计算资源。例如，地市用户就近调度到地市附近的GPU服务器。

4）按用户等级调度：不同的用户等级，分配不同的计算资源。例如为金牌客户分配更多的算力，提供更高的识别精度。

5）按外部环境调度：根据外部环境的变化调度任务到相应的算法资源。例如，同一场景雾天和晴天分别调用不同的识别算法。

6）按资源利用率调度：优先把任务调度到资源占用率低的识别资源上。

（3）一站式算法训练模块，助力算法快速上线

算法仓的一站式训练模块提供面向行业个性化场景的模型定制服务（如图5），面向AI模型生产的全生命周期，提供包括数据处理、模型开发、模型训练和模型管理等功能，通过友好易用的操作界面，帮助用户轻松完成样本准备及标注、AI模型训练和AI模型发布[5]。

样本准备：利用智能视频的视频流，从中截取目标场景下复合模型训练要求的原始图片，对图片进行截取、大小调整等预处理后，通过标注工具对图片中的目标物体进行框选和标记。

模型训练：创建训练任务，将标注完成的图片导入训练任务，进行自动化模型训练。

模型发布：将训练完成的模型发布为云端算法模型，生成云端推理服务。

通多对海量后厨现场图片样本的标注，利用九天算力平台进行深度学习模型训练，研发核心技术可控的食品安全视觉AI模型，经实测口罩检出率98.3%，误检率0.1%，未戴厨师帽检测检出率99%，误检率0.3%，动物活体检测检出率97%，误差率0.5%，检测效果满足客户需求。

通过使用统一算法仓，面向食品安全、应急消防、数字乡村、智慧工地等AI应用场景，提供多厂家、多版本、多场景AI服务，有效解决因算法碎片化导致的管理复杂度高以及建设维护成本高等问题[6]。

3.3 智能视频技术应用效果

食品安全：浙江移动的智能视频面向食品安全监管的业务场景，数字化赋能全省6.7万多家外卖餐饮店铺、3 000多家酒店/公司食堂/学校食堂、2 000多家专业/农贸市场等，共计8.1万多路视频的智能化监控需求。和原传统视频靠人工盯屏幕值班相比，智能视频应用后，人力消耗减少到原来的20%，监控事件处理及时准确率提高了一倍，通过智能视频的智能识别，原来很多人工盯防无法发现的问题得以被发现。

应急消防：浙江移动智能视频面向应急消防场景，和地市消防局合作，接入小区/大楼消防相关摄像头3万余个。智能视频应用后，在采用了智能视频检测的小区和街道，消防隐患发现率比以前提升37%，火灾发生率比以前减少40%，取得了良好的社会经济效益。

智慧工地：浙江移动智能视频面向建设工地场景，通过反光衣检测、安全帽检测、烟火识别等AI能力，向温州、台州、金华等地住建局完成共计1 000多块工地、7 000多路视频监控提供安全生产数字化监管能力。其中在金华翡翠城项目中，据项目方统计，使用智能视频后安全隐患减少70%，安全事故发生率低于同类项目45%，效果反馈良好。

数字乡村：浙江移动智能视频面向数字乡村场景，通过重点人员识别、人员逗留、防溺水检测等AI能力，支撑全省完成8 000多个村委、3.4万路视频监控的数字化建设。使用智能监控后，节省监控人员4 000余名，治安案件提前预警率达到60%，大大提高了治安事件的快速处理能力。

总之，智能视频平台上线后整体市场反应良好。目前随着业务范围持续扩大，预计今年智能视频系统的数字化赋能范围可覆盖10万多路。

4 总结

本文介绍了浙江移动智能视频系统的视频AI技术以及该技术在多种场景中的应用，通过智能盯防代替人工盯防，有效解决基层防控力量不足、监管手段缺失、监管方式自动化不足、人员疲劳战等问题，为食品安全监管、应急消防、建筑工地安全生产、数字乡村建设等场景提供了智能化的预警和事后回溯能力，使监控智能化，事后追查转变为预防为主，有效解决普通视频监控自动化不足、人员疲劳战等问题。