鸿蒙音视频监测系统在广告传媒中的应用

郑世宝，杨健雄

（1.北京鸿蒙网科技有限公司，北京 100036；2.中国信息产业商会广电协作委，北京 100866）

1 引言

中国正在进行的治理现代化和深化行业改革，特别是广播电视行业正在全面实施智慧广电战略，加快推进媒体深度融合，结合实际与市场监管部门一起对市场秩序、市场环境进行综合监管，为广播电视及融媒体市场监管提供一个明确的技术框架，建立综合监管与行业领域专业监测、社会协同监督，形成优势互补、相互促进的广电行业市场监管格局。今后的市场监管工作应当坚持以技术为引领，以设施和数据为基础，在完善监管体系和机制中提升智慧监管效率。智慧监管不仅是监管技术、监管手段的创新，更是监管理念的创新。在市场治理参与主体日趋多元化的当下，应进一步降低市场主体的制度性交易成本，加强信息共享、数据互通，促进政府部门、行业组织、市场主体以及消费者的协同共治。

鸿蒙音视频监测系统采用鸿蒙首个云平台系列核心技术，包含无限分层信息遗传集群专利技术，北斗卫星和IP双定位校正专利技术，智能云终端中央控制万物互联专利技术，云服务器专利技术。可运用到普通网络音视频、电视、电台、户外LED大小屏等广告播放监管场景，提供高效监测，实现减轻工作人员原有的劳动强度，提高工作效率，节省劳动力的成本，大幅提升监测任务的完成质量。

2 系统架构设计

系统整体采用鸿蒙云系统（Hong Meng Cloud System，HMCS）作平台支撑，按照中国行政区划为节点进行本地化部署，构建了云平台集群体系。采用云计算、大数据、区块链以及人工智能等新兴技术［1-4］，与本地市场监管及治理模式紧密结合，建立了一套从中央到省到市到区县局的完整、统一、规范的大市场监管平台，集成多系统间既相互独立，又相互关联。遵循“分级负责，属地监测，上下协同”的总原则，保障市场监管部门工作有序开展，完成区域大数据自动收集、智能分析寻找线索并提交报告工作，推动国务院“智慧监管”政策的落实。

系统针对平台的网络环境运用分层遗传专利技术架构实现信息资源共享的同时，必须进行信息资源的有效保护和安全隔离，针对不同的应用需求，采取不同强度的安全保密方式，包括数据加密存储/传输、身份认证和存取控制，实现负载均衡，结合国家等级保护的建设规范和技术要求，形成多系统复杂环境的等级保护建设方法。通过本地部署实施对平台各类信息系统进行全方位的安全防护，有效降低平台运行当中存在的安全风险。

为确保系统的建设成功与可持续发展，在系统的建设与技术方案设计时遵循如下原则：

（1）中国特色原则。尤其是音视频应用系统采集、数据模型、数据存储以及系统扩展规划等内容，均从国情出发对广告和传媒特点进行深入研究。

（2）标准化原则。在设计过程中充分依照国际上的规范、标准，保证系统具有先进性，部署符合国际发展趋势的技术、软件产品和设备。

（3）高可靠安全性。系统架构设计和应用设计中充分考虑系统的安全和可靠，排除非可用因素，采用目前最高的安全标准和多重防护措施。

（4）实用可扩展。保护已有资源，急用先行，在满足应用需求的前提下，尽量降低建设成本。信息系统设计要考虑到业务未来发展的需要，尽可能设计的兼容性好，降低各功能模块耦合度，能够支持对多种格式数据的存储。

系统提供了基于云平台的虚拟集群构建，实现了灵活构建高性能计算集群，并根据用户作业需求，提供弹性的计算资源以提高物理机器的利用率。HMCS 虚拟集群各个服务之间通过统一的API 调用，实现系统的松耦合。它内部组件的工作过程是一个有序的整体，诸如计算资源分配、控制调度、网络通信等都通过 AMQP（Advanced Message Queuing Proto‐col）来实现。各个组件之间通过AMQP 进行互相调用，它们共同利用底层的虚拟资源为上层用户和程序提供云计算服务。采用数据多副本技术、虚拟机备份技术、应用数据备份、网络行为管理等多项技术保障数据可靠。

系统采用 HMCS 的 HMFS（Hong Meng File Sys‐tem）分布式存储，区域编码寻址，整体无状态、系统无单点，无性能瓶颈，支持灵活弹性扩容。根据不同的业务需求及数据特点，HMFS 提供了对象存储、文件存储、块存储。可用于企业网盘、影像数据、互联网应用、数据备份等各种非结构化数据存储场景，为“智慧监管”海量非结构化数据提供了数据存储。HMCS 可支持建立时序数据库，支持时序数据的快速写入、持久化、多维度的聚合查询等基本功能。提供HMAI（Hong Meng Artificial Intelligence）大数据分析，机器深度学习，实现预测和预警，可生成多维度报表，揭示其趋势性、规律性、异常性。

鸿蒙音视频监测系统主要包括：基础设施层、应用支撑层、智网应用层、用户服务层和系统运维管理平台，如图1所示。

图1 智网监测系统架构

基础设施层：主要包括基础网络、云主机系统、服务器集群、数据库、环境监测、网络交换设备、安全防护设备等；

应用支撑层：主要包括网站建设服务、平台资源服务、平台计算服务、鸿蒙AI、HMCS-IOT等；

智网应用层：主要包括音视频广告监测、网络交易监测、食品药品监测、特种设备监测、环境部署采集、部门协同办公、公共服务等；

用户服务层：主要包括云终端、智能控制、感知设备、手机、电脑、摄像机、监控等。

鸿蒙音视频监测系统包括电视广告监测、电台广告监测、互联网音视频监测、互联网文本监测、LED音视频监测等，涵盖了目前广告传媒行业的所有音视频主体和新业态。鸿蒙音视频监测系统运行界面如图2所示。

图2 鸿蒙音视频监测系统主界面图

系统根据全国基层局监测需求，支持本地化部署数据中心和服务器，以及实施数据挖掘平台客户端本地区业务数据和第三方数据的全端采集和建模，是一套包括智能数据采集、业务应用、数据接入、分布式存储、数据离线计算、数据实时计算、精准分析、集群资源调度、集群任务调度、全局管控管理为核心的系统监管体系。HMCS 支持分布式监控，能监视各种参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位，解决存在的各种问题。

HMCS 虚拟化技术可有效解决传统数据中心的资源浪费、管理困难等问题，通过建立虚拟机共享物理设备资源，利用有限的物理资源运行多个独立操作系统实现不同功能及任务的分配。虚拟机在多台物理主机之间的迁移可以达到负载均衡、热点解除等目标。但是在实际应用中，在创建虚拟机时分配固定的资源，运行过程中无法根据负载需求进行动态调控，会造成资源不足的现象；并且随着集群规模的增大，人工管理的效率大大降低。因此，建立集群的实时监控系统，自动监测各节点和虚拟机的运行状态，根据实际需求进行合理的资源分配管理，保证数据中心运行时的服务质量，节约人力资源。

3 常规监测和定向监测

系统通过市场主体库和标准库可自动采集数据，使用数据挖掘技术工具对监测的PC 网站、APP、微博、公众号、小程序进行定向监测；通过信号源针对网络电视、音视频网站、直播电视及传统广播电视、报刊杂志、DM、LED 户外广告等监测目标进行常规监测。通过采集各种内容及行为数据，可以充分利用数字化关联分析、数字建模及人工智能等技术，对海量数据进行模块化分析和政策模拟训练，为政策规划和决策提供更加精确的依据，为政策实施提供更为全面、可靠的实时跟踪，为政策效果的评估提供更加科学全面的方法。

系统通过国家相关政府部门授权，对网络数据实行有效采集。具体包括：

（1）接入或导入市场主体数据库

国家市场监管总局授权获取全国市场主体信息，能够对全国市场主体数据进行合法合规采集。

（2）接入或分析市场主体信用

国家发改委国家信息中心全国市场主体“双公示”数据，支持定期更新。

（3）网站ICP备案信息

工信部授权获取全国网站ICP备案数据，内容包括网站名称、网站链接、经营主体信息等关键信息。

（4）挖掘市场主体数据

按照《征信业管理条例》，可以合法地采集并保存企业主体相关数据，保证企业主体数据的合规性、持续性。

（5）接入第三方服务

通过知名互联网公司渠道合法合规分析用户上网行为，得到互联网电商网站的主体及商品等相关数据，保证数据的有效性和时效性。

数据质量管理包含对数据的绝对质量管理、过程质量管理。绝对质量即数据的真实性、完备性、自治性，是数据本身应具有的属性。过程质量即使用质量、存储质量和传输质量。数据的使用质量是指数据被正确的使用，再正确的数据，如果被错误的使用，就不可能得出正确的结论。数据的存贮质量指数据被安全的存贮在适当的介质上。所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。数据的传输质量是指数据在传输过程中的效率和正确性：在转换、分析、存储、传输、应用流程中不存在错误；数据库应用或要求的所有记录、字段都存在；体现在整个数据库的定义和维护方面，确保数据在使用的整个过程中是一致的；提供数据的数据源必须能够可靠稳定地提供数据。

4 “在线监测”大数据分析和安全管理

系统运用“在线监测”方式可实现实时动态监测，具体包括文本监测、图片监测、网址监测、音视频监测和特殊专项行动监测，实现智能识别监测图片和音视频，同时进行智能审核并自动生成涉嫌违法违规广告线索，判定生成报告，进行上报派发。

系统执行各项监管指令，通过协同处理，运用定向监测和常规监测将数据进行采集、识别、分析、汇总，从而形成本地监测系统扫描数据库。对采集数据进行清洗和转换，实现对各类数据信息自动识别、去重。对所采集的线索进行取证，记录包含发布网站、市场主体、网站ICP备案信息和IP地址等信息页面的证据链，对广播电视和融媒体实现同一个用户不同来源数据的打通，这些数据来源包括iOS、Android、Web、H5、小程序、业务数据、历史数据、第三方平台数据和线下数据等，实现针对客户的全端数据采集。同时，为了解决跨平台贯通一个用户的问题，监测系统也提供对企业用户的介绍、所作所为、产品质量、广告内容和销售行为等信息进行多维度精准画像［5］的解决方案。实现大数据线性回归、神经网络、支持向量机、聚类、降维等智能计算分析常态化，如图3所示。

图3 音视频监测原理框图

在业务处理过程中，涉及到多方协作、案件移转等协同业务。基于此种情况，保障系统的数据安全性就显得尤为重要。平台具备权限认证与隔离机制，支持读写鉴权，充分保障用户数据的私密性，杜绝数据泄漏。结合数据特征，提供数据分类分级模板，支持细粒度的数据划分。结合实际需求，灵活提供细粒度访问控制、数据加密、解密和数据脱敏方案。对平台中的数据进行加密和数据加密级别管理，所有数据加密存储、加密传输，实现数据加密级别管理体系，根据不同密级的数据选择不同强度的加密算法、数据多层加密。基于分布式数据复制、校验等技术实现数据的完整性、可用性，通过网关敏感信息监测、终端敏感信息监测、终端数据加密实现数据的安全可控和防泄漏。将动态脱敏系统部署在数据的共享、交换、应用、运维区，与数据库之间；形成自动化的敏感数据匿名化边界，防止隐私数据在未脱敏的情况下从数据区域流出。提供基于数据库访问来源IP、数据库应用系统、应用系统账户、时间等因素的策略，对需要共享的敏感数据，可根据数据的敏感级别和应用的需要，配置动态脱敏策略，从而实现外部应用能够安全可控地使用共享的敏感数据，防敏感数据泄露。根据不同的数据特征，使用动态脱敏算法，并支持自定义脱敏算法。

静态脱敏直接通过屏蔽、变形、替换、随机、格式保留加密和强加密算法等多种脱敏算法，针对不同数据类型进行数据掩码扰乱。利用数据的静态脱敏技术，有效地防止平台内部对隐私数据的滥用。同时也保持监管合规，满足政府及企业的合规性要求。

动态感知和预测业务安全风险，实时监控应用系统的访问情况、数据流向和数据处理过程；对敏感数据的访问行为和敏感业务进行机器学习，对用户行为进行分析，感知和预测业务安全风险。将大数据技术用于安全，通过大数据建模进行攻击的预测、安全态势分析，安全威胁的监控和提前消除，建立APT 防护。

一个高效的数据传输系统必须保证数据在传输过程中的安全性和可靠性，包括信息的保密性、完整性，同时在实现数据传输中占用更少的资源。所以数据加密传输的方案中应包括对发送端数据的有效加密、密钥的分配、传输数据的压缩。主要从信息的压缩、保密性等几个方面来考虑数据加密传输系统中的加密方案。从哈夫曼编码压缩的过程可以看出，经过该方法压缩的数据必须使用压缩形成的哈夫曼编码树才能解压缩。对于不同的源文件，由于文件内容的不同，形成的哈夫曼编码树不同。数据传输的过程中需要同时传输压缩数据包和相应的哈夫曼编码树结构。相对于压缩数据包，哈夫曼编码树的节点数大大小于数据文件的数据量，如果只对哈夫曼编码树进行加密，加密和解密需要处理的数据量将大大减少，对于不对称加密算法无法处理大量数据的限制也可被克服。在数据传输中需要传输的数据量比压缩之前需要传输的数据量大大降低，可以节省大量的网络资源。在大规模的数据安全传输中，可以提高数据传输的效率和安全性。在信息的保密性方面选择RSA 作为哈夫曼编码加密传输系统中传输信息的加密算法，采用公钥加密来发送哈夫曼编码。

从数据存储上，数据存储在政府客户自己的机器上，从查询接口上，可以只对内网提供查询服务，并且有登录权限认证；从数据传输上，如果选择后端传输数据，则是内网到内网的传输，如果是前端埋点，支持https 上报数据然后再内网转发；从数据存储上，提供的是单租户的部署方案，不同客户之间数据是完全物理隔离的；从查询接口上，不同客户有不同的权限账号体系，也有不同的查询token；从数据传输上，不同客户使用不同数据上报token，并支持https上报数据。监管服务全部采用分级授权机制。

5 鸿蒙AI开放平台

为实现对广告市场违法违规行为的监测与监管，监测平台需要集成各类专项监管相关的人工智能识别模型，并通过平台的统一支撑，对归集的数据进行建模与分析。鸿蒙AI人工智能开放平台以云平台和人工智能为基础支撑，对外提供各类服务，主要应用于语音识别、人脸核验、面向领域的知识图谱等。鸿蒙AI开放平台架构如图4所示。

图4 鸿蒙AI开放平台架构图（部分）

5.1 语音识别

语音识别由声学识别模型和语言理解模型两部分组成，分别对应语音到音节和音节到字的计算。

（1）声学模型训练

声学模型可以理解为是对声音的建模，能够把语音输入转换成声学表示的输出，准确的说，是给出语音属于某个声学符号的概率。根据训练语音库的特征参数训练出声学模型参数。在识别时可以将待识别的语音的特征参数与声学模型进行匹配，得到识别结果。目前鸿蒙采用隐马尔可夫模型（HMM--Hidden Markov Model）进行声学模型建模。

（2）语言模型训练

语言模型是用来计算一个句子出现概率的模型，它主要用于决定哪个词序列的可能性更大，或者在出现了几个词的时候预测下一个即将出现的词语。语言建模能够有效的结合汉语语法和语义的知识，描述词之间的内在关系，从而提高识别率，减少搜索范围。对训练文本数据库进行语法、语义分析，经过基于统计模型训练得到语言模型。

（3）语音解码和搜索算法

解码是指语音的识别过程。针对输入的语音信号，根据己经训练好的HMM声学模型、语言模型及字典建立一个识别网络，根据搜索算法在该网络中寻找最佳的一条路径，这个路径就是能够以最大概率输出该语音信号的词串。所以，解码操作即指搜索算法，即在解码端通过搜索技术寻找最优词串的方法。

连续语音识别中的搜索，就是寻找一个词模型序列以描述输入语音信号，从而得到词解码序列。搜索所依据的是对公式中的声学模型打分和语言模型打分。在实际使用中，往往要依据经验给语言模型加上一个高权重，并设置一个长词惩罚分数。

5.2 人脸核验

人脸识别算法通过深度学习，利用卷积神经网络对海量人脸图片进行学习，借助输入图像，提取出区分不同人脸的特征向量，以替代人工设计的特征。每张人脸在算法中都有一组对应的特征值，这也是进行人脸比对的依据。当人脸比对的相似度值大于阈值时，则比对通过，人脸识别的过程中有四个关键的步骤：

（1）人脸检测

人脸检测的目的是寻找图片中人脸的位置。当发现有人脸出现在图片中时，不管这个脸是谁，都会标记出人脸的坐标信息，或者将人脸切割出来。可以使用方向梯度直方图（HOG--Histogram of Oriented Gradient）来检测人脸位置。

（2）人脸对齐

人脸对齐是将不同角度的人脸图像对齐成同一种标准的形状。先定位人脸上的特征点，然后通过几何变换（仿射、旋转、缩放），使各个特征点对齐（将眼睛、嘴等部位移到相同位置）。

（3）人脸编码

人脸图像的像素值会被转换成紧凑且可判别的特征向量，这也被称为模板。理想情况下，同一个主体的所有人脸都应该映射到相似的特征向量。

（4）人脸匹配

在人脸匹配构建模块中，两个模板会进行比较，从而得到一个相似度分数，该分数给出了两者属于同一个主体的可能性。

5.3 面向监管领域的知识图谱

通过构建面向监管领域的知识图谱，可以为人工智能模型的预测提供判别依据。一方面，模型在对数据进行预测时，可利用知识图谱丰富其数据特征，使得模型的输入能够含有更丰富的领域相关“特征信息”，增加模型预测的准确率。另一方面，在模型预测得到预测标签后，利用监管领域知识图谱对标签进行解读，并通过知识关联，得到更便于人直观理解的判别依据。

基于远程监督和无监督生成等弱监督学习方法，利用已有的知识关系以及少量的人工介入，平台自动发现更多知识和模式，人工快速介入审核后，进一步迭代发现更多模式和知识，直至准确率达到一定程度，最终平台可高精度地完成支持分词、命名实体、关系抽取、分类、描述抽取等一系列自然语言处理工作，快速搭建知识图谱。平台支持多领域的知识学习，少量人工干预就可以获取更多可用的领域知识表示。

随着违法行为的不断发展和市场监管机构的改革，基于电商、广告、合同等多领域的违法识别模型需要进行更新融合。基于网络市场多个专项违法判别体系，以及人工智能分析系统所包含的基础分析模型，形成模块化的违法分类体系，同时把训练语料和测试语料进行融合管理，针对新的违法类型，在平台新增类型和相关语料，进行二次训练来更新模型。

6 系统区块链存证司法服务

“互联网+司法鉴定”区块链应用提供电子数据取证、存证及出证服务，有效解决目前电子数据保全过程中遇到的取证手段有限，证据效力不高，以及传统出证不够便捷等问题。依据“公证规范监督，鉴定专家鉴证，存证科技护航”理念，实现电子证据采集、固定、应用闭环，形成“公证+鉴定”电子证据综合服务。区块链取证、存证、固证流程如图5所示。

图5 区块链取证、存证、固证流程

音视频监测和其他监测方式有一定的关联度，作为独立的系统具有特殊性。广告传媒音视频取证的过程不能采用传统方法，因为落后的手段很难让监管人员实现智慧监管，需要具备在线证据存证。监测管理具备监测结果查看和监测结果处理—取证、存证、固证、HMAI 审核和市场管理人员审核的功能及报告处理，对广告内容合法或涉嫌违法违规进行筛选甄别；一键生成监测报告并上报。图6 给出了区块链取证固证存证操作界面。

图6 区块链取证固证存证操作界面（包含示例违规词“燃料”）

系统基于HMCS 系统多节点分布式的内容扫描库，利用文本模型（如特供专供、医疗保健、教育培训、意识形态、低俗色情等）、图像模型（意识形态、化妆品、失德艺人、虚假宣传等）和用户自定义模型，实现文字、图片、网址的线索查找，然后通过机器画框和人工画框技术实现线索标注，再通过本地区块链和全国司法链协议，实现文本、图片、网页等内容的存证和固证。系统根据相关部门提供的词条、法条和相关规章制度，将全网24 小时不间断扫描来的数据，进行反复处理，自动筛选出本地主体的目标线索，由本地监管部门相关干部进行预审。

电子取证固证系统通过保全电子数据生成和存储过程，将原始通话录音、网页截屏、电子邮件、网上聊天记录等网络数据实时加密传至云端，接入司法链成为具备法律效力的证据。同时，通过线索的违法判定处理、审查、派发、督办及违法信息的统计查询等相关监管业务功能为用户提供高效的监测服务。线索识别准确率85%以上；存证固证时间50 ms以内；存证固证文件参数MD5 值、HASH 值、文件时间戳等清楚记载，提升电子证据取证便捷度、存证技术专业度以及司法采信率。

7 专项行动中的移动执法

系统通过智网移动端，实现指挥中心与现场执法人员连线，远程指挥现场执法人员开展工作，采集执法中的证据，为一线人员提供支撑服务。系统为本地局构建指挥中心，指挥中心架构了云端结合，普通手机客户端可以随时随地充当执法工具，并入监测系统，在日常工作中适应巡查打卡、线索上报、云上办公等。实现纵向和横向可控的多级联动，并提供移动端和中心控制台之间即时指挥，满足移动执法的需要。图7 给出了移动执法原理框图，图8 所示为指挥中心远程指挥现场执法人员开展执法工作。

图7 移动执法原理框图

图8 指挥中心远程指挥现场执法人员开展执法工作

基于HMCS系统的音视频直播技术实现的指挥中心场景，可实现实时-现场执法-大屏指挥的音视频联动。

8 结束语

本系统按照中国行政区划，以市（区/县）为节点进行分布式部署，为每个行政区域建立独立自主的广播电视及融媒体等新业态监管系统。系统将广告公司、媒体、广告主等相关的业务深度集成，运用大数据技术激活数据资源池的涉企信息，线上线下相结合，全方位、全天候监管媒体的信息发布，提升监管效率，把监管人员从浩瀚的互联网信息寻证工作中解放出来。

本系统将创新平台技术与本地监管及治理模式紧密结合，实现权力运行全程规范化、数字化，处处留痕迹，变人力监督为数据监督、变事后监督为过程监督、变个体监督为整体监督，推进“智慧监管”和“信用监管”的制度措施进一步落实。大数据化的监测系统拥有巨大的应用潜力，在宣传、广告、舆情监测、特种设备、人文环境等领域开展动态监测、安全预警，可为宏观经济领域转变发展方式的决策规划提供数据支持。