基于人工智能与区块链技术融合的端到云智慧执法平台*

丁丽萍 杜漠 黄昭颖 肖炯恩

1. 广州软件应用技术研究院 2. 广东中科实数科技有限公司 3. 中国科学院软件研究所

引言

从全国来看，用于执法过程的执法系统（执法仪、采集站和管理系统）还存在着诸多问题，首先，执法仪一般只是一个录像设备，不能保证在执法现场录制的视频文件一定可以作为证据使用，更无法保证视频文件作为呈堂证据的可采用性（真实性、相关性、合法性），导致了执法视频多次受到公众和法庭的质疑，例如“雷洋案”“虐童案”等等；其次，不能保证执法仪的正确合法使用，导致关键证据丢失或者未能完整采集；第三，执法仪数据采集设备存在着效率低下、网络隔离违规等情况；第四，执法数据的管理智能化程度低，无法实现视频数据的智能分析和合理利用。这些问题直接影响到执法过程中采集的数据在法庭质证过程中能否真正成为可采信的证据。

为此，本文对基于人工智能与区块链技术融合的智慧端到云执法平台相关的技术进行了深入研究。在执法仪端，实现了一键开启执法记录，再按一次按键结束执法记录过程的同时，自动生成一个视频文件，同时把针对该视频文件自动生成的hash值、授时中心的可信时间、地理位置信息、执法设备信息、执法人员信息（指纹）五个要素存入一个二维码中，通过无线网络自动上传部署在区块链的存证云中，从源头上保证了证据的真实性、相关性、合法性。在采集站端，对其进行了加速处理并研究了便捷的内外网络隔离机制，实现了执法视频的快速采集和安全传输。在管理平台端，对基于视频大数据分析技术的执法数据管理平台的相关大数据分析研判技术进行了研究。本文分析相关技术研发工作，介绍系统组成、技术创新与突破。

一、技术研发背景

目前，人工智能（AI）技术已经成为各国竞相争夺的技术制高点。各个领域AI应用取得巨大进展，例如：感知、自然语言处理、形式逻辑、知识展示、机器人技术、控制理论、认知系统架构、搜索和优化技术以及其他更多方面。人工智能的应用面非常广泛，也早已深入到司法和执法领域。当前人工智能在执法中的应用主要有信息数据化、多位一体的诉讼服务体系、在线执法，包括人脸、声纹、指纹、虹膜、体态等在内的人体特征自动识别技术，以及实体裁判结果的预测与监督等。目前人工智能在司法领域的运用主要存在数据欠缺真实性和完整性、受人工智能的自身特性所局限等问题。但是，人工智能技术在执法领域的广泛应用是大势所趋。

从区块链技术看，2016 年 12 月，我国首次将“区块链”作为战略性前沿技术纳入《“十三五”国家信息化规划》。各地政府也相继出台了区块链相关政策文件，积极推进区块链产业发展。目前，我国区块链已初具产业规模，在数字金融、物联网、智能制造、供应链管理、数字资产交易等领域广泛应用。2019年10月，习近平在中央政治局第十八次集体学习时强调把区块链技术作为核心技术自主创新重要突破口加快推动区块链和产业创新发展，无疑对区块链技术的发展起到了巨大的加速作用。

基于执法设备存在的不足和技术、政策的双重推动，本文旨在基于人工智能和区块链技术解决公安执法过程中存在的主要问题，探讨充分利用人工智能的自动化、智能性和高效性以及区块链的防篡改等重要特征，将电子数据的文件MD5哈希值、经纬度（支持北斗/GPS双定位）、执法时间、执法人信息、设备信息等组成的五要素存证于区块链，当执法证据用于诉讼庭审被对方质疑时，可通过目标文件与链上证据进行校验得出是否篡改过，出具正式的校验报告证明执法证据是否被篡改，能很好地解决目前行业存在的痛点和难点；另外对采集工作站加以并行计算优化，切分N个子任务多进程通信归并处理，解决传输效率低下的问题；在执法数据处理平台，添加对大数据的处理和分析模块，处理结果按需求以图表可视化展示，实现串并案、综合分析和预警。

二、系统组成

本文所述的平台研究由基于人工智能与区块链技术融合的智慧端到云执法框架、5G可取证智能执法仪、高性能执法仪采集站、基于人工智能的端到云执法管理平台、区块链存证云五个方面构成，如图1所示。

（一）基于人工智能与区块链技术融合的智慧端到云执法框架

智慧端到云执法框架如图2所示。

传统的现场执法系统面临着以下挑战：

1. 执法过程难溯源

执法个别数据缺失，缺乏五要素固证，证据是否被篡改难以校验，未能全程监控执法过程。

2. 执法案件不协同

执法采集回来的数据，未能有效关联至相应的警情案件，数据调用难度大。

3. 执法数据不共享

目前由于各执法单位使用不统一的执法终端，采集数据未存储在统一的数据管理平台，导致数据信息不能互通，无法在第一时间共享使用。

为解决以上难题和痛点，本文提出基于人工智能与区块链技术融合的智慧端到云执法框架。该框架分为区块链存证平台、执法数据采集层、数据入网层、数据管理平台4个层级，结合标准规范体系和安全管理体系进行管理，如图2所示。在业务流程上，主要包括执法仪端、采集站、管理平台端、区块链云存证平台四大部分，如图3所示。执法人员使用执法仪完成现场执法记录后，即时自动通过无线网络将根据执法仪记录生成的证据要素上传至区块链云存证平台，在第一时间固定执法记录证据的同时，避免了由于传输执法记录源文件造成的时延和流量耗费。现场执法结束后，执法人员可回到单位通过采集工作站连接执法仪，通过采集工作站将执法仪中的源文件快速上传至执法证据管理平台归档，之后即可通过执法证据管理平台对执法记录进行管理、分析、串并案等。

该框架可以实现城市执法过程的法律智能监管和执法数据全生命周期的智能管理，真正实现智慧执法和证据的防篡改、执法主体合法化的证明等。同时也是国内首个提出的将人工智能技术与区块链技术融合的可取证智能现场执法系统解决方案，解决执法过程难溯源、执法案件不协同、执法数据未互通共享等难题，打通从一线执法至警综系统的数据通路，实现可取证智能现场执法。

（二）5G可取证智能执法仪

本文设计的5G可取证智能执法仪首次将基于VGG-16卷积神经网络的人脸识别技术、基于FBNAlexnet网络小样本声纹识别技术、5G适配技术和基于五要素存证固证技术融入执法仪中，改写执法仪仅仅作为摄影设备的历史，使之成为智能化可取证执法终端。

1. 高清视频采集技术

高清视频采集是执法仪研究的热点之一，并向着高性能、低功耗、小型化等方向发展，本文设计了基于Zynq-7000平台的高清视频采集处理系统，通过深入分析Zynq-7000平台基础特性，高清视频采集处理的整体框架，实现了高清CMOS图像采集、FPGA上图像预处理以及视频图像的缓存。

2. 基于VGG-16卷积神经网络的人脸识别技术

基于VGG-16卷积神经网络的人脸识别过程如图4所示，首先对人脸图片进行预处理操作，包括人脸检测、人脸对齐等，拟采用Aadaboost+Haar特征方法进行人脸检测，采用仿射变换进行人脸对齐矫正。然后，基于VGG-16的卷积神经网络进行人脸特征提取，主要是经过VGG-16网络的5个单元模块的特征提取、非线性映射及特征降维后，通过三个全连接层筛选特征，进一步降低特征维度，以提升人脸效率和准确率。最后，采用Softmax分类器进行人脸的判别，实现实时人证合一验证。

3. 基于FBN-Alexnet网络小样本声纹识别技术

声纹识别分为说话人辨认技术和说话人确认技术两种。不论是哪种技术，都要先对说话人的声纹进行采集、数化、建模。当全样本采集了社会公众的声纹集合后，在获取涉案音源声纹检材时，就可以与全样本声纹集合进行自动比对，瞬时锁定嫌疑人的真实身份。因声纹能够进行远程采样、识别，对侦办非接触型案件具有无可比拟的天然优势。

目前声纹识别面临以下挑战：（1）语音的时变性对声纹识别的影响，声音与人脸、指纹等生物特征相比，其稳定性相对较差，变声期、病变、外伤、录音条件不同、言语环境不同等因素都会使一个人的声音产生变化，使其稳定性减弱；（2）跨信道采集对声纹识别的影响，声音的来源渠道多种多样，例如录音笔、电话、VOIP、拾音器等等，不同的采集渠道也会采用不同的音频编解码模式，模数转换的过程或多或少会造成声音的损伤；（3）录音攻击、TTS等技术对声纹识别的影响。基于深度学习的声纹识别模型通过大量语音数据训练时，可自动学习丰富的声纹特征（频谱、基音、共振峰等），在一定程度上可克服以上挑战。

由于在实际工作中很难获得大量的声纹数据，本文提出一种深度模型下的小样本声纹识别技术，设计了一种基于凸透镜成像的图像增多算法进行声纹预处理。此外，在网络训练过程中，由于存在网络层数较多、网络参数巨大、训练耗时以及网络拟合问题，基于快速批量归一化（Fast Batch Normalization，FBN）方法在训练FBN-Alexnet网络时加速网络收敛。声纹识别过程如图5所示，首先，在使用音频训练或测试模型之前，由于语音信号具有短时不变性的特点，预先对一段话音信号进行分帧。然后，基于图像增多算法采用凸透镜成像原理，通过改变光谱图的大小获得更多的训练数据。接着，基于声纹数据训练FBN-Alexnet网络。最后基于训练的模型进行声纹识别。

4. 5G适配技术

随着人脸识别等AI的应用为执法仪带来了新的挑战，在进行智能分析处理时，需要消耗大量的计算资源和存储资源，而执法仪作为移动终端设备对能耗、计算和存储资源尤为敏感。5G时代最明显的三大性能将会是高速率、高连接密度以及低时延。因此，5G可取证智能执法仪也将会适应这类性能发展的要求。具体来讲，执法仪信息传输的速率将会大大提高，能够更便捷地为用户提供相应的信息，耗时也将缩短，这就为用户节省了大量的时间。另外，随着5G可取证智能执法仪的广泛应用，会促使网络连接密度呈现井喷式的扩充，并且端与端之间的传输要求能达到毫秒级，这些新性能的发展在5G时代都将会成为可能。

5G可取证智能执法仪支持巴龙5000基带，Balong 5000是目前业内集成度最高、性能最强的5G终端基带芯片。它不仅是世界上首款单芯片多模5G基带芯片，同时还支持2G、3G、4G、5G合一的单芯片解决方案，能耗更低、性能更强。在5G网络Sub-6GHz频段下，Balong 5000峰值下载速率可达4.6Gbps，mmWave（毫米波）频段峰值下载速率达6.5Gbps，是4G LTE可体验速率的10倍，如图6、图7所示。

5. 基于五要素的存证固证技术

针对传统的执法仪和软件工具缺少针对电子数据证据取证、固证、存证的有效手段，本文提出基于存证云的实时可取证技术，在完成拍照/录像时，通过4G/Wi-Fi传输，自动将电子证据五要素（拍照/录像的可信时间、照片/音视频文件转换成的Hash值、执法仪设备id、关联的警号信息、拍照/录像的经纬度信息）上传存证云。从源头上解决电子数据证据易被篡改、易于损毁和灭失难题，在出现诉讼时还可调取云服务端上的电子证据五要素与原文件进行检验对比，验证是否被篡改，保障电子数据证据的可采用性，确保执法过程中证据的完整性及规范性。

（三）高性能执法仪采集站

执法仪采集站将记录仪摄录的执法资料自动拷贝，并将资料信息自动上传至指定服务器，上传完毕后自动将记录仪中资料删除，对已拷贝执法资料做整理，并上传至后台执法资料管理系统，全过程中可对已接入执法记录仪进行充电。因现场执法电子证据中视频文件数量大，文件大，在采集过程中面临传输速度的挑战，且从互联网切入公安网面临着安全方面的挑战。为此，需要研究基于并行计算的执法视频快速采集和便捷内外网络隔离机制等技术。

1. 基于并行计算的执法视频快速采集技术

并行计算技术飞速发展，并行计算通过对计算任务的合理划分，使计算资源得到充分利用，从而高效地解决大型复杂的计算问题。通过解析流媒体服务系统的整体架构，包括视频流的获取、视频的编码以及视频服务器与客户端之间的传输协议，挖掘视频流的获取、视频的编码以及视频服务器与客户端之间的传输协议等算法中的并行性，通过多核并行技术、并行程序设计和采用并行编程模型来极大的提高并行性，从而提高采集站的处理性能。

2. 便捷的内外网络隔离机制

公安部建立了自己的信息化系统和计算机网络，随着互联网的发展，公安部网络与互联网之间的信息交互需求也越发强烈。但随着计算机病毒和黑客恶意攻击日益猖獗，对电子信息系统的安全构成了极大的威胁。目前，为防止信息泄露，不同密级的网络之间进行信息交换，大多采用物理隔离、离线拷贝的方式进行，大大降低了效率。如何保证低密级网络向高密级网络进行高效的数据传输，同时又能防止高密级网络的信息通过网络泄露到低密级网络，是目前信息安全领域的研究热点之一，采集站作为现场执法数据从外网进入公安网的一道关卡，更是需要网络隔离来保障公安网的安全性。本文提出内外分离的双系统架构确保网络之间是隔离的，交换的只是应用数据。同时综合运用访问控制、病毒防护、单向传输等安全防护技术手段来保障网络安全，实现一套网络单向隔离控制系统，以期在保证不同密级网络之间安全隔离的同时，实现高速、实时、安全、可靠的信息单向导入，如图8、图9所示。

（四）基于人工智能的端到云执法管理平台

现有的执法管理平台依然面临着诸多挑战，目前海量的电子证据整理归档、视频分析，警情案情关联全靠人工操作，费时费力，效率低下，急需AI赋能，提高智能化水平，实现自动化电子证据管理与分析。基于人工智能的端到云执法管理平台将人工智能的视频大数据智能识别技术用于视频快速人脸检索、视频自动分类以及视频比对等，把人工智能的视频大数据智能挖掘技术用于快速嫌疑目标定位、目标移动路径分析、目标行为挖掘等，将人工智能的视频大数据智能分析技术用于智能警情分析，案件的串并和预警等。平台以执法数据深度应用为核心，基于高性能、高可靠、高集成的设计开发理念，为用户提供视频、音频、图片等执法数据的统一接入和管理，也可同其他业务平台联网融合，实现各单位各部门执法数据互联互通，各类数据共融共享。同时采用云存证技术，有效防止执法数据遭篡改，真正做到执法全过程的信息管理和监督。

基于人工智能的端到云执法管理平台应用了以下关键技术：

1. 基于Hadoop构建视频大数据分析平台

视频数据对于情报勘查、安全防范等方面具有重要的作用，通过视频数据分析从数量繁多的信息中找到案件的线索，并通过各种技术对信息进行重组，使得作战工作能够更加科学有效地进行，在很大程度上提高了公安作战的效率。面向公安大数据中涌现的海量视频的分析一直是公安系统亟需解决的重要问题，尤其是对于一些重要案件的办案人员来说，检索与分析非常巨大的视频监控信息是一项极其繁重而又重要的工作。视频大数据是基于人工智能的智慧端到云执法管理平台电子证据的重要组成部分。智能视频分析通过视频分析算法对视频大数据进行分析，智能视频技术借助大数据的处理方法对视频大数据中的海量数据进行分析。通过提取视频数据中的关键图像信息，对其进行标记或者相关处理，公安人员基于人工智能的智慧端到云执法管理平台可快速检索出所需信息。

视频转码与预处理是一种计算密集型和数据密集型的工作，需要消耗大量的计算机资源，实现Hadoop集群视频转码应用可以显著提高视频处理效率。通过对视频大数据的管理和传递，共同完成任务处理。在此架构基础上进一步实现基于人工智能的视频大数据识别、挖掘与分析。

基于Hadoop的视频大数据分析平台主要分为Hadoop集群系统、视频流的解码以及图像处理三个层次，系统框架如图10所示。

以人脸检索为例，简述基于Hadoop的视频大数据分析平台工作过程：首先从公安视频大数据中抽取出海量视频并存储，提取所有检测到的人脸，并将解码后的图片上传至HDFS，人脸识别与人脸检测类似，根据已有照片训练得到一组特征集，并将这组特征集作为输入，当检测到人脸帧时，提取该帧的特征与特征集进行比对，筛选出符合条件的图片，并将图片上传至HDFS。从HDFS上读取视频数据，并利用MapReduce框架在集群中对视频数据进行分布式人脸识别处理，同时采用FFmpeg进行视频编解码，并通过OpenCV中的人脸检测算法模型对解码后的视频帧进行检测处理。

2. 基于人工智能的视频大数据智能识别技术

在目前视频图像侦查的应用中，由于视频图像信息的海量储存、编码格式不统一，造成深度应用困难，且由于缺乏统一的视频图像采集、标注以及数据规范，缺乏统一的涉案视频图像应用的支撑系统，也为侦查破案带来了诸多困难。本管理平台采用了基于人工智能的涉案视频大数据智能识别技术，如视频快速人脸检索、视频图片自动分类以及视频图片比对等。

3. 基于人工智能的视频大数据智能挖掘技术

针对摄像头、执法仪产生的海量视频信息，检索工作需要花费大量的人力、物力以及时间成本，分析发现传统检索的功能大多都基于文本关键词，对视频内容的覆盖率低且容易依赖于相关工作人员的主观性，本管理平台采用了基于深度学习的视频大数据挖掘技术，如快速嫌疑目标定位、目标移动路径分析、目标行为挖掘等等，实现精确打击。

4. 基于人工智能的视频大数据智能分析技术

在基于视频大数据智能识别和挖掘的基础上，针对各行业各专案场景建模，进行智能警情分析、警情串并和预警等，如图11～13所示。

在平台中实现的视频识别技术包括：

（1）人体识别

检测图像视频中的人体，返回人体的位置坐标，使用矩形框标记人体位置，定位头部、四肢、躯干、重要关节等核心关键点。识别人体的性别、服饰、帽子、口罩等。

（2）动作识别

检测图像视频中的动作，包含站立、坐下、躺下、散步、慢跑、跳跃、游泳、骑马、打篮球、踢足球、打网球等动作。

（3）行为识别

检测图像视频中的行为，包含吃饭、化妆、看电视、讲电话、驾驶、开会、做饭等行为。如图14所示。

（4）海量视频特征检索

平台实现并集成了海量视频特征快速检测与匹配算法。执法仪收集了海量的视频，在有限的追踪线索下去侦破案件的工作中，传统的方法只能靠人工去排查，因此，获取破案的关键线索需要花费大量的时间。平台实现了特征快速检测、匹配与检索算法，并通过时空索引技术，对特定线索的特征进行提取，利用 MapReduce技术实现了集群视频检索算法，有效提高了关键线索检索的效率，如图15所示。

（五）区块链存证技术

电子证据具有传统证据所不具备的明显特殊性，即有技术性、无形性和易变性等特点，主要通过媒体介质进行存储，在其存储、传递等过程中极易遭到篡改、删除等，这在无形之中给电子证据的取证提出了挑战，亟需从技术层面解决电子证据完整性、可靠性等问题。电子证据的可采用规则要求电子证据必须满足证据客观真实性、证据关联性以及证据合法性，而传统电子证据平台目前面临证据欺诈、取证过程被篡改、监管不透明等问题。区块链是一种能够提供非中心化时间戳服务并维护去中心化数据库的新兴技术，具有防篡改的特性，为有效维护电子数据的完整性提供了一种全新的技术方案。

本文提出基于区块链的存证云解决方案如图16所示，云存证系统由分发服务器、存储服务器、备份服务器、异地存档及镜像节点等组成。分发服务器负责负载均衡，存储服务器存储原始证据，区块链服务器存储主要用于保存证据五要素，实现电子证据的完整性保护。采用定时备份、镜像存储、异地存档等多重灾备保护机制以保障数据的安全。机房或第三方云服务符合等保二级以上要求，配备相应软硬件设施。

其中证据固定模块使用了区块链防篡改技术、五要素证据固定技术相结合，有效保证电子证据的真实性、合法性、关联性。并基于中国科学院软件研究所自行研发的RepChain区块链系统实现，构建了可信的电子数据证据完整性保护应用，如图17所示。

三、应用情况

本文介绍的端到云智慧执法平台申请了广州市南沙区人工智能应用示范科技项目并已经成功结题，平台主要应用于基层执法领域，目前已经在广州市某区公证处、广州市某区文广旅体局开展了示范应用。截止到2021年底，执法平台累计实现经济效益600多万元，帮助应用单位实现了在执法现场的智能监管和执法数据全生命周期的管理，确保了执法过程获取证据的真实性、相关性、合法性，保障了现场执法数据在法庭上的可采用性，取得了良好的反响。

四、总结及展望

本文从执法规范化的角度出发，介绍了如何利用人工智能、大数据、区块链等技术和这些技术的深度融合研发基层执法中最普通的执法仪、采集站和后台执法视频管理分析研判平台。突破了执法数据全生命周期管理和安全流转及共享利用方面的诸多关键技术，旨在用高科技赋能公安基层工作，使得基层执法数据从源头上转化固定成证据，让基层执法工作更加智能、高效、合规。

随着人工智能和区块链技术的逐渐发展和广泛应用，未来智慧城市中会呈现出“区块链+行业”的发展趋势，公安领域的智能执法也将越来越多地应用人工智能和区块链的核心技术，用软件定义执法的理念去规范执法过程，解决目前公安执法中存在的诸多问题。区块链在互联网法院的成功应用表明，让区块链技术应用于智慧城市中的公安智能执法领域，提高执法证据可采用性，提高现场执法效率，体现阳光执法，是未来的一大趋势。