视频侦查信息的挖掘与应用

赵秀萍

（山东警察学院 刑事科学技术系，山东 济南 250200）

随着技术的发展，视频监控建设经过了“天眼”工程、“天网”工程、“雪亮工程”，从城区到乡村，视频监控网络逐步完善，设备性能不断提高。这些在固定点位长时间、连续记录的视频影像应用在案件侦查中，成为挖掘破案线索、固定犯罪证据的利器。视频侦查以视频信息分析为基础，如何高效、充分地挖掘出视频影像中所包含的信息是视频侦查的关键环节。

一、视频信息的特点及影响因素

视频以动态影像的形式记录信息，与文本、图形、照片等信息记录形式不同，视频具有独特性。不同的成像条件决定了视频影像的表现形式和信息含量，是影响其应用价值的重要因素。

（一）视频信息的特点

1.视频信息具有模糊和不确定性

视频影像直观、形象地展现物体形象和环境特点，但其信息的呈现具有模糊和不确定性。对于同一视频不同的人会有不同的理解，因此视频的这种非结构化特性给其信息的解读和提取带来了难度。在案件侦查的过程中，由于视频信息的提取不完全，关键信息没有被有效地挖掘出来，会导致侦查工作陷入僵局无法推进。因此，视频信息的提取需要专业能力和经验，只有充分认识视频信息的特性，从侦查应用的角度理解视频信息的类型和提取方法，完整、全面地解读视频中的侦查信息，才能充分发挥视频侦查价值。

2.视频信息的整体价值高但单位密度低

大多数监控摄像头是在固定点位，连续、不间断的摄录，源源不断地生成视频文件。受条件所限，通常的监控系统能够保存30 天的视频。由于多数案件在侦查初期通常无法准确锁定案发时空范围，因此需要固定、提取较大范围的视频，视频侦查工作首先是从巨量的视频中提取有效信息。这些隐含在视频中的有效信息呈现整体价值高，但单位密度低的特性，关键信息的查询和发现费时费力。因此，将隐藏在视频中的案件信息挖掘出来，需要专业人员借助专业设备和专业方法才能实现。

3.视频的成像方式决定了其信息的不完全表现性

从影像的本质上看，通过拍摄所得到的照片或视频，最终的结果都是以二维平面的形式来表现空间和立体物，因此影像的客观性是有条件的，它只能反映某一个方向、范围和特定时间点的真实状况，而无法完整、客观、全面的展示整体信息。视频分析的任务就是通过二维平面中物体所表现出来的形态和特点，尽可能去构建、还原三维场景，挖掘更多的有用信息。由此可见，成像本身是一个信息简化的过程，被摄物的原始条件在影像中的反应并不明显，影像信息利用的前提就是对视频内容的全面解读和分析。

（二）视频质量的影响因素

视频信息的显示程度取决于视频影像的质量。高质量的视频影像反差适中、细节清晰、色彩还原准确，能够显示较多的信息，具备进行视频分析的有利条件。高质量的视频可以反映出细节，可利用的信息质高量大，发挥的作用就大；质量低劣的视频无法反应细节，只能利用较大区域的形状、色彩等信息，能够发挥的作用有限。视频影像质量是多种因素综合作用的结果，进行视频信息挖掘首先要把握影响视频质量的因素。

1.设备性能

分辨率是设备的主要性能，早期的监控设备与近期的高清监控设备分辨率相差了几十倍，影像质量差异巨大。分辨率决定了组成影像的像素点的多少。分辨率越高，同样的影像所包含像素点就越多，能够更好的表现细节特征；而低分辨率的影像组成的像素点数量少，看起来则粗糙低劣，无法分辨细节。

在设备分辨率一定的情况下，成像大小就成为影响成像质量的关键因素。焦距越长，物距越近，则成像越大，细节信息会更好的反映出来。反之，短焦距、远距离可以拍摄更大的范围，能够反应多个个体之间的相互关系和在拍摄范围内的活动过程，但对于其中的个体来说，则由于成像较小，所反映的信息有限。因此，分辨率高、焦距长、物距小，对单一个体来说都是获得更多像素点和显示更多细节特征的必要因素。

2.环境光照

光照是获取影像的必要条件。由于监控设备位置不变且长时间、不间断地进行摄录，无法进行人工补光，因此视频中的光影变化客观地反映环境光照效果。对于监控系统来说，白天通过自然光提供摄录的光线，晚上则需要人造光源提供足够的照明，或者采用红外摄像系统进行拍摄。

白天光照的强弱变化形成了整个画面明暗的变化，可以从中推断一天中的大概时间或者天气的阴晴变化。晚间由灯光提供拍摄的照明条件，因而安装监控设备时，必须同时考虑灯光的配置。由于光照不足，晚间摄录的影像常出现曝光不足和噪点多的问题。

为了避免晚间成像的问题，有些监控设备设置了双成像系统，在光线较暗时启用红外摄像系统，用红外影像来替代可见光成像。需要注意的是，红外影像所反映的是物体反射红外线能力的大小，由于有些物体反射红外线的能力与反射可见光的能力有差异，因而会表现出与可见光下完全不同的明暗效果。明确物体在常规摄像头与红外摄像头下的区别，才能避免跨镜头追踪时出现目标错误。另外，由于红外影像没有色彩，而大多数人像库中的图像都是有颜色的，这在使用自动人脸识别时会增加误差。现在有黑白影像转化为彩色影像，以及低质影像进行超分辨率处理等方法，可以在一定程度上解决这一问题。

3.拍摄角度

由于每一个画面只能反映特定时刻被摄对象的某一个侧面，而无法同时将所有侧面都呈现出来。对于同样的拍摄对象，镜头与被摄物之间的相对位置决定了最终形成的影像所反映的是哪一个侧面。在自主拍摄时，表现哪一个侧面可以选择。但在监控摄像镜头下，则只能反映视场角之内、正对镜头的那一个侧面，而无法反映其他侧面。

对于人来说，从应用的角度分析，用于人脸识别的影像，应尽可能截取正面人脸，一方面特征信息较多，另一方面目前用于人脸自动识别的入库照片大多是正面。随着技术的进步，虽然可以将斜侧方向的人脸图像进行入库比对，但一般偏移角度不应超过 15°，否则会大大降低准确率。对于步态识别来说，摄像镜头最好正对人身体的正侧面，而且能拍摄到一个完整的行走周期的视频，从而能够得到更多的步态识别信息。

4.物体的运动状态

视频的持续摄录可以将物体运动的过程表现出来，通过多帧画面呈现更多的信息。物体的运动速度与影像的模糊程度相关。运动速度过快，会导致画面中的运动物体产生模糊。比如高速行驶的车辆通常会形成模糊影像，运动速度越快，模糊程度越严重。

通过分析模糊部位和模糊程度可以判断行为性质，特别是通过对局部模糊的分析，可以交代行为过程。对于人来说，由于人体的非刚性特点，在行动过程中容易产生局部模糊，交代人体不同部位的运动速度，据此可以判断行为人所实施的具体行为。比如，在挥刀砍杀的过程中，手和前臂会因急速运动而形成严重模糊，而人体其他部位则是清晰或轻微模糊的状态，据此可以作为实施砍杀动作的依据。

二、视频信息的分析与挖掘

视频信息的利用，首先考虑的是画面中直接反映出的物体形态，这属于表层的可以直接显示和利用的信息，就是显性信息；通过比较分析可以得到时空、尺寸、光影等隐性信息；再通过行为、动作特征的分析，以及与其他数据的关联，又可以得到更多的其他信息。因而，根据可利用信息的不同特点，视频信息可以分为显性信息、隐性信息和关联信息三类，这三类信息在侦查破案中发挥不同的作用。

（一）显性信息的分析识别

显性信息是视频画面中直接显示出来的物体形状、分布、线条、色彩等形态信息。显性信息是通过影像进行个体识别的依据，影像中能反映出的特征类型决定了个体识别的结果。因此，从个体识别的角度，根据特征信息可利用程度的差异，将显性信息分为粗粒度特征、中粒度特征和细粒度特征三种类型。

粗粒度特征是指特征反应比较笼统、不具体，从画面中可以看到色块之间的区别或光影的明暗差异，但无法分辨边缘、线条的影像特征。也就是说，通过粗粒度特征，只能看出整体形态、不能分辨局部特征、更无法分辨细节。一般来说，低分辨率的设备或低照度的环境是导致影像只能反映粗粒度特征的原因，随着设备性能的提高和摄录环境的改善，这类影像会越来越少。低质量视频只能反映出粗粒度特征，较高质量的影像除了可以反映粗粒度特征外，还可以反映中粒度特征。

中粒度特征反映的是物体的局部特征，能够明确地分辨物体的边缘和不同部位的分隔线条，显示出不同部位的形态特点，区分同类物体的不同类型。比如可以明确分辨人的脸型、发型、五官整体形态、衣着、鞋子以及携带物品的类型等；对于车来说，能够根据车身上不同部位的形状特征，确定车的品牌、型号，以及车的颜色、车身上的贴画形状、车内纸巾盒、挂饰的位置和大体形态等。

细粒度特征是物体的细节特征，只有特别高质量的视频才能够反应出来。细粒度特征表现的是物体外观上非常细小的细节特征，这些细节特征是区分不同个体，进行身份认证的必要条件。对于人来说，细粒度特征除了能够反映人面部五官的形态、衣着的花纹和装饰物的特点外，还能反映人由于生理或病理原因导致的斑、痣、伤疤、纹身或者兔唇、缺指等细节特征。这些特征微小但特异性强，是进行人身识别的重要依据。对于车来说，除了能够反映车身或车内装饰物的颜色和细节特征外，还能够清晰地反映车内主驾驶和副驾驶位置上人的面部特征和衣服细节。

（二）隐性信息的挖掘

隐性信息是通过对视频内容进行解读而得到的物体状态、尺寸、时间、位置、速度、活动轨迹，以及季节、天气等信息。隐性信息不是表面信息，要通过分析、比较、关联、提炼和判断才能获得。因此隐性信息的获取，除了要有必要的实验室设备、软件等条件外，还需要侦查人员具备一定的专业能力和专业经验。

隐性信息有若干种类型，不同类型的隐性信息获取的方法不同。一是状态信息，借助生活经验对视频中物体的形态进行辨识、分析和解读而得到的物体的静止、运动或者人物的坐卧行走、喜怒哀乐等不同状态；二是目标尺寸，需要借助专业方法和设备测量所得到的数值；三是时空属性，直接查看影像文件中的信息，或者根据影像内容进行分析推断，如影像中的光影变化、季节特征、标志性建筑等，获得案件发生的时间和位置信息；四是行为轨迹，在监控网络中搜寻嫌疑目标在不同点位留下的影像所获得的活动轨迹信息或者影像目标在一定时间内变化、发展的过程信息。

还有一类比较特殊的隐性信息是影像异常。对于嫌疑人来说，经常出现的异常有：衣着反常，比如不合实际的通过帽子、口罩等遮挡面部，行进过程中的变装，不合常理的假发或者衣服等；举止反常，比如在某一地点的长时间滞留、左顾右盼或者行进中的突然变速等；还有携带物品反常，比如随身携带刀、钳子、起子等工具或者其他特殊物品。[1]关注影像异常，往往可以发现案件侦查的关键环节。

（三）关联信息的挖掘

利用从视频影像中提取的各类结构化数据和视图信息进行深层次的数据关联，通过行为分析、轨迹分析、关系分析、规律分析、比对碰撞等进行数据关联和线索发掘，可以获得关联信息，从而间接确认嫌疑人身份，固定犯罪证据。

关联信息主要有四种类型：一是关联关系。关联关系指影像目标之间存在的相互关系。关联关系主要有三种类型：第一，两个目标之间的碰撞、攻击等接触性行为；第二，两个目标之间长时间位置接近的同行、跟随或尾随关系；第三，两个人之间的交谈、接触或交换物品等交流性行为。二是身份信息。视频具有直观形象和连续记录的特点，可获取的信息也是丰富多彩、多种多样的。通过分析嫌疑人吃、住、行、消费、娱乐等行为，根据嫌疑目标所处的时空、轨迹和动作行为可以关联能够直接或间接认定其身份的信息。三是因果关系。根据同一案件中多个监控摄像头所摄录的影像，分析嫌疑目标在前后时空条件下的形象、衣着、携带物、交通工具、损伤情况等变化，分析行为过程，确认事件发生的先后顺序，厘清因果关系，获得能够确定事件的起因和结果的信息。四是溯源关系。影像与拍摄设备之间存在溯源关系。以监控视频为例，视频影像在摄录、传输、保存和显示的过程中，由于各种条件的变化使得影像信息带有自身的特点，同时在影像中也将各种条件以或明或暗的方式固定下来，通过比对分析可以得到影像与摄录设备之间的关联信息。

三、视频信息在案件侦查中的应用

在案件侦查过程中，通过分析、挖掘视频影像中包含的信息，发现侦查线索、固定犯罪证据。具体来说，不同类型的视频信息有着不同的应用价值。

（一）显性信息的应用

1.粗粒度特征

粗粒度特征是低质量影像所能反映出的特征，具有整体性和笼统性。视频侦查过程中，粗粒度特征可用于区分被摄物的不同类型，比如是人、车还是物，以及静止或运动的不同状态，这些最浅层的信息。再深入一点，对于人来说，粗粒度特征可以分辨人的性别和大概的年龄段，通过对比可以分析人的体型特征，也可以在有条件的情况下，测量出人的身高，但更进一步的局部或细节特征则无法分辨。对于车来说，可以分辨车的整体颜色和类型，属于大货车、客车、越野车还是轿车等，有些特征特别突出明显的，可以分辨车的品牌和型号，车牌或车身上更细致的特征，则无法分辨。因此，粗粒度特征有些可以作为种类识别特征，用于缩小嫌疑目标的范围，但不具备比对条件，无法判断是特定的人、车或物。

2.中粒度特征

中粒度特征反映物体的局部信息，具备一定的比对条件，可以作为种类识别特征，更具体地区分物体的不同种类，通过更详细的类型划分，进一步缩小侦查范围。在特征数量足够多或特异性足够典型的情况下，可以慎重地确定个体身份。就目前雪亮工程建设的设备性能来看，在光照强度足够的情况下，多数物体都可以较好地表现出中粒度特征。

3.细粒度特征

细粒度特征可以作为个体识别的依据，通常具备比对条件。特别是特殊标记特征比如瘢痕、色素异常、人为修改等和人体动态特征比如颜面动态特征和体态特征，都可以作为区分不同个体的依据。通过对这些特异性特征的分析检验，可以进行个体识别。[2]自动识别比对系统可以自动提取目标的细粒度特征，通过入库比对快速锁定嫌疑对象，作为定案的依据，作用大，价值高。但是细粒度特征的显示对影像的质量要求很高，受设备性能和现场因素的限制，能够满足条件的影像并不普遍。

（二）隐性信息的应用

1.物体状态

物体的状态信息是多种多样的，从案件侦查的角度区分不同的对象，根据其在侦查中的线索和证据价值，分别解读人、车、物的状态信息，可以直接或间接地刻画嫌疑目标的特征。

对于人来说，可以从四个方面来分析获取状态信息：通过人像的相貌、体型、体态、衣着、手持物等静态特征，可以得到嫌疑人的年龄、性别、职业、经济状况等情况；通过头部、四肢、腰部等的体态动态特征，可以得到嫌疑人的步幅、步频、双臂的摆动幅度和频率、步态、身体运动姿态等运动动态特征；在质量较好的影像条件下，通过把握嫌疑人的颜面动态特征，还可以分析表情和心理变化；通过分析嫌疑人的行为过程和行动方式，可以判断其行为目的，揭示与案件的关系。

对于车来说，通过车辆在视频中的形态，可以分析确定车的类型、品牌和特异性特征，以及车的停靠位置、时长和行驶速度、路线等，通过分析车与人的关联关系，拓展嫌疑人的信息。

其他物体的状态主要有三类：一是通过人的配饰和携带物品，可以协助分析人的特征或以物找人；二是通过作案工具或凶器，可以关联现场情况，认定案件性质，分析作案手段；三是通过现场的被破坏物、火灾遗留物或爆炸抛射物，可以分析案件起因、过程和损失，从而发现侦查线索，固定犯罪证据。[3]

2.目标尺寸

目标物体的尺寸是物体的特定性信息，对于缩小侦查范围，进一步明确嫌疑目标意义重大。由于所有摄录镜头的成像都完全符合凸透镜的成像规律，在有参考目标的情况下，通过画面中的参考目标可以测量或计算出嫌疑目标的尺寸。目前广泛使用的各种专用视频或图像处理软件都有这一功能，可以方便地测得物体的长度。

对于嫌疑人，除了可以测量身高、步长外，有条件的情况下还可以测量其鞋子或者其他相关物体的长度。涉案物体的尺寸可用于确认物体类型或区分同类型的不同物体，认定物体与案件的关联关系。另外，通过分析嫌疑目标在视频中的位移，结合视频帧速，可以测量、计算其运动速度，用于分析推断案情。

3.时空属性

时空属性是视频文件的基本特性。通过时空属性可以确定案发时间和地点，从而关联其他的案件线索，推进案件侦查工作的顺利进行。对于从视频中直接获取的两类时空信息，需要注意：一是监控画面上直接显示的时间常常有偏差，需要与标准时间进行校准；二是通过视频文件的Exif 信息读取的时间、位置、坐标等信息，一般情况下比较准确、客观，但借助专业手段是可以修改的。

通过分析视频影像中的光影变化，结合物体的形态分析可以间接得到时空信息。光影变化反映的是成像过程中被摄物在特定时空条件下的形态变化。时空信息隐藏在物体的影像中，无法直接发现，需要有深厚的影像专业认识和实践经验，并借助专业的技术方法才能获得。因此，这样获得的时空信息客观、可靠，可以与从视频文件中直接读取的两类时空信息进行比对，并作为鉴别其真伪的依据。

4.行为轨迹

通过关联多点位同一物体的影像而得到其行为轨迹，在案件侦查中发挥重要作用。一方面多个监控点位获取的信息更多，有利于得到能够用于识别的高质量影像；另一方面可以按照嫌疑目标出现时间的先后，锁定其时空变化，固定作案过程，确定其活动范围和落脚点；还可以通过扩大搜索范围，进一步梳理案前和案后嫌疑人的活动路线，明确行程轨迹，关联其他信息，同时印证嫌疑人的口供，提供定案证据。

随着深度学习和视频结构化解析技术的发展，具有自动识别和分析功能的智能视频应用系统可以自动获取人脸轨迹、人体轨迹、车辆轨迹等信息，通过轨迹的关联分析，把握嫌疑人的活动规律以及人、车、物的关系等线索，为案件侦查提供新的思路。同时，这些人、车的视图和轨迹信息也积累了大量的数据资源，可以与其他数据进行比对、碰撞、关联，进一步拓展视频侦查的应用领域。

5.影像异常

异常即非正常状态，也就是不符合常理的变化。视频侦查实战工作中，通过分析目标人的衣着反常、举止反常和携带物品反常，解读出现的原因，是发现侦查线索的关键。

结合运动物体的常规速度，根据嫌疑目标在邻近摄像头中出现的时间，分析与正常行进应该到达的时间是否一致，从而推断嫌疑目标在监控点位之间的异常停留，为指引进一步的现场勘验，获取更多的侦查线索或证据提供依据。因此，对于嫌疑车的分析重点是是否有异常停留或者非正常行驶。另外，夜间或非逆光行驶时，车前遮阳板的异常状态也是分析确认的重点。

另外，光线的变化也是视频分析要关注的重点内容。仔细查看视频画面，对其中的反光或发光进行分析确认产生的原因，也是发现异常的常用方法。在侦查实践中，常见的有通过反光分析夜间车辆的运动状态，以及确定爆炸、燃烧现象的发生并考量其强度等。

（三）关联信息的应用

1.关联关系

不同类型的关联关系，在案件侦查中发挥不同的作用。对目标之间的接触性行为进行分析，常用于揭示行为的发生，确定事件的责任，比如分析车辆碰撞、人车碰撞的发生和责任认定，分析人与人之间的攻击与被攻击行为等。结合监控视频的特点，通过多个监控摄像头下的视频内容，或者通过手机电子围栏、基站、车辆的GPS等信息，确认与嫌疑目标轨迹相同的同行人员，可以扩大侦查线索，挖掘有用信息。多人作案时，通过同行分析可以确定作案人数，固定证据；有时在嫌疑人身份无法直接确认的情况下，可以通过同行分析，挖掘其关联关系，从而通过同行人的身份间接认定嫌疑人身份；还可以通过查找特定时间经过发案点的过路人员，明确其来去方向和落脚范围，进一步扩大调查访问的范围，从中发现侦查线索。

2.身份信息

视频影像中所关联的很多信息都可以与各类实名数据库相联系，用于间接确认嫌疑人身份。通常有如下几种情况：一是结合嫌疑人打电话或携带手机的情况，关联其通讯话单或手机信息，通过设备注册或手机卡登记信息确认身份；二是通过嫌疑人的出行、购物、住宿等行为，可以关联银行卡、公共交通卡、购物卡或在酒店办理住宿登记等信息；三是通过嫌疑人的上网信息，获取其微信、QQ 等社交平台的注册信息，进而确定其身份；四是通过其行为特征与传统的刑事技术相结合，在嫌疑人实施特定行为的场所进行现场勘验提取痕迹或涉案物品，获取指纹、DNA 等信息，通过入库比对检索认定其身份。

3.因果关系

通过影像目标之间在时间或空间上的相对分布或出现顺序，明确影像目标之间的客观联系，是常见的因果分析方法。时空顺序分析可用于还原案发过程、扩大侦查线索，确定嫌疑目标与案件的关联关系。另外，根据影像目标内容的前后属性、状态、过程、关系的变化，可以分析其中的原因或结果；还可以通过对视频画面中的场景、人物、行为、物品从多个方面进行综合分析，挖掘隐藏其间的案件侦查线索，这些都是常见的因果分析方法。[4]

4.溯源关系

绝大多数的监控视频都是固定摄像头，在特定位置，以特定的视场角，长时间、连续进行摄录的结果。通过还原影像形成的原始条件，根据时空和环境的特点可以确认拍摄设备。溯源关系分析是证明影像证据与拍摄设备之间特定关系的重要手段。在视频现场勘查的过程中，对监控摄像头的位置和状态进行实地踏勘，确定视频影像与摄像头的关联关系，分析监控盲区，对于分析嫌疑目标的活动过程，找到可用于发现侦查线索的有用信息，具有重要价值。

四、结语

视频影像信息的模糊和不确定性，增加了信息提取的难度。在视频侦查过程中，借助专业知识和经验进行视频信息的挖掘，尽可能多地提取与案件有关的信息是侦查应用的基础。视频信息的挖掘本质是侦查人员将日常生活中对各种物体的认知，与影像的成像特点，以及侦查实践中积累的专业知识和经验结合起来提取案件信息的过程。

视频信息挖掘的方法多种多样。一般情况下先进行形态分析，提取视频中人、车、物的颜色、形状、材质特征，并确认其个性特征和价值属性。对其中的个体进行测量得到长度、高度、速度等数值，这种量化信息是客观的确定性信息，但受条件所限很多时候无法获得。对于不同点位中同一对象的同一认定需要通过图像比对的方法，考察目标影像的特异性特征是否能够达到认定标准。通过图像比对确认多个点位中的对象同一时，可以通过时空关系进行目标跟踪，从而确认其行为轨迹，分析因果关系。因此，视频侦查信息的挖掘是多种方法相互配合、共同作用的结果，是一项专业活动，需要专业能力和实战经验做支撑。