综采工作面多目全景摄像仪的研制与应用

任 伟

(北京天玛智控科技股份有限公司，北京 101399)

随着智能化煤矿的建设，综采工作面自动化采煤逐渐常态化，视频监控作为操作人员远程操控设备的依据显得尤为重要。“可视化远程开采”[1-3]、“视觉沉浸技术”[4]、“智能识别”[5-9]、“视频巡检”[10-12]、“透明工作面”[13，14]等煤矿开采智能化理念的落地也离不开视频监控系统。摄像仪是视频监控系统图像采集的重要设备，2012年工作面首台本安型摄像仪投入使用，将人的“视觉”延伸到了工作面，加之采煤设备的自动化程度日益提高，2014年黄陵矿“一键启停”的自动化控制系统的成功应用，终于将工作面操控人员解放到了远端的监控中心，开启了“无人操作、少人巡视”的远程可视化干预开采模式。随后，为了满足无人化工作面视频的更高要求，新型本安型摄像仪[15、16]、云台摄像仪[17]等快速迭代产品大量应用于综采工作面。

我国煤炭开采从薄煤层、中厚煤层，再到大采高、特厚煤层[18，19]，综采工作面视频监控区域复杂多变，视频监控难度较大，且近两年采煤机、液压支架、运输机等设备的动作速度得到大幅提升，在全自动化采煤的过程中如果摄像仪的视场角有限、画面有时差，势必造成工作面视频监控区域不全、视频图像不可靠等问题，将会严重影响监控中心的远程操作人员的视觉判断和操作响应，给日常生产带来安全隐患。

目前，综采工作面主流的摄像仪为固定式摄像仪和云台式摄像仪。固定式摄像仪监控范围完全取决于摄像仪本身的固定视角，由于视角有限，在配套数量有限的条件下，监控存在盲区，但如果要扩大监控范围，摄像仪的配套数量就需要增加，使得系统配套、运维成本和复杂度增加；云台式摄像仪是将恒定角度的摄像仪固定在云台电机旋转机构上，通过单轴或者双轴云台电机的转动来调节摄像头的监控方向，从而达到动态监视大范围内的目标，但旋转360°的视频画面存在时差不同步，全画面监控达不到实时性。因此，为了适应智能化煤矿的发展，综采工作面急需一种多个图像同步采集、实时拼接、高清全景输出、固定式大广角的摄像仪。

1 工作面摄像仪配套的关注点

在智能化煤矿，摄像仪普通应用于不同地质条件的综采工作面，其监控的关注点却有所差异。

1)薄煤层工作面。煤壁方向摄像仪水平角度能否覆盖到采煤机所需监控的范围。由于煤层薄，对于摄像仪垂直视角范围不需要过多考虑(目前大多数摄像仪垂直视角都会大于40°)，通常情况下是可覆盖的；水平视角上，理想状态下在保证图像效果的前提下，视角越大越好，这样整个工作面布置的摄像仪数量就会越少，安装维护方便、以太网数据传输压力将降低；同时视频要能够清楚的看到煤机、支架。

2)中厚煤层工作面。摄像仪视角范围需要覆盖更大的场景：伸缩梁、护帮板、煤壁、以及采煤机机身等。多数工作面以远程干预为辅助，所以对于视频监控要求灵活可控、可远程人工调整，快速切换画面。

3)大采高工作面。基本同中厚煤层工作面需求一致，但是由于摄像仪安装位置高、所以对除尘有特别要求，同时大采高工作面有严格的照明条件。

2 多目全景摄像仪设计需求分析

2.1 视场角分析

如前文所述，综采工作面监控重点关注区域为煤壁和支架侧，理想情况下在同一画面里可以同时看到采煤机割煤和支架排列状况，这对于远程干预控制采煤机和支架非常重要。

通过对不同采高工作面安装的摄像仪视角分析[21]得出：为满足监控范围的全覆盖，需要保证摄像仪在煤壁和支架两个观察方向各自的水平视角>135°，垂直视角>90°(如图1所示)。

图1 视角覆盖范围

考虑到井下场景的以上视角需求，结合目前行业内成像技术的发展，优先采用比较成熟的技术方案，采用4块水平65°、垂直90°视角的图像传感模组进行水平扇形结构上的分布及图像拼接，最终形成一个水平视角220°、垂直视角90°视角范围的四目全景的需求。

2.2 图像传感器选型分析

考虑到工作面的照明情况，为了减少对照明状况的依赖，提高微光环境的成像质量，减少因为红外补光造成的色彩损失；同时保证即使压缩输出也可以达到更高的色彩还原及清晰度，达到更高的噪点抑制水平，图像传感器选择微光成像传感器，保证在微光环境下单摄像头可实现0.0005Lux照度成像；同时保证高清分辨，采用单传感器分辨率4K像素。

2.3 镜头选择分析

镜头作为图像传感器芯片的直接光线来源，对于最终摄像仪成像效果有着举足轻重的作用，主要从材质、焦距、畸变率和景深多方面考虑进行选型。

2.4 自清洁要求

考虑到工作面摄像仪视窗易受煤尘污染而看不清楚，人工擦拭工作量大，特别是大采高，人工擦拭存在很大危险性，所以考虑视窗具有自清洁的功能。

综上所述，多目全景摄像仪的设计需求技术参数见表1。

表1 多目全景摄像仪主要技术参数

3 多目全景摄像仪的研制

3.1 四目摄像头布置

四个图像传感器+镜头按照一定间隔布置在同一基准面上，呈扇形均匀布置(如图2所示)。

图2 摄像头部署

3.2 系统架构

采用海思Hi3559AV100作为主控芯片，进行图像采集与处理、全景拼接、编码，通过以太网传输至监控主机进行显示，也可配套APP部署在移动手机、VR/AR终端上看到全景画面，相关软件架构采用服务器客户机模式，多目摄像仪系统架构如图3所示。

APP与设备端的通信，都要经过服务器端，APP通过服务器的云服务，访问到相应的设备IP，设备端的网络交互层，将APP端的请求信息发送给业务逻辑层的应用软件，应用软件响应请求，调用相关的数据传输或控制指令，应用程序通过操作系统来操作底层的硬件。

3.3 电路本安化设计

多目全景摄像仪集成了四个摄像头、高速的图像处理器和AI处理芯片(4T算力)，因此它的功耗比一般的摄像仪(工作电流200～600mA)高2倍以上，最高工作电流达到1200mA，在启动过程中容易产生电流冲击，造成本安电源的过载保护。为了解决这个问题，除了按照常规本安电路的防浪涌、防反接、稳压、电容匹配等规范设计外，对电源顺序启动进行了电路和软件设计。

电源管理控制如图4所示，各个功能单元(如图像传感器、GPU、5G模块、以太网模块等)的供电是由电源管理MCU通过软件顺次控制端口输出来逐步加载，从而实现系统的“缓启”，避免启动冲击电流过大造成本安电源模块输出保护。

3.4 图像信号处理

环境画面经过多目图像传感器进行图像信号采集并转化成数字图像RAW数据，通过MIPI总线输入到图像处理芯片中，图像处理芯片内置ISP功能，ISP的子功能包含有图像格式转换、自动曝光、自动白平衡、黑电平矫正、坏点矫正、镜头阴影、图像降噪、色彩增强等。由于多目中的每一路图像都是经过单独的ISP处理器进行处理。在图像拼接前多路图像的亮度、图像白平衡、图像色彩需要经过相同的参数同步，以保证拼接后的图像在拼接处不会出现色彩和亮度非正常突变。

图3 多目系统架构

图4 电源管理控制示意

3.5 全景拼接的实现

多目视频流首先由Hi3559AV100的ISP核心完成镜头去畸变，然后进行全景拼接，亮度平衡处理，最后输出全景视频流。

3.5.1 图像去畸变算法

相机的视场角与鱼眼镜头相比，畸变要小，考虑到处理器算力及计算复杂度，不采用比较复杂的鱼眼相机模型，采用由透镜形状引起的径向畸变和由于安装导致的镜片和成像平面不平行引起的切向畸变来给相机建模。模型均采用相机的归一化坐标系，令相机坐标系内一点为(X，Y，Z)，其对应在归一化坐标系内的坐标为(X/Z，Y/Z，1)，Z坐标恒为1可省去，故可以用两个坐标(x，y)表示。令畸变系数为k1，k2，k3，经过镜头作用后的归一化坐标为(xdistorted，ydistorted)，径向畸变模型表示为：

xdistorted=x(1+k1r2+k2r4+k3r6)

ydistorted=y(1+k1r2+k2r4+k3r6)

(1)

其中，r2=x2+y2。

切向畸变模型表示为：

xdistorted=x+2p1xy+p2(r2+2x2)

ydistorted=y+p1(r2+2y2)+2p2xy

(2)

由式(1)和式(2)得相机总的畸变模型为：

xdistorted=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2)

ydistorted=y(1+k1r2+k2r4+k3r6)+p1(r2+2y2)+2p2xy

(3)

令相机的内参即主点和焦距分别为：cx，cy，fx，fy，令含有畸变的像素坐标为udistorted，vdistorted，像素坐标原点规定为图像的左上角，u的正方向向右，v的正方向向下，即实际相机每一帧图像的像素坐标为：

udistorted=[xdistortedfx+cx]

vdistorted=[ydistortedfy+cy]

(4)

其中的[]表示取整。

理论上在得到每一帧图像后，依次按照式(3)、式(4)即可求出去畸变后的x，y然后再根据内参即可求出去畸变后的像素坐标u，v，完成去畸变过程。但是该方法计算量比较大，占用过多的计算资源，实际实现的过程采用查表的方法，即先建一个同样大小的空图像，然后遍历这个图像的每一个像素求其对应的畸变的像素，将畸变图像的像素赋给该空图像即完成去畸变过程。

3.5.2 拼接算法

图5 图像拼接

图像拼接如图5所示，两幅图像X、Y长宽为m和n，理想的重叠区域宽为p，拼接后图像为Z，设水平像素坐标为x(因多目摄像仪的四个摄像头组装时进行了严格的基准面校准，所以垂直方向像素坐标不做考虑)，则Z图像的R、G、B的分量为：

1)当x

2)当x≥m-p且x≤m时：

3)当x>m时：

3.5.3 全景图生成

拼接后所获得的图像还需要进一步进行变换，生成全景图输出。首先将拼接的图像利用相机的内参向归一化的三维坐标转换，然后向单位球投影，得到全景球幕坐标，最后再将球幕坐标向经纬坐标系投影，得到长宽比为2∶1的全景图。令拼接后图像坐标为(u，v)，转换到归一化的三维坐标为：

将其向单位球投影，并转换为球面坐标为：

θ=arccos(z/sqrt(x2+y2+z2))，

φ=arccos(x/sqrt(x2+y2))

(9)

将其转化为长宽比为2∶1的全景图像坐标，令全景图的以像素表示的长宽分别为PanoW，PanoH，则在全景图上的像素坐标为：

u=φ×panoW/(2π)，v=theta×panoH/π

(10)

3.5.4 亮度平衡算法

图6 亮度平衡

亮度平衡如图6，X、Y重叠，X重叠区域为X0，Y重叠区域为Y0，设X0的平均亮度为Lx0，Y0的平均亮度为Ly0，X的平均亮度为Lx，Y的平均亮度为Ly。那么：

Y图像亮度调整公式为：

3.6 低延时处理

多目摄像仪的图像传输过程：图像采集、图像拼接、图像编码、网络传输，每个环节都考虑低时延的处理。

从图像采集过程，采用Hi3559的两路独立的ISP处理模块，将4路MIPI接口的Sensor分别给到2路ISP处理模块，在图像采集阶段的时延可以缩短为原来的1/2。

再到图像拼接，ISP模块将处理完成的每帧图像放置在缓存中，图像拼接算法是实时拼接算法，所有数据在4幅图都接收完成后数个行频后即完成图像的拼接转换，此过程仅产生1ms左右的延时。

图像编码采用了低延迟码率控制，编码流水线优化，硬件编码加速等技术，提升了编码效率，保证了时延。在压缩率上，信息量最大的是低频图像，利用运动补偿算法有效消除帧间冗余，提高压缩率。同时运用高频残差部分采用小核变换后进行稀疏系数编码，有利于提升残差的编码效率。通过以上措施提升了编码的效率，实际在Hi3559上对拼接好的图像的测试结果是在5ms左右。

在网络传输过程，传统的NVR采用TCP或者UDP协议进行数据传输，这两种传输方式，UDP的效率和时延优于TCP，但数据稳定性差于TCP。由于UDP采用实时码流传输，效率有所提升。所以，在本设计中，设备工作在内网环境，采用UDP协议进行图像数据的实时码流传输，优化校验过程，整体的网络延迟优化了30%。

3.7 自清洁的实现

四目全景摄像仪视窗采用疏水防尘的纳米材料涂层硬化处理，具有“荷叶效应”，在视窗上方安装喷水装置，利用支架喷雾控制来进行喷水除尘，保证摄像头视窗的清洁。

4 多目全景摄像仪井下测试

4.1 井下测试

将研制的多目全景摄像仪分别在薄煤层、中厚煤层和大采高工作面进行安装测试。从测试效果看，多目摄像仪的监控视角范围完全覆盖煤壁和支架侧区域，且具有高清的分辨率，特别是在大采高这样的大场景下显得更加清晰。相比于其他摄像头，真正在工作面实现了“看得全”“看得清”。

实际测试全景视频流在薄煤层及中厚煤层传输延迟，视频网络均采用千兆网，干线采用万兆以太网，见表2，传输延迟大约在20ms满足实时性要求。

表2 视频流传输延迟统计

测试拼接质量，四个摄像头成像如图7所示。其对应拼接生成的全景图如图8所示。

图7 四个摄像头分别对应所生成的图像

图8 拼接后生成的全景图

图8中戴蓝色安全帽的工人由图7里面的(a)及(b)拼接而成，看不出明显的拼接缝隙，有较高的拼接质量。

4.2 存在问题和改进措施

多目全景摄像仪因其多个摄像头都有着各自的焦点，拼接后的画面是一个球形全景图，在目前常用的播放器中展示的画面存在比较严重的畸变，给人的视觉效果较差。随着AI识别深度应用和普遍化，每个多目摄像仪将成为一个传感器，只输出定量的结果，不需要人为实时查看，到那时多目全景摄像仪的优势将被发挥到极致。在目前视频还是靠人查看操控的情况下，多目全景摄像仪可采用以下措施满足现场使用要求：

4.2.1 全景概览，局部细化

全景+局部显示如图9所示，上位机画面显示2台多目摄像仪全景画面，同时在其画面中截取关注的画面(如采煤机前后滚筒)进行局部细化显示。

图9 全景+局部显示

4.2.2 增加设备交互功能

可通过手柄摇杆等输入设备，选定任何一幅全景画面中局部关注画面进行左右移动、放大缩小等交互；局部显示画面可随着采煤机的位置而自动调整，以保证滚筒始终在画面框内。

4.2.3 分流显示

将多目全景摄像仪按照四路独立的视频数据读取并显示，可以当做四个摄像头使用，该方式在空间狭小的薄煤层使用比较理想，可以大大节省摄像仪的布置数量，安装简单且维护方便。

4.2.4 VR/AR技术融合

将多目全景视频部署在VR/AR终端，通过设备的人机交互，可以实现以FPV(First Person View：第一人称主视角)方式展示的立体视觉效果，使视频画面更立体更有浸入感，可完全消除整幅画面的畸变视觉感受。

5 结 语

本文介绍的综采工作面多目全景摄像仪是基于目前摄像仪视角范围受限、监控区域画面不能全覆盖、画面不同步等问题而提出的一种全新的适用于煤矿综采工作面的本安型摄像仪，它不仅解决了监控范围的问题，而且在工作面的布置数量减少了40%，降低了工作面配套难度，其大广角、高清监控适用于各种采高煤层，虽然存在画面畸变问题，但监控画面通过交互处理，完全可以满足智能综采工作面的监控要求。保证了无人化开采工作面的远程可视化割煤的可靠性和安全性，实现了 “看得清”“看得全”，同时为后续“看得懂”的智能识别研究提供最全面的数据源，为智能化工作面系统配套提供了全新的视频监控技术支持和产品支撑。