考虑广角镜头畸变的精确目标识别距离估算

刘光伟，蔡 毅,2，陈东启，王岭雪

专栏：〈红外光学系统〉

考虑广角镜头畸变的精确目标识别距离估算

刘光伟1，蔡 毅1,2，陈东启1，王岭雪1

（1. 北京理工大学 光电学院，光电成像技术与系统教育部重点实验室，北京 100081；2. 中国兵器科学研究院，北京 100089）

人脸识别和车牌识别是智慧安防领域的重要内容。人脸和车牌的特征尺度小、细节丰富，对成像系统的空间分辨力有较高要求，需要较大规模的探测器和高传函、小畸变的光学镜头。然而，安防系统又要求广域监控，需要使用视场大但具有一定畸变的广角镜头。因此，设计既能精确识别人脸和车牌目标、又能广域监控的成像系统时，应将精确目标识别作为约束来权衡高空间分辨力和大视场的性能指标以及估计识别距离。在这样的应用需求下，本文提出了像素面密度对精确目标进行统一描述，并提出了考虑广角镜头径向畸变的精确目标识别距离估算方法，通过对存在旋转和平移的人脸和车牌目标进行计算验证，结果表明：考虑径向畸变后实际识别距离较理论识别距离近，且人脸和车牌平移距离分别为1m和2m时，实际与理论的识别距离差异高达34.2%和27.5%。

识别距离；广角镜头；径向畸变；目标识别；像素面密度

0 引言

人脸识别[1-3]和车牌识别[4-5]是智慧安防[6]领域的重要内容，尤其在新冠肺炎防控形势下，人脸识别技术更是与非接触、高灵敏的红外测温结合，在人流量较密集的车站、商超、医院和学校等场所迅速检测出体温异常人员并通过人脸识别确认人员身份，为疫情防控提供精准数据和智能支持。人脸和车牌的特征尺度小、细节丰富，对成像系统的空间分辨力有较高要求，需要较大规模的探测器和高传函、小畸变的光学镜头。然而，安防系统又要求广域监控，需要使用视场大但具有一定畸变的广角镜头。广角镜头的焦距通常介于13～38mm之间，短于标准镜头但长于鱼眼镜头，对角视场角一般为60°～118°，水平视场角约为50°～110°[7]，优点是视场大、景深大，缺点是图像存在径向畸变。径向畸变[8-9]会改变图像中目标的几何形状和大小，在畸变较大的图像区域会影响目标识别距离的估算。约翰逊准则[10-11]是描述光电成像系统探测性能的经典判据，主要适用于距离较远的多类目标的识别，例如区分人的性别和车辆的类型，但不涉及人员身份和车牌号这种精细信息的识别。随着智能化技术的发展，精确识别人脸、车牌等精细目标已经成为智能摄像头、智慧安防系统的基本功能。因此，需要将精确目标识别作为约束来权衡高空间分辨力和大视场的性能指标以及估计识别距离。为此本文提出了像素面密度对精确目标进行统一描述，并提出考虑广角镜头径向畸变的精确目标识别距离估算方法，通过对存在旋转和平移的精确目标进行计算验证。

1 人脸和车牌等精确目标的描述和识别指数

我国[12-13]使用像素数描述人脸（face）和车牌（license plate），并提出识别人脸和车牌的指数，如表1所示，规定人脸瞳孔间距占30个像素以上、车牌水平长度占100个像素以上时可以认清（identification）人员身份和车牌号；欧盟[14]和英国[15]分别使用单个像素对应的目标长度和目标-屏幕比（target-screen ratio, TSR）描述人（person）目标，欧盟规定认清人的识别指数应大于4mm/像素，英国则规定TSR应大于100%，如表1所示。

表1 识别标准与识别指数

智能目标识别主要由计算机完成，不需要显示在显示器上由观察者识别，且显示器有多种尺寸和分辨率，故英国的TSR的实际操作性较差。我国和欧盟识别指数的本质是每个像素对应目标的水平长度，但实际上图像传感器每个像元对应的是真实物理空间的二维区域，而不是水平线段。因此，本文提出使用像素面密度（单位为pixels/m2）描述人脸和车牌。根据我国成年人面部尺寸和机动车号牌的标准[16-17]，可知男性瞳孔间距为60mm，女性瞳孔间距为58mm，小型汽车号牌尺寸为440mm×140mm，将我国和欧盟的识别指数标准换算到最小像素面密度，如表2所示，其中还给出了探测、识别和认清人时所需的像素面密度。对于人目标，探测（detection）定义为能够确定有人存在；识别（recognition）定义为能够高度确认目标一定是人，且能分清是成人还是儿童、是男人还是女人；认清（identification）定义为能够看到人的头部、躯干、四肢等细节，但不一定能认清人脸并确认人的身份。从表2可看出，人脸识别的本质是认清人的面部细节后确认人的身份，因此其所需的像素面密度是认清人的4倍。人脸和车牌识别在文字上虽然使用“识别”二字，但探测等级上相当于“认清（identification）”。

表2 识别人脸、车牌和人所需的最小像素面密度

2 考虑径向畸变的识别距离估算

在使用约翰逊准则的远距离目标识别中，与距离相比，广角镜头径向畸变的影响可以忽略不计，也不需要严格考虑目标与相机之间的位置关系。相对地，人脸和车牌识别属于近距离精确目标识别，识别这些精确目标时需要考虑识别所需最小像素面密度，因此，定义精确目标识别距离为该目标成像后对应的图像像素面密度等于识别所需最小像素面密度时目标与相机之间的距离。精确目标识别需要考虑镜头畸变、目标与相机之间的位置关系，故需要建立目标、相机和图像的坐标系，并进行三者之间的坐标转换。

2.1 光学镜头径向畸变建模

光学镜头的径向畸变是光线的弯曲程度在透镜边缘大于透镜中心导致的，造成的图像畸变以透镜中心为原点，距离原点越远，畸变程度越大。径向畸变有两类，长焦镜头的枕形畸变和广角镜头的桶形畸变，畸变示意图如图1所示。本文主要讨论广角镜头的桶形畸变。

建立径向畸变的数学表达式为：

式中：(x,y)为不考虑径向畸变的理论像素点坐标；(xd,yd)为考虑径向畸变的实际像素点坐标；r为极径，表示理论像素点与中心点的欧式距离；k1、k2、k3为径向畸变系数，广角镜头取k1、k2两项即可满足对径向畸变模型的拟合要求。

2.2 目标、相机和图像像素坐标系以及引入广角镜头径向畸变的坐标转换

正面对人脸和车牌目标进行识别时效果最佳，目标偏转角度越大则识别效果越差，因此，将目标正面作为标准面来等效目标，以标准面中心为原点建立目标坐标系o-o-o；以相机中心为原点，光轴方向为轴建立相机坐标系c-c-c；以图像左上角为原点建立图像像素坐标系-。目标、相机和图像像素坐标系示意图如图2所示。

图2 坐标系构建

相机坐标系固定不动，改变目标坐标系，利用欧拉角(,,)描述目标相对于相机的旋转关系，其中、、分别表示目标绕o轴、o轴和o轴正向沿顺时针方向旋转的角度。取值不影响目标成像后的像素面密度，故将其置为0。将欧拉角(0,,)转换为旋转矩阵以进行齐次坐标运算，转换公式为：

利用平移向量(t,t,t)描述目标相对相机的平移关系，其中t、t、t分别表示目标沿c轴、c轴和c轴正向移动的距离。考虑式(2)的旋转和平移，目标坐标转换为相机坐标的公式为：

式中：(o,o,o)为目标坐标点；(c,c,c)为相机坐标点。由于相机坐标系c-c-c的原点在相机中心，所以本文讨论的目标在水平和垂直方向的平移距离代表着目标偏离相机中心的距离。亦即对于相机视场，在视场中心的目标平移距离小，离视场中心越远其平移距离越大。实际应用中，相机视场内通常有多个目标，使用广角镜头后视场增大，可包含的目标数量更多，但由于广角镜头畸变的影响，处于视场边缘的目标通常有较大的变形。为便于将公式变量与实际应用结合，需要注意的是本文中目标平移距离均代表实际应用中目标偏离相机中心的距离。

减少相机坐标点的维度，将其转换到距离相机为单位1的平面上，对相机坐标归一化，得到：

将式(1)的径向畸变引入式(4)，用(d,d)代替(,)作为包含径向畸变的归一化相机坐标。

相机内参矩阵描述相机坐标到像素坐标的平移与缩放转换关系，内参矩阵为：

式中：(f,f)为相机在和方向上的像素焦距，(c,c)为相机主点位置。

引入广角镜头径向畸变的相机坐标转换到像素坐标的公式为：

式(3)～式(6)可将精确目标成像到图像上且可知其占据的像素数，进而得到精确目标对应的像素面密度。将平移向量中z的值从0开始逐渐增大，计算出精确目标在不同t下对应的像素面密度，当像素面密度值等于识别该精确目标所需最小像素面密度时，对应的t即为该精确目标的识别距离。

3 人脸和车牌识别距离估算

3.1 估算流程

考虑广角镜头径向畸变的精确目标识别距离估算流程为：

①利用旋转矩阵和平移向量的式(3)将目标坐标转换到相机坐标；

②利用式(4)归一化相机坐标并引入径向畸变；

③利用式(5)的内参矩阵和式(6)将包含径向畸变的相机坐标转换为像素坐标；

④计算目标在图像上占据的像素数和对应的像素面密度；

⑤通过判断实际计算的像素面密度是否大于表2中的识别指数来估算识别距离。

3.2 估算结果

人脸和车牌识别需要的最小像素面密度分别为267289pixels/m2和51984pixels/m2，以FLIR公司型号为BB2-08s2的相机中含有的典型径向畸变值1＝－0.6，2＝0.35作为畸变系数，估算不同视场角和分辨率的广角相机对存在旋转和平移的人脸与车牌目标的实际识别距离，并与不考虑畸变的理论识别距离进行比较。

广角镜头水平视场角约为50°～110°，图像传感器长宽比例通常为16:9，常用分辨率与对应像素数有1280×720（1M）、1920×1080（2M）、2560×1440（4M）和3840×2160（8M）这4种。目标相对相机不存在旋转与平移，改变相机水平视场角和分辨率，得到的人脸与车牌识别距离数据如表3所示。

固定相机分辨率为1920×1080，视场角为80°，讨论人脸和车牌目标存在旋转的情况。首先目标只绕轴旋转一定角度，其次目标同时绕轴和轴旋转相同角度。不同旋转角度下识别距离如图3所示。

表3 识别距离与视场角和分辨率的关系

图3 识别距离与旋转角度的关系

由表3和图3知，其他条件不变时，识别距离随视场角增大而减小，随分辨率增大而增大，随目标旋转角度增大而减小，且当目标同时沿两轴旋转时，识别距离的下降程度更大。旋转角度小于70°时，能够有效识别目标并进行距离估算，当旋转角度较大甚至达到90°时，将无法有效识别目标。上述情况下，目标相对相机不存在平移，故目标成像在径向畸变程度很小的图像中心，此时考虑径向畸变得到的实际识别距离与不考虑径向畸变得到的理论识别距离基本相同，差异不超过1cm。

固定相机分辨率为1920×1080、视场角为80°，保证目标均处于相机视野内，讨论目标相对相机存在平移时的识别距离。不同平移距离下的识别距离如图4所示，其中实线表示考虑径向畸变的实际情况，在图例中用字母d表示，虚线表示不考虑径向畸变的理论情况，灰色平面表示识别人脸或车牌目标对应的最小像素面密度，曲线与平面交点的距离坐标值即为最远识别距离。

径向畸变大小与极径长度相关，极径越长，径向畸变越大。识别距离与极径长度的关系如图5所示，其中实线表示考虑畸变的实际情况，在图例中用字母d表示，虚线表示不考虑畸变的理论情况。

从图5可看出，不考虑径向畸变的理论识别距离不受目标平移影响，人脸识别距离始终为2.22m，车牌识别距离始终为5.02m。考虑径向畸变后，平移距离越大，极径越长，可识别距离越近。因为平移距离越大，目标成像位置距图像中心越远，径向畸变造成的成像压缩程度越大，从而使图像上目标的像素面密度减小，只有距离靠近才能再次满足像素面密度要求，这也符合存在径向畸变后可识别距离会变近的实际情况。人脸和车牌在不同平移距离下的识别距离差异如表4所示。当平移距离为1m时，人脸和车牌实际与理论识别距离差异分别为0.76m和0.26m，相差比例分别为34.2%和5.2%。当车牌平移距离为2m时，识别距离差异为1.38m，相差比例高达27.5%。可见当平移距离较大时，径向畸变对识别距离影响也很大。

图4 像素面密度与平移距离的关系

表4 实际识别距离与理论识别距离的差异

图5 识别距离与极径的关系

径向畸变对存在平移和旋转车牌成像后所占据的像素区域大小影响如图6所示，其中虚线框代表不考虑径向畸变的理论情况，实线框代表考虑径向畸变后的实际情况。中间黑色框对应的车牌不存在旋转和平移，左上方红色框只存在平移，左下方青色框存在平移但平移距离较红色框短，右上方紫色框存在平移和绕轴的旋转，右下方蓝色框存在平移和同时绕、轴的旋转。

图6 径向畸变效果

从图6可知，径向畸变的特性使得只有当物体存在平移时，畸变的存在才会影响目标成像后对应的像素区域大小，进而改变像素面密度。根据前面的分析，引入旋转之后，会叠加上旋转对像素面密度的影响。同样的，改变相机分辨率和视场角，也会在平移对像素面密度改变的基础上再叠加额外的影响因素。利用本文提出的方法，可以估算出考虑径向畸变后的实际识别距离，并得到与理论识别距离之间的差异。

4 结论

本文提出了像素面密度对人脸和车牌进行统一描述，并设计了考虑广角镜头径向畸变的精确目标识别距离估算方法。该方法首先建立径向畸变的数学模型，并以目标、相机和图像像素坐标系为基础，将径向畸变引入到目标、相机和像素坐标系统的转换公式中，从而反映出径向畸变对目标成像后对应像素面密度的改变。通过对存在旋转和平移的人脸和车牌目标的识别距离进行估算，并与不考虑径向畸变的理论识别距离进行对比。结果表明：该方法能够解决存在径向畸变的广角相机对精确目标识别距离进行估算的问题，得到的实际识别距离相较于理论识别距离更加符合实际，其中人脸和车牌平移距离分别为1m和2m时，实际与理论的识别距离差异高达34.2%和27.5%，这表明考虑径向畸变对精确目标识别距离的估算至关重要。

综上，广角镜头应用于智慧安防监控系统时，虽然视场角增大、可包含的目标数量增多，但与位于视场中心的目标相比，位于视场边缘的目标的像素面密度会减小，识别距离也会减小。因此，智慧安防领域的工程人员应关注广角镜头畸变对目标识别距离的影响，尤其对于视场边缘的目标，可采用超分辨力技术、增加用于训练神经网络的畸变图像样本数量等方法来提高精确目标的识别率。

[1] Taskiran M, Kahraman N, Erdem C E. Face recognition: past, present and future (a review)[J]., 2020, 106: 102809.

[2] DING C, TAO D. A comprehensive survey on pose-invariant face recognition[J]., 2016, 7(3): 37.

[3] WANG Zhenzhou, ZHANG Xu, YU Pingping, et al. A new face recognition method for intelligent security[J]., 2020, 10(3): 852.

[4] Ahmed A U, Masum T M, Rahman M M. Design of an automated secure garage system using license plate recognition technique[J]., 2014, 6(2): 22-28.

[5] Baran R, Rusc T, Fornalski P. A smart camera for the surveillance of vehicles in intelligent transportation systems[J]., 2016, 75(17): 10471-10493.

[6] CHUNG Y N, LU T C, HUANG Y X, et al. Applying image recognition technology to intelligent security management systems[C]//(AIIE 2015), 2015: 117-120.

[7] Abramkina D E, Khatsevich T N. Analysis of optical systems of extremely wide-angle lenses for digital cameras[J]., 2020, 6(1): 3-10.

[8] Juarez-Salazar R, ZHENG J, Diaz-Ramirez V H. Distorted pinhole camera modeling and calibration[J]., 2020, 59(36): 11310-11318.

[9] WU F, WEI H, WANG X. Correction of image radial distortion based on division model[J]., 2017, 56(1): 013108.

[10] Johnson J. Analysis of image forming systems[C]//, 1958, 513(513): 761.

[11] Leachtenauer J C. Resolution requirements and the Johnson criteria revisited[J]., 2003, 5076: 1-15.

[12] 中国国家标准化管理委员会. 公共安全人脸识别应用图像技术要求: GB/T 35678-2017[S]. 中国标准出版社, 2017.

Standardization Administration of the People's Republic of China. Public Security Face Recognition Application Technical Requirements for Face Images: GB/T 35678-2017[S]., 2017.

[13] 中国国家标准化管理委员会.机动车号牌图像自动识别技术规范: GA/T 833-2016[S]. 中国标准出版社, 2016.

Standardization Administration of the People's Republic of China. License plate of motor vehicle of the People’s Republic of China: GA/T 833-2016[S]., 2016.

[14] European Committee for Electrotechnical Standardization. Video surveillance Systems for Use in Security Applications - Part 4: Application Guidelines: UNE-EN 62676-4-2015[S]., 2014.

[15] Tony Mansfield.:[M]. UK: Home Office Scientific Development Branch, 2014: 4-12.

[16] 中国国家标准化管理委员会. 成年人头面部尺寸: GB/T 2428-1998[S]. 中国标准出版社, 1998.

Standardization Administration. Head-face Dimensions of Adults: GB/T 2428-1998[S]., 1998.

[17] 中国国家标准化管理委员会. 中华人民共和国机动车号牌: GA 36-2018[S]. 中国标准出版社, 2018.

Standardization Administration. License Plate of Motor Vehicle of the People’s Republic of China: GA 36-2018[S]., 2018.

Distance Estimation for Precise Object Recognition Considering Geometric Distortion of Wide-angle Lens

LIU Guangwei1，CAI Yi1,2，CHEN Dongqi1，WANG Lingxue1

(1.,,,100081,; 2.,100089,)

Face and license plate recognition are crucial aspects in the field of intelligent security. A high-spatial-resolution imaging system with a large-format detector and low-distortion optical lens is requiredfor recognizing small-scale features and rich details in faces and license plates. However, security systemsneed to monitor wide area, which requires a wide-angle lens with a wide field of view,but with some distortion. Therefore, precise target recognition should be used as a constraint to balance the high spatial resolution and wide field of view when designing an imaging system that canrecognize details and monitor a wide area. Under such application requirements, an evaluation index based on pixel areal density is proposed. With the aid of this evaluation index, a distance estimation method for precise object recognition, considering the radial distortion of the wide-angle lens, was designed. Rotated and translated faces and license plates were used to demonstrate the estimation method. The results indicate that the recognition distance with radial distortion is less than that without radial distortion. When the translation distance is 1m and 2m, the difference between the actual recognition distance and the ideal recognition distance is 34.2% and 27.5%, respectively.

recognition distance, wide-angle lens, radial distortion, object recognition, pixel areal density

TN211

A

1001-8891(2021)12-1158-08

2021-02-01；

2021-03-08.

刘光伟（1995-），男，湖南娄底人，硕士研究生，主要从事全景成像和图像处理的研究。E-mail：bitlgw@126.com。

王岭雪（1973-），女，云南石屏人，副教授，博士，主要从事红外成像、图像处理和红外光谱等方面的研究。E-mail：neobull@bit.edu.cn。

前言：红外光学系统是红外光电设备的眼睛，位于红外光电设备的最前端，是红外光电设备最重要的组成部分之一，其性能的好坏直接决定着红外光电设备的整机性能。由于红外光学系统具有被动成像、不易被干扰、识别伪装能力强、可全天时工作、探测灵敏度高等优点，因此广泛应用于光电侦察、航空航天、空间遥感、精确制导、火灾搜救、电力巡检、医学检查等领域。

红外光学系统涉及光学理论，像差理论，光机优化，光学材料，红外器件，光学制造，集成测试等多个领域，随着科学技术的快速发展，红外光学系统向着多次成像结构，多视场，大相对孔径，宽温度范围，多波段，一体化，小型化，集成化，轻量化等方向发展。

为了促进科研人员在红外光学系统领域交流的最新成果，2021年12期，《红外技术》推出了“红外光学系统”专栏，共收录8篇学术论文，内容涉及二次成像结构的中波红外折反射式光学系统设计，大相对孔径的长波红外变焦无热化光学系统设计，制冷型中/长红外a双波段一体化全反射式光学系统设计，考虑广角镜头畸变的精确目标识别距离估算，机载小型化中波红外连续变焦光学系统设计，红外探测器集成光学系统低温评价方法研究等，涉及领域较广，旨在集中反映报道红外光学系统领域的新动态和发展趋势，为相关科研人员和广大读者提供学术价值参考，为红外光学系统的研究发展提供一些新的思路。

最后，感谢专栏论文所有作者的卓越贡献。

——白 瑜