三维重建在猪胴体体型特征提取中的应用

任兴超

摘?要：为提高猪胴体自动化定级的准确性，利用双摄像机构建了三维重建系统对猪胴体定级所涉及的胴体特征进行提取，该系统通过胴体图像处理、摄像机标定、基于极线约束的立体匹配、三维坐标计算等步骤对猪胴体特征部位进行了三维重建。三维重建得到的胴体1/2处横长的特征值相对于其真实值的误差小于5%，而利用单一图像获取的该特征值的误差为10%；胴体6～7肋处膘厚的三维重建的结果相对于其真实值的误差小于8%，而利用单一图像获取的该特征值的误差为20%；表明猪胴体体型特征值的三维重建结果比从单幅图像中提取更贴近实际值。

关键词：三维重建；立体匹配；图像处理；猪胴体体型特征；摄像机标定

中图分类号：S126；TP182 文献标志码：A 文章编号：1001-8123(2013)10-0001-05

近年来，很多国内外学者利用图像处理和计算机视觉技术开展了对猪胴体等级的评定工作，也有针对企业生产线上的等级评定系统[1-5]；此类系统多以数码相机或工业相机及图像采集卡拍摄胴体图像，经图像处理后提取与等级有关的体形特征数据，如胴体6～7肋处、1/2处、臀中肌处等部位的横长及对应的膘厚度等。现有的等级评定系统中这些体型数据的提取多以单幅二维图像为基础，即首先从图像中提取各部位的像素个数，通过所预先建立的预测模型公式[1-2]估算其真实值；例如在获取胴体6～7肋处实际膘厚度时，采用模型公式y=0.241x＋0.542[2]进行换算，其中，x为在图像中提取的6～7肋处膘厚的图像像素个数，y为膘厚度的实际值，该模型公式通过大量的图像数据和胴体实际数据间的关系统计获得；如此若要得到较为准确的结果，所提取的像素个数应能真实反映该部位的实际数值，所以处理的图像应尽可能是标准的胴体正面图像，这对图像的拍摄过程提出了很高的要求。在实际的拍摄过程中，由于受到胴体姿势、拍摄角度等问题的影响，所拍摄的胴体图像往往会发生不同程度的偏转，这样获取的数据准确性受到限制，如胴体的偏转可能致使胴体某特征部位在图像中所占的像素个数减少，因而再使用上述模型公式进行换算时，得到的结果必然比该特征部位的实际数值要小。因此引入三维重建技术来修正单1二维图像中信息的局限性是十分必要的。

由多幅图像获取物体的三维几何信息是当前计算机视觉领域中的重要研究方向，基于图像的三维重建技术作为图像处理的1个重要研究分支，已被广泛应用于检测和观察中[6-10]。本实验使用2台摄像机构建了1个三维重建系统同时对猪胴体的左半片正面进行拍摄，通过对摄像机进行标定、胴体图像预处理，特征点立体匹配等过程，计算胴体各特征部位点的三维坐标值，进而得到各特征部位的三维重建值，最终获取更为准确的胴体分级指标。

1 材料与方法

1.1 材料与仪器

三元杂交猪胴体 北京资源食品集团生产线上包含各个等级的70片左半胴体。

MV-VS140FC工业数字CCD摄像机 陕西维视数字图像技术有限；1394接口M0814- MP镜头(摄像机最高分辨率1392×1040) CBC ComputarTM公司。

1.2 方法

1.2.1 图像获取

本实验所架设的2台摄像机约有相同的水平高度，2摄像机光轴约成30°角且面向猪胴体拍摄，进而使拍摄的2幅图像间有一定的视差，2台摄像机光心距离30cm，固定焦距8mm，物距约210cm，2台摄像机同时对胴体切割正面进行拍摄，为减少拍摄背景所引入的噪声影响，实验中使用1黑色背景板置于胴体后侧以屏蔽拍摄背景中其他非胴体信息；另外，手工测量出胴体各特征部位的实际值用于后期计算结果的比较。试验所选取的猪胴体涵盖较优等次及较劣等次的各个人工等级，选取的也尽量是包含不同体型与质量的样本，如此使得选取的胴体不失一般性。

1.2.2 相机标定

摄像机标定的目的，就是要建立三维空间坐标与二维图像坐标之间的对应关系[11]。在单目视觉中，这种对应关系是一对多的对应，即二维图像上1个像素点对应着真实三维空间中的1条直线上的多个点；而在双目视觉中，可以通过2幅二维图像上的对应像素点计算得到三维世界坐标与二维图像坐标的一一对应关系，由此便可以得到物体的三维坐标值[12]。为确定2摄像机在空间中的位置，试验采用张正友提出的平面模板2步法[13]对2像机进行标定，该方法因具有较好的精度以及实现过程简单，被广泛应用于实践中。平面模板2步法是1种介于传统标定和自标定[14-19]之间的方法，它不需要知道摄像机的运动信息，比传统的标定方法灵活，同时该方法仍需要1个特定的标定物以及标定物上1系列的空间坐标，因而没有自标定方法灵活。本试验中所使用的标定物为自制的1个7×5方格的黑白棋盘模板，模板中每个小正方形方格的边长为30mm；保持2台摄像机拍摄胴体图像时的原有位置不变，拍摄不同方位的6组标定图像。对每个摄像机拍摄的棋盘图像分别进行标定从而计算出2摄像机的内外参数。

1.2.3 图像预处理

为准确确定胴体各特征部位的位置，需对所拍摄的图像进行预处理。为加强胴体特征部位识别能力，本实验首先对原始拍摄的图像进行图像增强处理。直接对图像像素进行处理是图像增强中最简便和直观的方法，这些方法包括对数变换和幂次变换2种形式[20]，其中对数变换方法在很大程度上压缩了图像像素值的动态范围，经其处理后图像中的很多细节会丢失，因而为使图像增强操作更具适应性，本实验采用幂次变换函数y = cxγ对图像进行增强处理，其中，x, y分别为变换前后图像像素点的灰度值，变换系数γ把输入窄带暗值映射到宽带输出值。变换系数γ的选取依据拍摄现场的光照条件进行调整，本试验中设置γ的值为0.55。

用于悬挂猪胴体的钩子或其他类似部件在摄像机拍摄过程中也进入到胴体图像中，该些部件的出现会对胴体特征的定位和数值提取产生影响，因而应先去除掉这些多余的信息。根据拍摄位置及光照环境的固定性，试验中采用固定阈值法将悬挂钩子及拍摄背景中的少许噪音去除，去除的图像部分填充以背景色以使得图像中仅包含胴体部分。

当获得仅包含猪胴体的图像后，则开始提取与胴体定级有关的特征数据如胴体6～7肋处、1/2处、臀中肌处的横长及对应的膘厚度，该些部位多为胴体中脂肪与肌肉的交界位置，为了便于该些部位的定位，将胴体图像进行分割处理，以将整个胴体分割成脂肪和肌肉两部分，其他则为图像背景。其中，脂肪部分图像趋向于白色，肌肉部分图像趋向于暗红色，通过设定灰度阈值可将2部分分开，最终得到只含有脂肪、肌肉和背景的图像。完成以上图像处理后，即可在图像中对各特征进行定位，如计算胴体长度的起点为图像中胴体部分的最高点，终点为图像中白色背膘部分的最低点。

1.2.4 立体匹配

同1空间点在2幅图像中形成不同的成像点，立体匹配则是在成像点之间建立起对应关系[21]。对于本实验中以双摄像机为基础的三维重建系统，立体匹配的任务就是对于在所拍摄的其中1幅图像中确定的胴体特征部位的特征点，在另1幅图像中寻找其对应的像点并建立起两者的对应关系[14-15]。然而所拍摄物体因视角、镜头畸变、光照等因素影响会出现不同的成像结果，所有影响因素均体现为图像中的单一灰度值信息，这种复杂的环境变化使得到1个可靠的匹配结果变得非常困难。在猪胴体图像中，所要提取的特征点多为脂肪、肌肉或背景的交界点，图像特征明显，故本试验采用1种基于极线约束几何模型的窗口灰度特征匹配方法。

如图1所示，空间点P在两幅图像中的成像点分别为p1和p2，C1和C2分别是2台摄像机的中心，即摄像机坐标系的原点，C1和C2的连线称为基线，基线和2台摄像机成像面的交点e1、e2分别是2台摄像机的极点，它们也都分别是2台摄像机中心C1和C2在对应摄像机成像平面上的投影坐标点。点P、C1和C2组成的平面π称为极平面，它和2台摄像机成像平面的交线l1和l2称为极线；一般地，l1为点P2对应的极线，l2为点P1对应的极线，l1和l2互为对应极线，根据极线几何成像原理[12]，点p2的匹配点在它所对应的极线l1上。根据此成像原理，可以将特征点匹配的搜索范围从整个图像的二维平面缩小到一维直线上，极大地降低了待验证点的数量，从而减少了匹配时间，同时也减小了误匹配的几率。

在极线上进行点的匹配计算时，单个点的图像参考信息有限，可以参考的依据只有匹配点和待匹配点的灰度值和坐标位置，直接进行2个点的匹配计算极易出现错误匹配；因此文中综合考虑分别以匹配点和待匹配点为中心的n×n窗口的匹配(n为像素个数)，如此可以增加匹配信息的数量，降低匹配误差。例如对点p1、p2进行匹配度的计算，对于点p1及其所在匹配窗口中的其他点(以3×3大小的匹配窗口为例)，将它们的灰度值转化为向量v1表示(图2)，p2也做同样的转换。

如此，对2个窗口间的相似性计算被转换成2个向量间的相似性计算，相似性的判定以2个向量间的夹角大小为标准：夹角越小则2个向量越相似，即两个窗口间的差异越小，2个匹配点的匹配程度越高。以上是针对3×3的匹配窗口进行说明，但同样也可采用其他大小的窗口；当窗口较小时，由于考虑的像素点比较少，可用的对比信息量相对也少，误匹配的几率会比较大，但使用较小的匹配窗口也使得平滑的区域较小，这能够让很多细节得以保留；如果窗口较大，误匹配的情况就会明显减少，但这会对图像产生类似平滑的效果，使胴体部位更多特征细节在匹配过程中丢失，同时随着窗口的不断增大，运算量也相应剧增，完成匹配的时间也越多，因而过大的匹配窗口的使用也会影响到整个三维重建系统的实时性；综合各方面因素，本试验中采用7×7大小的匹配窗口。

2 结果与分析

2.1 相机标定

图3是标定过程中所使用的自制标定板，所拍摄的标定板图像分辨率为1040×440像素。标定过程中采用OpenCV提供的检测算法进行标定板上角点的检测并计算角点的亚像素坐标，图3中的小圆圈示出了标定板图像上角点检测的结果。由于标定板尺寸已知，可以直接给出各角点的三维空间坐标，继而求出两个摄像机的内外参数，完成标定。

为检测摄像机标定的准确定，本实验利用获取的摄像机内外参数对标定板上的角点进行重投影，将得到的新投影点与原始投影点坐标进行对比，统计得出，本实验的总体平均标定误差约为1.26个像素，具有较好的精度。

2.2 图像预处理

在实际生产线上拍摄的胴体图像经过增强、去除背景及图像分割操作后，得到了仅含有脂肪、肌肉及黑色背景的图像，如图4，脂肪以白色区域表示，肌肉以灰色区域表示，黑色则为背景。

如图4所示，在分割后图像的基础上对胴体进行特征提取，所要提取的部位包括胴体长、臀中肌横长及膘厚、1/2处横长及膘厚、6～7肋处横长及膘厚等。

2.3 立体匹配

首先在1幅图像中定位出各特征部位的点，如图5所示，在左侧图像中找到胴体1/2处的左端点，运用极线约束方法在右侧图像中找出其对应的极线，右侧图像中示出的直线即所求得的极线，在右侧图像中，匹配过程是从所述极线的左端到右端按照给定的匹配窗口大小逐个点进行比较，图像中的虚线方框代表匹配窗口的大小，遍历结束时记录下具有最优匹配结果的图像点，该点即为最终匹配点。

2.4 三维重建

三维重建即确定图像点的三维空间坐标。经过立体匹配确定对应点后，就可以通过解方程求出各特征点的三维坐标。对于空间一点P(XW, YW, ZW)，有如下方程组：

式中：(u1, v1)、(u2, v2)为1对匹配点在2幅图像中的二维坐标，可在所拍摄的图像中直接读取；mpq、wpq(p=1、2、3，q=1、2、3)为根据张氏标定法计算出的2台摄像机所对应的透视投影矩阵中的元素，其在摄像机标定阶段得到。理论上，这4个方程中的某2个方程一定是线性相关的，但由于计算中的误差，以及图像的噪声等因素使得这种线性相关的情况几乎不可能发生，所以此方程组可用最小二乘法求出3个变量的解。在求得胴体各个特征点的三维坐标后，可利用相应2点之间的距离获取胴体各特征部位的实际数值。

本实验分别利用三维重建方法和单幅图像分别提取60组胴体各特征部位的数据，将2者同胴体特征测量的真实值作对比，以对2种方法进行评价。试验中所提取的胴体特征较多，本实验以胴体1/2处横长及6～7肋处膘厚为例作分析。

2.4.1 胴体1/2处横长数据统计

部分胴体1/2处横长的数据统计如表1所示。

由表1得出，若仅依靠单幅二维图像进行横长的提取，提取结果的相对误差在10%以内，且与真实值相比波动性较大。由于在图像的拍摄过程中，当胴体相对于摄像机成像面的水平偏转较小时，图像中的像素个数比较真实的反映了横长的数值，此时得到的结果贴近实际；当不能拍摄到标准正面图像时，则数据在提取过程中会因不同的偏转角度产生不同程度的误差，偏转的程度越大，则误差就越大。三维重建的结果相对误差在5%以内，它依靠两幅图像在空间中的相对位置进行计算，克服了图像偏转的影响，其结果总体上优于前者。

2.4.2 6～7肋处膘厚数据统计

如表2所示，从单幅图像中提取的数据相对误差最高可达20%，其原因在于，1方面胴体正面相对于摄像机成像平面的大幅度偏转导致该膘厚在图像中拍摄的像素数明显减少，较少的像素个数根据模型公式的换算反映为较小的膘厚计算值，从而与实际膘厚值相差甚远；另1方面，真实的膘厚数据本身较小，多为25～40mm，所以即使较小的误差在计算结果中也表现得更加明显。三维重建的结果相对误差在8%以内，总体比较稳定。

3 结?论

通过对胴体1/2处横长、6～7肋处膘厚及其他各个胴体特征部位数据的分析发现，利用三维重建技术恢复出的胴体特征值比仅依靠单幅二维图像提取的数据更具有准确性，且三维重建的结果误差相对稳定，从而修正了仅利用单幅图像提取的胴体特征数值。

本实验将独立的胴体图像结合起来对胴体各特征部位进行三维重建，提取出了更贴近实际的三维体型数据，有助于扩展胴体定级系统的视觉功能，增强其外形特征提取能力，从而为胴体分级阶段提供更准确的决策依据。三维重建技术的应用降低了猪胴体自动化定级系统在胴体图像拍摄时的难度，允许胴体切割面相对于摄像机成像面存在一定角度的偏转，节省了用于摆放胴体姿势的人力物力，同时也保证了胴体体型特征值提取的准确性。

参考文献：

[1] GAO Li, ZHENG Limin, REN Fazheng, et al. Study on estimating lean percentage and grading of pig carcass in slaughter line[C]//The 3rd IFIP international conference on computer and computer technologies in agriculture. New York: Springer, 2009: 14-17.

[2] 唐毅, 郑丽敏, 任发政, 等. 基于几何特征的图像感兴趣区域的自动定位研究[J]. 计算机工程, 2007, 33(1): 200-203.

[3] 于铂, 任发政，郑丽敏, 等. 利用图像处理技术估算猪肉等级评价指标的应用研究[J]. 肉类研究, 2004, 18(3): 41-44.

[4] 张楠, 周光宏, 徐幸莲. 猪胴体分级技术研究进展[J]. 食品科学, 2005, 26(9): 558-561.

[5] YU Bo, ZHENG Limin, REN Fazheng, et al. Evaluating pork grade by digital image processing[J]. Transactions of the CSAE, 2007, 23(4): 242-248.

[6] 闫震, 钱东平, 王东平, 等. 奶牛体型评定三维图像同步采集系统[J]. 农业机械学报, 2009, 40(2): 176-179.

[7] PARK J S. Interactive 3D reconstruction from multiple images: a primitive-based approach[J]. Pattern Recognition Letters, 2005, 26(16): 2558-2571.

[8] 徐奕, 周军, 周源华. 立体视觉匹配技术[J]. 计算机工程与应用, 2003, 39(15): 1-5.

[9] WU J, TILLETT R, MCFARLAN N, et al. Extracting the three-dimensional shape of live pigs using stereo photogrammetry[J]. Computers and Electronics in Agriculture, 2004(44): 203-222.

[10] PARK J S. Interactive 3D reconstruction from multiple images: a primitive-based approach[J]. Pattern Recognition Letters, 2005, 26(16): 2558-2571.

[11] TSAI R. An efficient and accurate camera calibration technique for 3D machine vision[C]//Proceedings of computer vision and pattern recognition, 1986: 364-374.

[12] 陈胜勇, 刘盛, 姚春燕, 等. 基于OpenCV的计算机视觉技术实现[M]. 北京: 科学出版社, 2008: 364-365.

[13] ZHANG Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[14] 余洪山, 王耀南. 主动立体双目视觉平台的设计与实现[J]. 工业仪表与自动化装置, 2004(1): 61-63.

[15] FAIG W. Calibration of close-range photogrammetry system[J]. Mathematical Formulation, 1975(12): 1486-1497.

[16] MAYBANK S J, FAUGERAS O D. A theory of self-calibration of a moving camera[J]. International Journal of Computer Vision, 1992, 8(2): 123-151.

[17] POLLEFEYS M, GOOL L V. Self-calibration from the absolute conic on the plane at infinity[J]. Proceedings of Computer Analysis of Images and Patterns, 1997, 1296: 175-182.

[18] 邱茂林, 马颂德, 李毅. 计算机视觉中摄像机定标综述[J]. 自动化学报, 2000, 26(1): 43-49.

[19] 毛剑飞, 邹细勇, 诸静. 改进的平面两步法标定摄像机[J]. 中国图形图像学报, 2004, 9(7): 847-851.

[20] GONZALEZ R C, WOODS R E. Digital image processing[M]. 北京: 电子工业出版社, 2003: 286-187.

[21] 康晶. 基于立体视觉摄像机标定方法的三维重建技术研究[D]. 长沙: 湖南大学, 2006.