单相机摄影测量法在法医学三维重构中的影响因素分析
2020-12-06邹冬华王金明陈忆九李正东汪家文秦志强黄江
邹冬华,王金明,陈忆九,李正东,汪家文,秦志强,黄江
(1.司法鉴定科学研究院 上海市法医学重点实验室 司法部司法鉴定重点实验室 上海市司法鉴定专业技术服务平台,上海 200063;2.贵州医科大学法医学院,贵州 贵阳 550004)
以死后计算机体层成像(postmortem computed tomography,PMCT)和死后磁共振成像(postmortem magnetic resonance imaging,PMMR)为代表的虚拟解剖技术在尸体检验中发挥着越来越重要的作用[1-5],但由于计算机体层成像(computerized tomography,CT)、磁共振成像(magnetic resonance imaging,MRI)影像学技术成像的特性,损伤形态学特征分析常常局限于体内的实体组织,体表损伤的形态学特征和色彩信息缺乏真实的反映,极大限制了后续损伤与致伤工具的三维比对分析。近年来,各类光学扫描仪被应用于体表三维重构,但大多数商业扫描仪都存在着耗时长、价格高昂的缺点,一定程度上限制了法医学记录方式从二维走向三维。此外,光学扫描仪在操作时要求扫描对象保持相对静止,在活体体表扫描范围大和时间长的情形下会受到运动伪差的影响[6-7]。
数字摄影测量法通过数码相机获取待测物体多个角度的数码照片,提取其存在的共同特征及相互间的空间位置关系来完成三维重构[8-9],有着价格低廉、成像效果好的优势。相较于多相机摄影测量系统的开发,单相机摄影测量法更符合国内法医学实践要求,但此方法的影响因素较多且缺乏统一的技术规范。因此,本研究对单相机摄影测量法重构过程中可能产生影响的摄影设备、拍摄焦距、重建软件内的重建质量选择等因素进行综合分析,并探索其在骨骼三维重构中的准确性和应用价值。
1 对象与方法
1.1 研究对象
成年女性尸体1具,颅骨19个。本研究所有实验获司法鉴定科学研究院科学与伦理委员会批准。
1.2 主要设备和软件
Go!SCAN 50手持式结构光学扫描仪(加拿大Creaform公司),EOS 6D相机、EOS 7D相机、EOS 60D相机(日本Canon公司),ZBook 17移动工作站(美国HP公司),游标卡尺(量程200 mm,中国得力集团有限公司)和弯脚规(量程300 mm,北京恒奥德科技有限公司)各1把。
三维扫描及后处理软件VXelement 6.1(加拿大Creaform公司),摄影测量法重建软件Agisoft Photo-Scan Professional 1.4.3(俄罗斯Agisoft公司),逆向工程软件Geomagic Studio 2014(美国3D Systems公司)。
1.3 研究方法
1.3.1 评估摄影设备和焦距对单相机摄影测量法的精度影响
颅骨对象测量组分为16组,分别是传统测量方式组,佳能EOS 6D(焦距24、35、50、70mm组,变焦组),佳能EOS 7D(焦距24、35、50、85 mm组,变焦组),佳能EOS 60D(焦距24、35、50、85 mm组,变焦组)。变焦组在距离研究对象不同距离处进行手动变焦以获得研究对象合适的取景范围。将传统测量方法测得的特征值作为标准组,各组与标准组进行对比分析。颅骨特征值指标重复测量5次,取平均值作为测量值,数据保留至0.1 mm。每组分别测量19个颅骨,测量指标包括颅最大长、上面宽、颧宽、左眶宽、右眶宽、眶间宽、两眶宽、左眶高、右眶高、鼻高、鼻宽共11个。测量指标选取基于便于计算机三维软件中准确、多次选取的原则,尽可能选取左右对称具有较大跨度的解剖标志点,属于人类学测量常用指标。
1.3.1.1 传统测量法
应用游标卡尺和弯脚规按《法医人类学》[10]中方法测量颅骨11个测量特征指标。
1.3.1.2 单相机摄影测量法
应用各组相机对研究对象进行360°环绕摄影,每组选取24张照片,每张照片间隔约15°,照片重叠度在80%以上,应用Agisoft PhotoScan Professional 1.4.3软件对照片进行三维建模,经历对齐照片、建立密集点云、生成网格、映射纹理4步后生成三维模型。由于照片重建模型不具有度量信息,以事先安放的标尺为基准确定缩放因子,对三维模型进行缩放,以OBJ格式导出。利用软件自带分析工具选择边界点,自动计算两点间的距离。
1.3.1.3 统计学分析
采用SPSS 24.0软件(美国IBM公司)对各组之间的颅骨特征测量结果(均值)的组间差异进行t检验和方差分析。检验水准α=0.05。
1.3.2 评估Agisoft PhotoScan Professional 1.4.3软件中重建质量选择对单相机摄影测量法的影响
以1例颅骨和1例尸体为研究对象,以Go!SCAN 50手持式结构光学扫描仪重构模型为参考模型,单相机摄影测量法重构的模型为测试模型,将两者对比分析,研究Agisoft PhotoScan Professional 1.4.3软件中的重建质量选择对重建结果产生的影响。
1.3.2.1 单相机摄影测量法重构
采用Agisoft PhotoScan Professional 1.4.3软件对照片重建三维模型的质量划分为最低、低、中、高、最高5个等级。单相机摄影测量法同1.3.1.2,记录耗时。
1.3.2.2 结构光学扫描
应用Go!SCAN 50手持式结构光学扫描仪对上述研究对象进行扫描,设置扫描分辨率为1mm,连续扫描至无肉眼可见空洞。在VXelement 6.1软件及后
式中,x1,i-x2,i为配准过程中参考模型与测试模处理模块VXmodel中优化、简化扫描网格,移除噪点及孤立面片,生成高质量带色彩纹理的三维模型,以OBJ格式导出,记录耗时。
1.3.2.3 数字模型对齐及三维偏差分析
将各个质量下的单相机测量法重构的三维模型导入Geomagic Studio 2014软件,以Go!SCAN 50手持式结构光学扫描仪获得的模型为参考模型,其余模型为测试模型。根据特征点进行三点匹配,完成粗匹配后进行最佳拟合对齐。最佳拟合对齐是检测偏差平均到整体,以保证整体偏差最小为条件来终止迭代计算的对齐过程。
对配准结果进行三维分析,生成结果对象以两个图形间误差的均方根(root mean square,RMS)表示,计算公式为:型上欧氏距离最近的对应点对之间的距离,n为测量的点对总数,距离越大,反映两个模型在该处的差异越大[11-12]。
测试模型与参考模型之间的差异幅度可以通过三维彩色偏差图不同颜色呈现。三维彩色偏差图采用同一比例尺,颜色段选为15段,绿色往上到红色代表正偏差,往下到蓝色代表负偏差。
2 结 果
2.1 摄影设备和焦距对单相机摄影测量法的影响分析结果
对19个颅骨各11个颅骨特征指标共计209个测量指标进行配对t检验,分析结果显示,EOS 7D变焦组测量结果小于传统测量法测量结果,其余组测量结果与传统测量法测量结果差异无统计学意义(P>0.05)。相同设备不同焦距组间的方差检验结果显示,EOS 6D与EOS 60D各不同焦距组之间测量结果差异均无统计学意义(P>0.05),EOS 7D各不同焦距组间差异有统计学意义(P<0.05)。将变焦组排除之后,相同设备不同焦距组间测量结果差异均无统计学意义(表1)。
表1 不同设备不同焦距测量颅骨特征指标结果Tab.1 The results of skull characteristic index measured with different camera and different focal lengths(n=209,±s,mm)
表1 不同设备不同焦距测量颅骨特征指标结果Tab.1 The results of skull characteristic index measured with different camera and different focal lengths(n=209,±s,mm)
注:传统测量法(游标卡尺和弯脚规)测量值为(68.0±50.5)mm;1)同一设备不同焦距组间一致性检验,P<0.05;2)与传统测量法(游标卡尺和弯脚规)测量结果相比,P<0.05。
设备EOS 6D EOS 7D1)EOS 60D焦距24mm 67.7±50.3 67.8±50.4 67.7±50.3 35mm 67.9±51.0 67.5±50.0 68.1±50.4 50mm 67.5±49.9 67.6±50.3 67.9±50.0 70mm 68.1±50.4 68.0±50.4 67.8±50.3变焦组67.1±50.6 66.4±46.52)67.9±50.0
2.2 Agisoft PhotoScan Professional 1.4.3软件重建质量选择对单相机摄影测量法的影响
Agisoft PhotoScan Professional 1.4.3软件中不同重建质量下的重建过程耗时如表2所示,从数分钟至数小时,Go!SCAN 50手持式结构光学扫描仪的全身扫描与重建时间约为20min,颅骨扫描与重建时间约为4 min。随着重建质量的上升,单相机摄影测量法重建模型的顶点数目和三角面片数目逐渐增多,尸体重建模型顶点数目从8282上升至126022,三维模型面片数从15 584上升至246 600。表2中列出了最佳拟合对齐后单相机摄影测量法重建模型网格与扫描网格之间距离平均值和RMS值。RMS最小值出现在中等质量组,颅骨组和尸体组趋势基本一致。不同重建质量下的重建效果见图1,可见各组颅骨模型视觉效果均较好,而全身模型重建质量最低、低等级出现了严重的畸变。三维彩色偏差图显示了摄影测量法各组模型与参考模型之间的配准差异,颅骨模型总体误差较小,而尸体全身模型四肢区域及边缘处误差较大。
表2 三维偏差分析结果Tab.2 Three dimension deviation analysis results
图1 颅骨和尸体的结构光学扫描重构模型及三维彩色偏差图Fig.1 Reconstruction models and the three dimentional color deviation diagrams of skull and corpse
3 讨论
体表损伤和骨骼的三维重构可以在永久保存证据原始性的同时,完成致伤工具与损伤三维匹配、颅骨面貌复原等二维记录不能完成的工作[13],但购买光学扫描设备高昂的费用限制了三维重构技术的应用推广。近10年来,为了提高体表三维重建的效率并降低设备的成本,出现了许多替代方案,如Kinect体感传感器[14]、多相机的摄影测量系统Botscan[15]和Virtoscan等[16]。仅需单个数码相机的单相机摄影测量法较适应国内检案需求,无需额外购买设备,易于推广。URBANOVÁ等[17]应用尼康7000数码相机对尸检中各个阶段进行360°环绕拍摄照片,利用单相机摄影测量法重构生成三维模型,将其与手持式扫描仪Vectra H1做三维偏差分析,发现两者之间偏差在3.0~11.6mm,认为单相机摄影测量法是光学扫描仪的一种低成本替代方案。BUCK等[14]应用条纹式光学扫描仪、手持式结构光学扫描仪、Kinect2传感器和单相机摄影测量法重构尸体表面模型和测试模型,发现单相机摄影测量法重构模型在色彩纹理上表现更佳。SAPIRSTEIN[18]研究指出,在图片质量理想的条件下,2.5m范围内的单相机摄影测量法重构模型的偏差约为2mm。由于拍摄条件和设备的不同,不同研究并不具备可比性,但所有研究结果表明,单相机摄影测量是一种能够精确和快速地完成三维构模的方法,但此方法的影响因素较多。
本研究对可能影响单相机摄影测量法精度的摄影设备、摄影焦距及软件中重建质量选择项等影响因素进行综合评估。研究中3个相机及每个相机的5种焦距下的15组颅骨特征长度测量结果与传统测量法对比,仅EOS 7D变焦组差异有统计学意义。结合单相机数字摄影测量法计算被测量物体的三维空间点、对应的二维照片像素点及相机镜头中心三点构建共线性方程的原理,变焦摄影的方式可能一定程度增加了计算匹配点对空间位置误差。除EOS 7D变焦组外,其余设备在不同焦距下的测量结果与传统方式测量结果之间差异无统计学意义,说明不同相机设备对重建结果影响不大,但本研究均应用同一品牌相机设备,尚未反映不同品牌相机设备差异对重建结果的影响。除去变焦组后,各设备组内不同焦距组间的重建结果均无差异,说明焦距的选择对重建结果影响不大,但焦距长短会影响相机的取景范围,待测对象所占照片中比例越小,计算得到的匹配点对越少,构成模型的三角面片数目减少。因此,虽然拍摄的焦距不影响重建结果,但仍需调整拍摄焦距和镜头与待测物体间的距离以保证合适的取景比例。
对Agisoft PhotoScan Professional 1.4.3软件中重建质量选择的影响评估分析中,不同组颅骨三维模型形态差距不大,仅质量最高级别中颅骨眶内出现一定程度的缺失,这与像素点匹配精度过高导致匹配的点对减少有关。尸体最低和低2种质量等级下重建的模型产生严重畸变,无法适应重建需求,而颅骨最低和低2种质量等级下重建的模型尚可,这与颅骨体积小、单幅图像中即可包含整个待测对象、对图像要求较低有关。随着重建质量的提高,三维模型周围环境噪声点逐渐减少,但模型内由于点面数目增加,使得三角面片不规则性增加,几何形态反而更加粗糙。RMS值被用于评估测量偏差大小,颅骨和尸体单相机摄影测量法重构的模型与Go!SCAN 50手持式结构光学扫描仪重构的参考模型相比较的RMS值的最小值均处于中等质量。一种合理的解释是,低质量产生畸变较大导致测量偏差大,而随着重建质量增高模型的点面数增加,使得表面粗糙不平,偏差反而增大。模型边缘偏差较大,与周围环境及待测物体难以完全分离相关。同时随着重建质量的增高,计算机运算时间显著增长,对计算机硬件要求也同步增加。因此,采用固定焦距的模式,选择中等重建质量是目前兼具效率和重建效果较合适的方案。
在理想的重建和操作条件下,单相机摄影测量法在测量精度上能够满足部分法医学实践场景要求,是光学扫描的一种廉价替代方案,色彩纹理更优,在损伤与致伤工具的三维比对分析中可发挥重要的作用。但其组成几何形态的三角网格和光学扫描重构模型相比均一性和光顺性均较差。待测物体边界与背景相交界的区域仍存在一定程度畸变,仍具有一定的局限性。