外固定支架模型重建软件开发与安装参数识别研究

孙 涛，闫 巍，孙振辉，张 弢，宋轶民，马信龙，连宾宾, 3

外固定支架模型重建软件开发与安装参数识别研究

孙 涛1，闫 巍1，孙振辉2，张 弢2，宋轶民1，马信龙2，连宾宾1, 3

(1. 天津大学机械工程学院机构理论与装备设计教育部重点实验室，天津 300354；2. 天津市天津医院，天津 300211；3. 天津大学仁爱学院机械工程系，天津 301636)

针对精准外固定支架的设计与开发，提出了交互式外固定支架三维模型的软件系统及外固定支架安装参数的识别算法，解决了传统方法中采用二维影像划线测量获取三维安装参数误差较大的问题．考虑远程化诊疗的潜在需求，软件系统采用浏览器/服务器架构构建基于WebGL三维模型渲染技术的三维交互场景．识别算法分为标记物位置拾取与外固定支架位姿识别两部分，通过区域生长算法分割模型文件，采用最小二乘法识别标记物位置，进而借助标记物与外固定支架的几何关系求解位姿参数．以外固定支架参考环与移动环中心距离为例，开展标记物识别方法与X光影像划线测量方法的实验对比研究．借助高精度测量仪器获取两环中心距离作为标准对照组，将上述两种方法的结果分别与标准对照组进行比较．基于标记物识别方法得到的两环中心距离与标准对照组的结果误差为0.043mm，X光影像划线测量方法的误差为4.903mm．实验结果表明，基于重建软件和标记物识别法获取外固定支架安装参数较传统X光影像划线测量方法精度高，并有效地将精度提升两个数量级，该方法可为开发精准高效可靠外固定支架系统提供技术支持．

外固定支架；浏览器/服务器架构；WebGL；区域生长算法；标记物识别

创伤性骨折严重影响人类的生命和健康，传统骨折手术受制于医师经验和术中设备，存在手术风险高、创伤大、复杂术式难普及等不足．与传统骨科手术相比，骨科医疗机器人手术可提高手术精度、降低手术伤害和减轻医师劳动强度，是骨科精准微创治疗的未来发展趋势[1]．

目前应用较为广泛的骨科医疗机器人由Taylor和Harold Taylor[2]基于六自由度Stewart并联机构提出，称为Taylor空间外固定支架(Taylor spatial frame，TSF)．TSF由6个连杆通过虎克铰连接上下固定环，可矫正成角、短缩、旋角等三维空间内骨骼任意角度及位置畸形．采用TSF进行骨折复位矫正的基本原理是获取患者骨折部位中远端骨相对于近端骨的位移和成角，转化为TSF的目标位置和姿态，借助TSF运动学逆解模型求解各连杆初始与终态长度，根据骨折复位疗程确定连杆每日需调节长度，最后生成处方．上述骨折复位流程涉及患者骨折信息提取、并联机构运动学求解及连杆长度精确调整等专业技术，为方便医师进行复位手术，需借助计算机辅助软件实现并简化技术环节．

Smith&Nephew[3]、Orthofix[4]与Response Ortho[5]等国际医疗公司已相继推出外固定支架用于骨折复位的在线计算机辅助软件，国内部分医疗器械公司也已开发三维外固定支架软件系统[6]．通过对国内外主流外固定支架诊疗软件分析发现，当前软件均采用正侧位X光片划线测量的方式测量断骨位姿与外固定架安装参数，存在如下不足：X光片无标准化拍摄方法，易产生成角误差；X光片无法表达三维固定支架遮挡或重叠处的位姿信息，易导致测量误差；X光片断骨位置依靠医师手工测量，易受主观因素制约．由此可见，利用二维影像划线测量获取外固定架三维安装参数的方法严重影响TSF的复位精度．针对此问题，本文提出了在软件系统中重建外固定支架三维模型、标记物识别外固定支架位姿的方法，首先介绍软件的系统架构与设计模式，在此基础上构建三维交互场景，最后通过标记物拾取方法实现外固定支架的位姿提取．本文工作旨在快速高精度获取外固定支架安装参数，为骨折精准复位治疗奠定基础．

1 软件系统架构与设计模式

远程化诊疗是未来医学发展的趋势之一，软件系统架构的设计需考虑骨折复位治疗远程控制的潜在需求．现有TSF计算机辅助软件大多采取客户端/服务器(client/server，C/S)架构，以桌面应用的形式部署在用户计算机终端．C/S架构响应速度快、控制精度高，适用于现场或局域操作，其缺陷在于对用户终端软硬件环境要求较高，每个用户终端均需独立部署，维护成本高、部署繁琐且不易更新迭代，难以满足远程诊疗的需求．因此，本文采用浏览器/服务器(browser/server，B/S)架构[7-8]开发TSF软件系统(见图1)，该架构对用户终端硬件要求较低，用户仅需使用浏览器、局域网或互联网访问平台，具备远程诊疗能力．

图1 基于B/S架构的软件

采用B/S架构设计TSF软件的核心是部署Web应用处理用户发送的请求．由于模型-视图-控制器(model-view-controller，MVC)设计模式具有耦合度低、易于扩展与便于维护的优点[9]，本文采用MVC设计模式进行Web应用开发，通过模型、视图和控制器3个组件响应浏览器的用户请求与读写数据库的存储信息[10]，组件的特征与功能如下．

(1) 模型：MVC设计模式底层组件，通过PHP Data Objects(PDO)响应控制器与视图组件的请求并直接连接MySQL数据库．其功能是将视图与控制器组件的关键数据信息存储至数据库，或是借助读写操作将数据库内模型存放位置信息传输至视图与控制器组件．

(2) 视图：MVC设计模式上层组件，采用HTML、JavaScript及WebGL技术构建3D视窗操作环境．其功能是响应控制器组件传输的数字信息并以三维图像形式呈现给用户，同时与用户实现交互性操作．

(3) 控制器：MVC设计模式核心组件，采用PHP语言开发，负责软件系统主要业务逻辑处理与识别算法计算．其功能是处理用户和模型的请求并将结果输出给视图组件渲染．

2 三维交互场景构建

本文着重解决TSF三维模型重建及支架位姿提取的问题，主要涉及B/S架构下MVC设计模式的视图组件，其实现方法为：选择WebGL(Web graphics library)为三维交互场景的构建技术，基于此定义基本三维场景，实现三维模型渲染，达到TSF可视化的目的．

WebGL是基于Web的三维模型渲染技术[11]，可兼容主流浏览器，无需安装浏览器插件即可轻松实现．由于原生WebGL开发难度较大，通常采用基于WebGL的第三方框架开发三维模型渲染技术，如Babylon.js、SceneJS和Three.js等．如表1所示，综合考虑使用场景、技术支持与迭代更新能力，本文选择Three.js作为基于WebGL的三维交互场景第三方框架．

表1 WebGL框架对比

Tab.1 Comparison of the WebGL frameworks

采用Three.js构建基本三维场景，需定义三维场景的基本元素，包括相机、光源、模型、场景和渲染器，其相互关系见图2．

图2 三维场景的组成

Three.js中定义了正交与透视两种基本相机类型，常用工业制图、三维建模等软件多采用正交投影相机，其呈现在画面中物体的大小不会随观察距离的变化而改变．本文采用正交投影相机，如图3所示，其构造函数为OrthographicCamera(left：Number；right：Number；top：Number；bottom：Number；near：Number；far：Number)．

图3 正交相机参数设置

三维场景的另一基本元素是光源，光源设置过少无法照亮场景中的模型，将导致模型观察不全；光源设置过多，将导致场景中的模型亮度过高而缺失阴影等细节特征．为提供合理光源照亮三维模型，本文采用“三点布光法”进行灯光布局，通过Three.js中的平行光定义关键光、填充光与背光实现3个角度的光源投射，同时将Three.js的环境光作为辅助光源实现某一方向的光源补充调节．

在定义了三维基本场景的相机与光源后，进行模型渲染是交互式三维模型重建的关键步骤．在Three.js中，三维模型由几何形状和材质两部组成．本文的三维模型对象为TSF与标记物，模型渲染的流程为：通过CT断层扫描影像重建获取模型信息，借助THREE.STLLoader加载模型信息，以自定义的方式确定模型的几何形状与材质，最终基于OpenGL硬件加速的WebGLRenderer渲染器将三维场景渲染至HTML的Canvas元素．TSF与标记物的三维模型渲染过程见图4．

图4 TSF与标记物三维模型渲染过程

3 外固定支架位姿提取

构建了三维交互场景之后，本文采用区域生长算法分割CT断层影像，在视图组件内通过CT断层影像重建标记物，获取标记物的球心坐标．基于此，结合外固定支架的几何特征，由并联机构技术提取外固定支架位姿．

3.1 标记物位置提取

标记物设计为金属球状结构，分别在外固定支架的参考环和移动环安装不共线的3个标记物，见图5．采用CT断层扫描外固定支架与标记物，借助Mimics进行三维模型重建并以STL(surface tessellation language)文件形式存储模型信息．STL通过文件中的大量三角面片顶点数据描述三维模型[12]，文件编码形式分为二进制格式和ASCII格式，本文采用二进制格式编码STL文件．

图5 标记物与外固定支架

调整Mimics三维重建的采样阈值可分离仅包含6个标记物的STL模型文件．为提取球状标记物球心的坐标，需对标记物的STL文件进行再分割．由于CT断层影像重建的球状标记物表面不光滑，描述标记物特征的三角面片数量各不相同，无法直接依照排列顺序截取三角面片．本文采用了一种分割医学影像常用的区域生长算法[13-15]进行STL文件分割，算法步骤如下.

步骤1 采用Hash函数编码STL文件三角面片的顶点坐标，存储为坐标哈希值，指定任一顶点坐标哈希值作为初始生长种子．

步骤2 搜索STL文件所有包含初始种子哈希值的三角面片，建立“待生长种子列表”并添加该三角面片的其余两个顶点，在STL文件中删除相应三角面片．

步骤3 依次生长步骤2内“待生长种子列表”的种子，生长条件及方法同步骤2．

步骤4 当“待生长种子列表”中种子数为0时，停止生长．

通过上述算法可提取单个标记物的所有顶点数据，采用最小二乘法进行球心拟合，拟合方程可表 示为

球状标记物的球心坐标与半径计算公式为

3.2 外固定支架位姿提取

基于球状标记物的球心坐标可计算外固定支架的位置与姿态，进而确定外固定支架安装参数．首先，利用标记物的坐标确定参考环与移动环的位置，即中心点坐标．理想情况下，已知标记物球心至环中心的距离，以该距离为半径、球形标记物的球心为球心，分别构建3个球面，3个球面交于唯一一点，如图6所示．环中心坐标求解公式为

按照薄层色谱法（通则0502）实验，各样品均在与对照药材色谱相应的位置上，显相同颜色的荧光斑点，如图5所示。

图6 标记物位置关系

图7 固定坐标系与随动坐标系

图8 旋转矩阵求解过程

因此，移动环从初始位姿到当前位姿的旋转变换矩阵可表示为

采取相同的办法可获取参考环的位置与姿态参数，则外固定支架任一状态下的位姿可通过上述流程进行计算，据此方法重建的三维模型可完全复现原始模型．

4 实验研究

依据B/S软件系统架构与基于MVC的Web应用设计模式，本文借助WebGL技术构建了外固定支架的三维交互场景并开展了模型安装参数的算法研究，模型重建精度较之传统二维X光片划线测量具有较大提升．为验证本方法的有效性与高精度特性，开展如下实验研究．

4.1 实验仪器

并联外固定支架，支架测量工具，X光机，CT机，Corel Draw X7图片处理软件，NDI公司的Polaris SPECTRA光学测量系统[16](测量精度0.35mm)，NDI专用探针与NDI Track软件．

4.2 实验原理

为对比分析基于三维模型重建软件识别安装参数方法与X光片划线测量方法的精度，分别设置标准对照组、标记物识别组与X光片划线组，以并联外固定支架参考环与移动环的中心点距离为例进行测量．其中，标准对照组借助支架测量工具与医用测量设备获取环中心坐标及距离，标记物识别组依据本文提出的方法拾取相关参数，X光片划线组参考X光平片划线[17]方法获得环中心距离．后两组实验结果分别与标准对照组的结果进行比较，误差越小则说明相应方法的精度越高．

4.3 实验步骤

步骤1 进行标准对照组的实验．设计如图9(a)所示的支架测量工具．工具两端设置圆柱凸台与环配合，凸台中心长度与环直径相等．中心处设置一球形凹槽，当支架测量工具与环配合，凹槽的坐标即为环中心坐标．

步骤3 保持并联外固定架位姿不变，将支架测量工具安装于移动环上，采取与步骤2相同的步骤获取移动环中心点坐标．由参考环与中心环的坐标位置计算两环中心的距离．

图9 标准对照组实验装置

步骤4 进行标记物识别组的实验．保持步骤2与步骤3并联外固定支架的位姿不变，由CT机获取并联外固定支架的影像；将CT影像处理为STL模型并导入本文构建的重建软件；利用重建软件自动识别标记物，如图10所示；读取环中心坐标；计算两环中心距离．

步骤5 进行X光片划线组的实验．保持并联外固定支架位姿不变，利用X光机拍摄并联外固定支架的X光片，如图11所示；将X光片图像导入Corel Draw X7软件中；构造参考环及移动环中心圆，由于X光片为二维图像，两环分别构造出图11所示椭圆；利用椭圆拟合法[17]在X光片上划线，利用软件拾取椭圆中心位置并测量环中心点的距离．

图10 外固定支架三维重建

图11 X光片划线测量方法

4.4 实验结果与讨论

标准对照组、标记物识别组与X光片划线组的实验结果如表2所示．其中，X光片划线组在二维影像上构造环中心点随后测量两点间的距离，无法得知中心点坐标值．由于X光透视成像原理和存在成角误差等原因，采用X光片划线的方法得到的环中心距离误差较大，在本实验中高达4.903mm．标记物识别组与标准对照组的中心点坐标值不同，其原因在于两种测量方法建立的参考坐标系不同．由中心点坐标值计算环中心的距离，两者的误差仅为0.043mm．本实验中，标记物识别组的测量精度比X光片划线组提高了两个数量级．

表2 环中心距离测量结果

Tab.2 Measurement results of the distance between two rings

5 结 论

本文提出由交互式三维模型重建的方法识别外固定架的安装参数，涉及软件系统开发与识别算法，全文结论如下．

(1) 外固定支架软件系统采用B/S架构与MVC设计模式，重点研究了基于WebGL的三维模型软件技术，包括运用Three.js定义相机和光源等三维场景基本元素、设计三维模型渲染流程．

(2) 外固定支架的位姿识别算法包括标记物位置提取与支架位姿计算．外固定支架与标记物的CT断层扫描信息以STL文件形式存储，基于区域生长算法分割STL文件，借助最小二乘拟合获取标记物球心位置．随后依据多个标记物与环之间的几何关系求解环中心的位置．最后由初始状态坐标系与当前坐标系的旋转变化矩阵获取外固定支架的姿态 参数．

(3) 通过对比实验验证了本文提出的基于标记物的外固定支架安装参数识别方法较传统X光片划线测量方法在精度和效率上都有较大的提升和改善.

［1］ Banerjee S，Cherian J J，Elmallah R K，et al. Robotic-assisted knee arthroplasty[J]. Expert Review of Medical Devices，2015，12(6)：727-735.

［2］ Wukich D K，Belczyk R J. An introduction to the Taylor spatial frame for foot and ankle applications[J]. Operative Techniques in Orthopedics，2006，16(1)：2-9.

［3］ Smith&Nephew. Fracture reduction and deformity software[EB/OL]. https：//www. spatialframe. com，2019-06-21.

［4］ Orthofix. The Orthofix TL-HEX system[EB/OL]. https：//app23.tlhex.com，2019-06-21.

［5］ Response Ortho. Click2Correct web based software [EB/OL]. https：//www. click2correct.com，2019-06-21.

［6］ 葛启航，万春友，邵 醒，等. Taylor空间支架结合计算机辅助闭合复位在胫腓骨骨折中的应用研究[J]. 中国修复重建外科杂志，2019，33(2)：144-148.

Ge Qihang，Wan Chunyou，Shao Xing，et al. Application of Taylor spatial frame combined with computer-assisted closed reduction in the treatment of tibiofibular fractures[J]. Chinese Journal of Reparative and Reconstructive Surgery，2019，33(2)：144-148(in Chinese).

［7］ Zhu Xiaojing. Research on client adaptive technology based on cloud technology[C]// International Symposium on Parallel Architecture，Algorithm and Programming. Singapore，2017：514-521.

［8］ 蔡长安，王盈瑛. C/S和B/S的模式的比较和选择[J]. 渭南师范学院学报，2006(2)：47-50，74.

Cai Chang’an，Wang Yingying. Comparison and choice of B/S and C/S mode[J]. Journal of Weinan Teachers University，2006(2)：47-50，74(in Chinese).

［9］ Chanchai S. PHP framework for database management based on MVC pattern[J]. International Journal of Computer Science & Information Technology(IJCSIT)，2011，3(2)：251-258.

［10］ 孙立军，刘艺伟. 流量计校准网络监控管理系统[J]. 天津大学学报：自然科学与工程技术版，2018，51(8)：825-831.

Sun Lijun，Liu Yiwei. Monitoring and management system for flowmeter calibration network[J]. Journal of Tianjin University：Science and Technology，2018，51(8)：825-831(in Chinese).

［11］ Zhou X P，Wang J，Guo M，et al. Cross-platform online visualization system for open BIM based on WebGL[J]. Multimedia Tools and Applications，2019，78(20)：28575-28590.

［12］ Valentan B，Brajlih T，Drstvensek I，et al. Basic solutions on shape complexity evaluation of STL data[J].

Journal of Achievements in Materials and Manufacturing Engineering，2008，26(1)：73-80.

［13］ 朱 峰. 医学图像自动分割若干关键技术研究[D]. 镇江：江苏大学计算机科学与通信工程学院，2006.

Zhu Feng. Research on Key Technics of Automatic Segmentation in Medical Image[D]. Zhenjiang：School of Computer Science and Communication Engineering，Jiangsu University，2006(in Chinese).

［14］ 李仔麒，马慧彬，李殿奎，等. 改进区域生长法的肝部CT图像ROI提取[J]. 计算机技术与发展，2019，29(1)：150-153.

Li Ziqi，Ma Huibin，Li Diankui，et al. ROI extraction of hepatic CT images with improved regional growth[J]. Computer Technology and Development，2019，29(1)：150-153(in Chinese).

［15］ 杨志永，肖洪旭，李雨泽，等. 基于胸部CT影像的肺血管树分割关键技术研究[J]. 天津大学学报：自然科学与工程技术版，2018，51(2)：175-180.

Yang Zhiyong，Xiao Hongxu，Li Yuze，et al. Research on key technologies of pulmonary vascular trees segmentation based on thoracic CT images[J]. Journal of Tianjin University：Science and Technology，2018，51(2)：175-180(in Chinese).

［16］ NDI. Polaris spectra product features[EB/OL]. https：//www. ndigital. com/medical/products/polaris-family/，2019-09-19.

［17］ 张兴鹏，汪 松，马信龙，等. 两种测量方法对Taylor外固定支架骨折复位精度的影响[J]. 中国矫形外科杂志，2018，26(4)：346-351.

Zhang Xingpeng，Wang Song，Ma Xinlong，et al. Effect of two measurement methods on the accuracy of Taylor external fixator for fracture reduction[J]. Orthopedic Journal of China，2018，26(4)：346-351(in Chinese).

Software Development and Pose Acquisition of the Taylor Spatial Frame

Sun Tao1，Yan Wei1，Sun Zhenhui2，Zhang Tao2，Song Yimin1，Ma Xinlong2，Lian Binbin1, 3

(1. Key Laboratory of Mechanism Theory and Equipment Design of Ministry of Education，School of Mechanical Engineering，Tianjin University，Tianjin 300354，China；2. Tianjin Hospital，Tianjin 300211，China；3. Department of Mechanical Engineering，Tianjin University Ren’ai College，Tianjin 301636，China)

Aiming at developing an external fixator system with high precision，a software for 3D model rebuilding is designed and the method for obtaining 3D mounting parameters is proposed in this paper that solves the problem of low accuracy in existing systems that apply a 2D image from an X-ray photograph to estimate the mounting parame-ters．Firstly，the browser/server(B/S)architecture is adopted considering future application in long-distance treat-ment．On this basis，a 3D model rendering procedure based on WebGL is established．Then，the mounting pa-rameters can be derived by the 3D model of the external fixator shown in the software．The model is divided into two steps，obtaining the maker position and fixator pose．The marker position is identified by a region growing algorithm on the STL file and with least square fitting．The pose of the fixator is computed by the geometry of the marker and fixator．With the fixator pose available，the mounting parameters，such as the distance between the reference and moving rings，can be easily obtained．Finally，experiments are performed to verify the method．Three groups of experiments are designed to determine the distance between rings：a reference group in which the distance is meas-ured by a high precision measuring device，a 3D model based group and a conventional 2D image based group．In the reference group，200measurements are implemented to measure the center of each ring，and the mean values adopted to construct the coordinates of the centers．The same experiments are repeated 10 times to eliminate the measuring errors．In the 3D model based group，a CT image of the external fixator is converted to STL files and the 3D model is built in our software．The coordinates of the centers of the rings are directly obtained and the distance can be computed．In the 2D image based group，the ellipse and lines are drawn on the 2D image of the external fixa-tor from the X-ray photograph，and the distance is estimated．By comparing the distances obtained by the 3D or 2D model with the measured distance，the error between 3D model based method and measured reference is 0.043 mm，and is 4.903mm for the 2D model based．The results show that our method improves the accuracy compared to the conventional method．This study lays a solid foundation for the design of precise and reliable external fixator systems．

external fixator；browser/server(B/S) architecture；WebGL；region growing algorithm；marker identification

TH781

A

0493-2137(2020)06-0593-08

10.11784/tdxbz201906054

2019-06-25；

2019-09-26.

孙 涛（1983—  ），男，博士，教授，stao@tju.edu.cn.

宋轶民，ymsong@tju.edu.cn.

国家重点研发计划资助项目(2018YFB1307800)；国家自然科学基金资助项目(51775367)；天津市重点研发计划京津冀三地协同创新研发资助项目(18YFSDZC00010).

Supported by the National Key R&D Program of China(No.2018YFB1307800)，the National Natural Science Foundation of China (No.51775367)，Tianjin Key R&D Program，Coordinated Innovation Project in the Beijing-Tianjin-Hebei Region (No.18YFSDZC00010).

(责任编辑：孙立华)