基于图像形态学的软组织变形测量方法研究

白辉全， 高德东,2， 王 珊， 李 强， 郑浩峻

（1. 青海大学机械工程学院，青海 西宁 810016；2. 浙江大学流体动力与机电系统国家重点实验室，浙江 杭州 310027；3. 中国科学技术馆，北京 100012）

基于图像形态学的软组织变形测量方法研究

白辉全1， 高德东1,2， 王 珊1， 李 强1， 郑浩峻3

（1. 青海大学机械工程学院，青海 西宁 810016；2. 浙江大学流体动力与机电系统国家重点实验室，浙江 杭州 310027；3. 中国科学技术馆，北京 100012）

为了准确测量针穿刺过程中的软组织变形，提出了一种基于图像形态学的软组织形变测量方法。阐述了边缘检测、图像膨胀和腐蚀等算法，获取组织内标识物增强图像。提取标识物重心位移，并存入测量矩阵M中。搭建了包括精密运动装置、工业相机、光源和嵌入标识物的水凝胶假体等组成的组织形变测量平台。实时采集了穿刺过程图像，并利用形态学算法测量了组织内标识物的位移。经误差补偿后，组织形变测量误差小于0.7 mm。该方法可提高机器人辅助针穿刺手术精度。

软组织；针穿刺；组织变形；形态学

针穿刺是一种复杂的微创手术过程，大量外科诊断、治疗和实验研究都需要针穿刺到特定的靶点（病灶点），其中靶点大多数都集中在软组织器官上（如肾、肝脏、前列腺等）[1-2]。针穿刺的误差一般控制在毫米级，否则可能会导致严重的并发症[3]。穿刺针在穿刺过程中与软组织进行交互，①穿刺过程中穿刺针受到横(轴)向的摩擦阻力和纵向的组织压力使其偏离预定轨迹，穿刺针不能精确地到达目标靶点；②在穿刺过程中，由于穿刺针对软组织的作用力使软组织发生形变使目标靶点偏离原来的位置，穿刺针拔出后，组织发生非线性恢复，使释放的放射粒子或药物未放置到理想的位置，损害周围的组织器官[4]。在穿刺插针机器人的帮助下，DiMaio和 Salcudean[5]基于平面刺入实验得到软组织的二维形变。现在已有很多种方法对软组织的形变进行研究[6-7]，但是还不能直接利用到机器辅助针穿刺过程。

为了直观地研究针穿刺过程中软组织的形变，本文通过工业相机采集穿刺过程图片，采用图像形态学方法，定量测量软组织形变。

1 方法

针穿刺是一个动态的过程，在穿刺过程中软组织的形变测量较困难，本文通过实时采集得到穿刺过程中不同时刻软组织的图像，通过图像形态学处理，提取每张照片软组织内部每个标识物的重心坐标，根据穿刺过程中每时刻标识物的重心坐标变化得到软组织的形变。

1.1 图像数学形态学算法

数学形态学是一种非常实用的图像处理方法，对临床医学的应用和发展有着重要的作用。图像采集器采集的 RGB彩色图像不利于图像处理[8]，本文首先通过matlab中 im2bw函数将索引图像转换为二值图像，通过多次调节设定归一化的阈值，将图像进行取反得到二值图像。

对生成的二值图像通过不同的边缘检测算子处理，最终确定一种二阶导数的高斯-拉普拉斯(Laplacian of Gaussian, LOG)边缘检测算子，该算子先用高斯函数对图像滤波，然后对滤波后图像进行拉普拉斯运算，计算结果等于零的点认为是边界点。LOG运算：根据卷积求导法：,其中，f(x,y)为图像，g(x,y)为高斯函数：

同理：

故：

对边缘检测的图像进行消除尖刺，清除孤立点处理，未连接的像素搭桥处理，对处理后的图像进行膨胀：

其中，A为搭桥处理后的集合，

其中，所有非边界（背景）点标记为0，将1赋给p点开始，整个区域用1填充，这里 X0=p，B表示的是对称结构元素， AC表示不包含集合A的所有元素的集合，当 Xk=Xk-1，则算法在迭代的第k步结束。对膨胀后的图像进行腐蚀：

最后对腐蚀后的图像进行填充处理。经过边缘检测、膨胀和腐蚀处理，可以得到可用于测量的软组织内部标识物的增强图像。

1.2 软组织变形测量

前一步骤已经得到了标识物的形态学处理图像，利用bw=～im2bw(x, q)函数其中x为处理图像，根据图像设定q的阈值。通过bwarea函数计算二值图像的面积，根据计算的标识物的面积，设定p值，利用bw1=wareaopen(bw, p)函数，删除二值bw图像中面积小于p的图像。利用bw2=and(bw～bw1)函数，保存面积小于p值得图像，将面积较大的噪声去除，在提取标识物重心坐标前进行有效区域选择，减少噪声的影响。图像重心提取，以图像的左上角为原点，穿刺针进入软组织的方向为 X轴，以垂直于穿刺针进入软组织的方向为Y轴建立坐标系，根据标定的距离将像素转换为毫米，如果重心的数目与标识物的个数相等时，将每张图片中的每颗珠子的X、Y坐标提取放入M的矩阵中，M为m × n矩阵。其中 m为图片的张数，n为标识物个数的二倍，表示第 i张图片中第 ak个珠子的X坐标，表示第i张图片中第 ak个珠子的Y坐标。（其中 k ≤ 3 0 , i ≤ n,且k,i∈N*）当重心的个数和珠子的个数不相等时，采用手动方式将错误点清除，然后将标识物的重心坐标放入M的矩阵中。

1.3 误差补偿

对得到的 M矩阵进行误差补偿，根据图像处理出来的标识物之间的距离进行误差补偿，在图像处理之前两标识物重心间的距离 d0是一个定值，图像处理和像素间的转换后两标识物之间的距离为 d1与处理前距离 d0之比，ρ称作比例系数，对M矩阵乘以比例系数 M1= M × ρ，得到新的矩阵 M1， M1为误差补偿后的矩阵。根据 M1矩阵进行图形绘制，本文方法的流程如图1所示。

图1 本文方法流程图

2 实验

2.1 实验装置

实验中使用的介入穿刺针，型号分别为18 G，20 G和21 G，针轴直径分别是0.84 mm，0.58 mm和0.51 mm，针尖形状均为单斜面针尖。穿刺实验的动力由普爱纳米位移技术（上海）有限公司生产的型号为ML01.4A1的精密运动平台提供，图像的采集是利用型号为TXG12C的Baumer相机、型号为 H0514-MP2的 Computar镜头和型号为BT-200*300W的OSe_背光源等组成。实验装置图如图2所示。

图2 实验装置图

图2中针夹持器用来夹持穿刺针，组织容器用来盛放软组织或组织假体。针由夹持器固定，可在丝杠的驱动下沿直线以不同的速度运动。运动平台由型号为Mercury C-863.10的微位移直流电机驱动器控制。相机和背光源通过支架固定在实验台上。

2.2 组织样本选用

很多穿刺手术与肝脏相关，如肝癌诊断时的活检手术，肝脏移植后的活检以及肝癌的穿刺治疗等[9]。通常用PVA水凝胶作为人造皮肤，人造肌肉等人工代用品，在生物医学和实验方面得到广泛应用[10]。当二甲基亚砜与去离子水的质量份数比为 3∶2时，制备出的凝胶透明度和力学性能最好。当聚乙烯醇、二甲基亚砜、去离子水的质量份数比为 8∶60∶40，冷冻-解冻循环次数为 2次时，制备出的水凝胶的力学性能与肝脏组织最为接近[11]。为获得组织内部形变规律，以直经为0.7 mm的黑色铅芯作为珠子，将珠子作为标识物嵌进透明的水凝胶假体内，黑色的珠子与水凝胶假体在图像处理的过程中便于区分。

2.3 实验过程

在穿刺实验中，为了使穿刺针以恒定的穿刺速度进入软组织，实验开始前使针尖初始位置距离软组织表面10～30 mm的范围之内。针尖的总位移设定为 100 mm，保证针尖接触组织表面时穿刺速度达到某一恒定值，然后再以相同的速度拔出组织回到原点，表1给出了不同穿刺速度对应的采集照片的不同帧频。

表1 不同穿刺速度的不同帧频表

通过改变穿刺针的型号和速度的研究，了解穿刺针的型号和速度对软组织变形的影响。

3 算例

采集的RGB彩色图像分辨率为1292×960如图3(a)所示，首先对RGB彩色图像有效区域进行选择，根据本文方法利用im2bw函数将索引图像有效区域转换为二值图像，经过多次调节设定归一化的阈值为0.53，进行取反生成二值图像如图3(b)所示。

图3 索引图像和二值图像

对图3(b)分别根据Roberts边缘算子、Sobel边缘算子和 LOG边缘算子计算，分别得到图4(a)～(c)。其中，LOG算子提取的标识物（即珠子）边界较为准确。

图4 不同边缘检测的比较

对图 4(c)边缘检测后的图像进行消除尖刺，清除孤立点，并将未连接的像素搭桥处理，得到图5。

图 5 消除尖刺、清除孤立点、搭桥

对图5进行膨胀，根据多次调节选取三次膨胀图像，经膨胀后的图像如图6(a)所示，并进行填充得到图6(b)。对图6(b)腐蚀3次后得到图6(c)；对图6(c)图像填充可得图6(d)。

图6 膨胀、腐蚀和填充图像

由图6可知，在软组织内部穿刺针的图像存在噪声，根据面积关系，尽量减少手动操作的次数，将多次调节面积设置为100，对大于100的区域进行剔除，去噪后的图像如图7所示。

图7 去除面积较大的噪声

在穿刺针刚进入软组织时，针尖的面积和珠子的面积相近如图8(a)所示，这时采用手动去除噪声的方法，将针尖的左上角和右下角进行标注，选取错误重心点去除针尖噪声，如图8(b)所示。

图8 重心错误点的处理

4 分析

设第一颗珠子和第五颗珠子之间的距离为定值d0=60 mm，对得到的M矩阵进行误差补偿。

由图像处理提取的第一颗重心 Y坐标 M (1,2)和第五颗珠子重心 Y坐标 M ( 1,10)的距离1(1,10) (1,2) dM M =- ，误差010e = d - d ，比例系数，误差补偿后矩阵M1=M×ρ。表2为不同速度和针型对应的误差参数。

表2 不同速度和针型的误差补偿

根据误差补偿后的矩阵计算出标识物的位移，如图9所示。其中图9(a)表示穿刺针在图3(a)所示的位置进入软组织，得到不同位置处标识物的位移。图9(b)表示相同针型在不同速度下得到的同一位置标识物的位移。

图9 不同情况标识物的位移

从图9(a)可看出，当穿刺针到达最大深度时标识物的位移最大，在距离穿刺针位置越近处标识物的位移越大，在距离标识物位置较远处标识物位移较小。这与马远明[12]采用的 B超图像进行的实验结果相似，表明本文采用的基于图像形态学研究软组织变形的方法有效可行。由图9(b)可得出不同的穿刺速度，对软组织的变形影响较小。

5 结 论

针对软组织的内部变形不易测量，本文采用图形处理技术，通过研究软组织内部标识物的位移来反映软组织的变形。通过标识物图像的绘制表明，采用图像处理技术来研究软组织的变形是有效可行的。在穿刺手术过程中，可将所需躲避障碍物和病灶点作为标识物采用本方法进行测量，能为穿刺提供更为精确的反馈信息，利于提高穿刺靶点精度，提高手术成功率。

[1] Misra S, Macura K J, Ramesh K T, et al. The importance of organ geometry and boundary constraints for planning of medical interventions [J]. Medical Engineering & Physics, 2009, 31(2): 195-206.

[2] Abolhassani N, Patel R, Moallem M. Needle insertion into soft tissue: a survey [J]. Medical Engineering & Physics, 2007, 29(4): 413-431.

[3] DiMaio S P, Salcudean S E. Interactive simulation of needle insertion models [J]. IEEE Transactions on Biomedical Engineering, 2005, 52(7): 1167-1179.

[4] 赵呈涛, 曾庆军, 刘海霞. 穿刺软组织中针的受力形变仿真和偏差分析[J]. 科学技术与工程, 2012, 12(11): 2567-2571.

[5] DiMaio S P, Salcudean S E. Needle steering and motion planning in soft tissues [J]. IEEE Transactions on Biomedical Engineering, 2005, 52(6): 965-974.

[6] Gao Dedong, Lei Yong, Zheng Haojun. Needle steering for robot-assisted insertion into soft tissue: a survey [J]. Chinese Journal of Mechanical Engineering, 2012, 25(4): 629-638.

[7] 高德东, 高宜朋, 郑浩峻. 针穿刺软组织变形有限元仿真[J]. 计算机辅助设计与图形学学报, 2009, 21(11): 1601-1605.

[8] 廉 宁, 徐艳蕾. 基于数学形态学和颜色特征的车牌定位方法[J]. 图学学报, 2014, 35(5): 774-779.

[9] Okamura A M, Simone C, O′Leary M D. Force modeling for needle insertion into soft tissue [J]. IEEE Transactions on Biomedical Engineering, 2004, 51(10): 1707-1716.

[10] 柳明珠, 程镕时, 钱人元. 聚乙烯醇水凝胶溶胀特性研究[J]. 高分子学报, 1996, 16(2): 234-238.

[11] 许旺蓓. 针刺软组织有限元仿真及实验研究[D]. 天津:天津大学, 2009.

[12] 马远明. 软组织针穿刺变形测量及显示系统研究[D].杭州: 浙江大学, 2014.

A Measurement Method for Soft Tissue Deformation Based on Image Morphology

Bai Huiquan1, Gao Dedong1,2, Wang Shan1, Li Qiang1, Zheng Haojun3
(1. School of Mechanical Engineering, Qinghai University, Xining Qinghai 810016, China; 2. State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University, Hangzhou Zhejiang 310027, China; 3. China Science and Technology Museum, Beijing 100012, China)

A method is provided for measuring soft tissue deformation based on the image morphology in order to obtain the amount of tissue deformation during needle insertion procedure accurately. The algorithms of edge detection, image expansion and corrosion are explained and employed to enhance the images of the markers embedded into soft tissue. The centroids of the markers are extracted and stored into the measurement matrix M. A measurement platform, including the precision motion stage, industrial camera, light source and crystal artificial tissue with marker, is built. The real-time images are collected during needle insertion procedure. The displacements of the markers are calculated using the morphology-based method. The measurement error is less than 0.7 mm with the compensation. The method could improve the accuracy and precision of robot-assisted needle insertion surgeries.

soft tissue; needle insertion; tissue deformation; morphology

TP 391

A

2095-302X(2015)05-0771-05

2015-04-08；定稿日期：2015-06-08

国家自然科学基金资助项目(51165040)；青海省自然科学基金资助项目(2015-ZJ-906)

白辉全(1988-)，男，山东巨野人，硕士研究生。主要研究方向为医疗机器人。E-mail：857776465@qq.com

高德东(1980-)，男，山东荣成人，副教授，博士研究生。主要研究方向为医疗机器人、生物制造技术。E-mail：gaodd@qhu.edu.cn