远程医疗中Kinect点云数据的实时传输

李　明, 陈怡霖,, 潘晓英

(1. 加州州立大学弗雷斯诺分校 数理学院, 加利福尼亚 弗雷斯诺 93740;2. 西安邮电大学 计算机学院, 陕西 西安 710121)

远程医疗中Kinect点云数据的实时传输

李明1, 陈怡霖1,2, 潘晓英2

(1. 加州州立大学弗雷斯诺分校 数理学院, 加利福尼亚 弗雷斯诺 93740;2. 西安邮电大学 计算机学院, 陕西 西安 710121)

摘要:提出一种基于Kinect点云数据的远程运动康复系统,并设计一套点云数据实时传输动态压缩方案,来解决系统对网络带宽的高要求。设计方案通过帧丢弃技术确定实际需要传输的帧数，来计算点云数据传输的最低带宽要求，和当前网络可实现带宽，得出点云数据最低压缩倍数，然后得到16叉树压缩数据，来进行网络传输。数值分析和工作流程模拟显示，设计方案能够在有限带宽条件下提高数据传输质量，以保障整个系统的实时通信。

关键词:远程医疗；Kinect；点云数据；实时传输；16叉树

Kinect是一款用于Xbox360游戏的体感周边外设，它能够以大约30fps的帧率同时捕捉目标物体的RGB数据和深度数据，或称RGBD数据[1-2]。RGBD可被转化为每帧含有大约300 000点带颜色信息的点云数据(PointCloudData,PCD)，Kinect正是通过这些PCD，根据3D空间中相关位置变化，来识别玩家的肢体动作[3]。

得益于Kinect的三大功能，即3D影像侦测，人体骨架追踪和音频处理4-5]，Kinect也被应用于运动康复领域。点云库函数(PointCloudLibrary,PCL)中包含诸多针对3DPCD处理的先进算法[6],对Kinect所抓取的实时PCD采用PCL进行处理，可提升其在运动康复领域的应用水平和效率。

对KinectPCD及其应用的研究目前还处于开始阶段，相关工作多数处于算法研究[7-9]和系统设计层面[5]，KinectPCD在远程医疗的运动能力康复领域还未有使用记录。

将KinectPCD运用于远程运动能力康复系统，必须首先进行系统整体设计，同时还要保证系统满足PCD对网络带宽的高要求。本文拟提出一种基于KinectPCD的远程运动康复系统，设计一套PCD实时传输动态压缩方案，并借助数值分析与仿真模拟来验证其可行性。

1Kinect PCD远程医疗系统

基于KinectPCD的远程运动康复系统具有智能诊断与实时诊断两种工作模式，如图1所示。

图1　基于Kinect PCD的远程医疗方案

将Kinect捕捉的病人运动信息与医生设置的评判标准进行比对，即可诊断病人状况。若病人对Kinect诊断结果满意，则无需医生对其进行实时监控，只需将Kinect采集到的数据生成视频文件保存于用户端，在网络空闲时传输至监控端备份数据库，以供医生可能的查验。否则，病人也可以转入实时监控诊断模式，使Kinect将实时视频数据传输到医生所在的监控端进行人工诊断。Kinect智能诊断和医生实时诊断相结合的方式可降低医生的工作量，减少网络传输数据量，节省带宽。

系统对PCD的实时传输需要经过动态压缩处理，以实现PCD在有限带宽中的传输，保证实时诊断的质量和效率。系统设计应以PCD压缩技术为核心，帧丢弃技术为支撑，能够实现自适应的KinectPCD视频动态压缩，从而最大限度地降低对传输带宽的需求，并保证传输质量，以满足运动能力康复领域远程医疗的需要。

2Kinect PCD压缩方案

2.1基于16叉树的点云压缩

多数情况下，相邻帧图像信息的变化部分远小于不变化部分，直接采用8叉树[10]会无区别地将变化部分的信息和不变化部分的信息每过一帧传输一次，从而增加带宽开销。

为了减小带宽开销，只捕捉图像信息变化的部分进行传输，而对于不变化的部分则继续使用上一帧的图像信息,使用16叉树(差分8叉树)来描述图像中变化部分的位置信息，并对该位置信息的二进制编码进行传输。这种16叉树技术能够将点云中没有变化的位置信息作为冗余数据加以消除。基于16叉树的点云压缩原理如图2所示。

图2　基于16叉树的点云压缩

2.2点云位置细节压缩

为了捕捉到每帧点云状况的细微变化，可以不断增加16叉树的深度，用更多比特数来描述点云的位置信息，但这样会使计算量呈指数形式递增。为减少计算复杂度，只需将16叉树叶节点的深度限制在一定范围内，而在点云的叶节点处，以叶立方体的中心位置代表叶立方体内点云的位置信息，或用离散坐标的形式描述立方体内点云的位置信息。前者称之为点云位置合并压缩，后者称之为点云位置细节压缩。

点云位置信息在网络传输时，与16叉树(或8叉树)二进制序列码区分开来单独编码，称之为位置细节二进制序列码[8]。点云其他相关信息——如颜色、根节点所代表的立方体容积、8叉树(或16叉树)的深度值等——的编码统称为特征二进制序列码。

2.3适合医疗环境的压缩算法

KinectPCD压缩方案可分为4种：第1种是包含点云位置合并压缩的8叉树压缩；第2种是包含点云位置合并压缩的16叉树压缩；第3种是包含点云位置细节压缩的8叉树压缩；第4种是包含点云位置细节压缩的16叉树压缩。

对于医疗环境中的实时监控，采用第1种或第3种方案，即使经过压缩后，数据量仍然较大，并不适用于实时传输。16叉树相对于8叉树而言，能够有效降低位数/像素(bitsperpixel，bpp)，压缩精度更高。不过，若采用第2种方案，点云位置合并压缩虽可降低压缩算法的计算复杂度，但同时也会降低计算精确度，而点云位置细节压缩在实时条件下不仅能够降低压缩算法的计算复杂度，而且能够提高计算精确度。因此，选用第4种方案来设计具备动态特征的压缩方案。

3医疗环境下的动态压缩传输方案

3.1Kinect视频传输的动态压缩传输方案

在具体医疗环境中，病人行动相对缓慢，且经常需要医生进行实时监控，故在设计压缩方案时，应尽量剔除冗余信息，降低复杂度，节省带宽，以满足实时监控的需要。

在实时诊断中，考虑到需要传输的PCD帧数变化幅度较大，而且现实中的网络可实现带宽不稳定，为保证KinectPCD视频的质量，将动态压缩传输方案分为数据传输可行性判定和数据传输两个阶段。

Kinect视频传输的动态压缩传输方案可具体描述如下。

步骤1对病人进行Kinect视频采集，得到KinectPCD。

步骤2由帧丢弃技术确定每秒的帧实际传输数预测值Ptransport。

步骤3由Ptransport计算最低带宽要求Brequire，同时计算网络可实现带宽Breal。

步骤4由Brequire和Breal计算最低压缩倍数N。

步骤5比较N和医生自行确定的最大压缩倍数Nh。如果N≤Nh，则转至下一步，否则放弃传输。

步骤6用基于16叉树的压缩算法对KinectPCD进行压缩。

步骤7将压缩后的KinectPCD传输至服务器，即医生所在的监控端。

其中步骤1～5即为数据传输可行性判定阶段，步骤6～7即为数据传输阶段。

3.2帧丢弃

在具体医疗环境数据实时传输条件下，可通过“帧丢弃”对基于16叉树的点云压缩加以改进。比较发送端当前帧和上一帧的图像，若变化很小，则丢弃当前帧图像，不予传输。此改进可在病人运动缓慢的情况下减少每秒传输帧数，节省带宽。

确定是否丢弃当前帧的方案有两套。

方案1在压缩比例一定，即叶立方体大小一定的条件下，若从根节点开始，X层之内的异或结果均为00 000 000，则将当前16叉树的异或结果当作全0处理，舍弃当前帧。其中X由当前压缩比例所决定。

方案2从16叉树根节点所在层的下一层开始，给每层设置权值，如第1层的权值为1，第2层的权值为a，第3层的权值为b……，之后用异或结果中的1与之相乘，再相加，最后得到一个加权和。对于加权和过低的帧，则丢弃。

在时长为t秒的时间段内，记其帧丢弃数为Fabandon(t)，帧实际传输数为Ftransport(t)，则此时间段末对下一秒的实际传输数预测值为

Ptransport(t)=Ftransport(t)-Ftransport(t-1)。

参考前一秒的压缩倍数N(t-1),可得下一秒数据传输最低带宽预测值Brequire(Ptransport(t),N(t-1))。

3.3网络可实现带宽

系统每隔一段时间(如30s)向服务器发送3个测试数据包并且请求响应,在接到响应后，根据每个测试包的大小和往返时延计算带宽并取平均值,以确定网络可实现带宽。

设时刻t所发送测试包i(i=1,2,3)的大小为Pi(t)，其在网络中传输的往返时延为τi(t)，则此刻网络可实现带宽为

不同于服务商提供的名义带宽，此带宽为实时测试所得，代表着网络数据传输的真实能力，对于判断系统传输PCD的可靠性至关重要。

3.4系统运行接受条件

在具体医疗环境中，医生对病人的监控直接影响着病情诊断。传输开始阶段，系统会自动判断是否接受传输请求，以避免影响监控端视频显示质量，造成医生对病人的病情误判。系统运行接受条件的具体步骤可描述如下。

(1) 医生根据医疗环境需要设定一个压缩倍数最大值Nh，如果N(t)>Nh就有可能导致医生对病人病情的误判。

(2) 系统能够实时自动计算时刻t+1最低带宽要求的预测值Brequire(Ptransport(t),N(t-1))，以及时刻t网络可实现带宽Breal(t)，并由此计算出时刻t+1压缩倍数的预测值N(t+1)。

(3) 对比Nh和N(t+1)，如果N(t+1)≤Nh,则系统继续运行，否则系统终止运行。

3.5动态调整压缩比例

现实医疗环境下的数据实时传输必须根据当前带宽状况，提供最佳监控端视频显示质量，这就需要对PCD进行动态压缩，亦即，系统不对PCD按照固定比例进行压缩，而是依据带宽状况自动调整压缩比例。

对于包含点云位置细节压缩的16叉树压缩，决定压缩比例的是叶立方体的体积，或叶节点的深度值，或固定点云的bpp，此三者等效。不妨以叶立方体边长p作为决定压缩倍数N(t)的标量，其中p正比于N(t)。

压缩比例的动态调整应与系统运行接受条件相结合。系统在计算出时刻t+1最低带宽要求的预测值Brequire(Ptransport(t),N(t-1))以及时刻t的网络可实现带宽Breal(t)之后，通过

计算时刻t+1的压缩倍数N(t+1)。

动态压缩技术和帧丢弃技术的两套帧丢弃方案并不冲突。其原因在于，压缩比例只和叶节点在16叉树中的深度有关，而方案1中“X层”是从根节点开始计算的，方案2中每层的权值是以根节点所在层的权值为最大，随着层数增加，权值也依次递减。在压缩倍数N(t)增加的情况下，帧丢弃率也会增加，进一步节省带宽。在压缩倍数N(t)减小的情况下，对于方案1，如果“X层”中不包含新增立方体所在层，则不会影响帧丢弃率，反之，则会影响帧丢弃率，而对于方案2，16叉树的深度越大，对帧丢弃率的影响越小，反之则越大。

4仿真实验

使用C++编程模拟数据可行性判定阶段的工作状况。在Brequire(Ptransport(t),N(t-1))和Breal(t)一定的条件下，编程计算时刻t+1的压缩倍数N(t+1)，以检验系统运行终止条件的工作状况。

由于仅模拟系统在时刻t数据传输可行性判定阶段的工作状况，故可假设N(t-1)为常数，并不影响实验的准确性。

假设系统每秒最多能够传输30帧，每帧需要使用3MB数据量表示，则时刻t+1最低带宽要求的预测值为720Mbps。考虑到具体医疗环境，假设压缩倍数的最大值为Nh=100。

在Ptransport(t)和Breal(t)的不同取值条件下，计算压缩倍数的预测值N(t+1)，相应结果如表1所示。

表1　压缩倍数的预测值

在康复诊断时，病人移动一般较为缓慢，每秒传输的帧数一般在5～10之间。如果带宽为10Mbps，压缩倍数则为12～24。根据文[8]，这个压缩倍数的传输质量是较为满意的。

以“0”代表进入数据传输阶段，“1”代表放弃传输，则系统运行终止条件的工作状况如表2所示。

表2　系统运行终止条件的工作状况

实验结果说明,KinectPCD视频动态压缩传输方案中的数据传输可行性判定阶段具有良好的可实现性和可操作性。

5结语

提出一种基于Kinect点云数据(PCD)的远程运动康复系统，它具备智能诊断和实时诊断两种工作模式，患者可通过智能诊断进行自我康复状态评估，或者可通过实时诊断由医生评估患者康复状态。针对PCD的实时传输带宽的高要求，设计了PCD实时传输的动态压缩方案。在16叉树压缩算法的基础上实现了动态的最优压缩。利用帧丢弃技术降低对实际带宽的需求，同时提高了传输质量。整个系统可以自动计算各种参数并进行自行调节。基于C++的数值分析和工作流程模拟验证了方案的可行性。

参考文献

[1]CRUZL,LUCIOD,VELHOL,etal.KinectandRGBDImages:ChallengesandApplications[C]//2012 25thSIBGRAPIConferenceonGraphics,PatternsandImagesTutorials(SIBGRAPI-T).WashingtonDC:IEEEComputerSociety, 2012:36-49.

[2]张毅，张烁，罗元，等. 基于Kinect深度图像信息的手势轨迹识别及应用[J]. 计算机应用研究, 2012, 29(9): 3547-3550.

[3]NEUMANND,LUGAUERF,BAUERS,etal.Real-timeRGB-Dmappingand3-DmodelingontheGPUusingtherandomballcoverdatastructure[C]// 2011IEEEInternationalConferenceonComputerVisionWorkshops(ICCVWorkshops).WashingtonDC:IEEEComputerSociety, 2011: 1161-1167.

[4]丁晨，王君泽，瞿畅，等.Kinect体感交互技术及其在医疗康复领域的应用[J]. 中国康复理论与实践, 2013, 19(2): 136-138.

[5]ANTOND,GONIF,ILLARRAMENDIA,etal.KiReS:AKinect-basedtelerehabilitationsystem[C]//2013IEEE15thInternationalConferenceone-HealthNetworking,ApplicationsandServices.WashingtonDC:IEEEComputerSociety, 2013: 456-460.

[6]RUSURB,COUSINSS. 3dishere:Pointcloudlibrary(PCL)[C]// 2011IEEEInternationalConferenceonRoboticsandAutomation(ICRA).WashingtonDC:IEEEComputerSociety, 2011: 1-4.

[7]FUJJ,MIAOD,YUWR,etal.Kinect-LikeDepthDataCompression[J].IEEETransactionsonMultimedia, 2013, 15(6):1340-1351.

[8]BLODOWN,RUSURB,GEDIKLIS,etal.Real-timecompressionofpointcloudstreams[C]//2012IEEEInternationalConferenceonRoboticsandAutomation(ICRA).WashingtonDC:IEEEComputerSociety, 2012: 778-785.

[9]FANYX,HUANGY,PENGJL,etal.Pointcloudcompressionbasedonhierarchicalpointclustering[C]//SignalandInformationProcessingAssociationAnnualSummitandConference(APSIPA).WashingtonDC:IEEEComputerSociety, 2013: 1-7.

[10] 权毓舒，何明一. 基于三维点云数据的线性八叉树编码压缩算法[J]. 计算机应用研究, 2005(8): 70-71.

[责任编辑:瑞金]

Real-timeKinectpointclouddatatransmissionintelemedicineapplications

LIMing1,CHENYilin1,2,PanXiaoying2

(1.CollegeofScienceandMathematics,CaliforniaStateUniversity,Fresno93740,USA;2.SchoolofComputerScienceandTechnology,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:A kinect point cloud data (PCD) based telerehabilitation system is proposed and a dynamic compression scheme for real-time PCD transmission to address the system requirement for high network bandwidth is designed. In this scheme frame skipping technology is used to decide number of frames to be transferred and then the lowest bandwidth requirement and the network realizable bandwidth for the estimation of the lowest required PCD compression ratio are calculated. These are then applied to obtain the differential octree compressed data for network transmission. A C++ based data analysis and a workflow simulation are carried out on this scheme. Results show that this scheme can keep transmission quality under limited network bandwidth, thereby ensure the system real-time communication.

Keywords:telemedicine, Kinect, point cloud data (PCD), real-time transport, differential octree

doi:10.13682/j.issn.2095-6533.2016.01.006

收稿日期：2014-08-26

基金项目：美国国家自然科学基金项目(1229213)

作者简介：李明(1974-)，男，博士，副教授，从事无线网络研究。E-mail:mingli@csufresno.edu 陈怡霖(1985-),男，硕士研究生，研究方向为多媒体数据传输。E-mail:xiyoucyl@126.com

中图分类号：TP391

文献标识码：A

文章编号：2095-6533(2016)01-0033-05