基于实时VR和体感控制的医疗辅助机器人——“守护白衣”

河北工业大学 杨 凯，武 滨，徐 楚，苏士鹏，杨淏宇

1 作品简介

产品由上位机、体感控制设备和智能机器人构成，应用了实时VR技术、体感控制技术、嵌入式开发技术、APP开发技术等，具有VR远程查房、VR远程诊断、信息采集和记录、VR智能服务、VR智能换药、自助消毒等功能。笔者创造性的将实时VR技术与体感控制技术相结合，保证远程医疗的效果。产品配备“守护白衣”配套APP用于显示患者信息。该产品可应用于新型冠状病毒的防疫与治疗，也可用于其他传染性疾病的治理与护理。产品结构如图1所示。

图1 产品结构

2 技术原理

（1）实时VR技术：实时VR系统由双目摄像头和头戴式VR显示器构成。双目摄像头形成双目立体视觉，它是机器视觉的一种重要形式，是基于视差原理，并利用成像设备从不同的位置获取被测物体的两幅图像后，通过计算图像对应点间的位置偏差获取物体三维几何信息的方法。

（2）体感控制技术：该产品将机器视觉与可穿戴式体感技术相结合，采用视觉传感器Kinect Xbox和可穿戴式传感器Myo臂章，将用户的自然运动与机器人动作相结合，通过提取人体手臂骨骼和腕部动作信息模拟用户动作，进行机械臂控制。

（3）人脸识别技术：基于树莓派搭载的Python3环境与TensorFlow库，利用树莓派官方摄像头采集图像数据，通过CSI接口与树莓派连接，在编译环境中调用Open Source CV进行图像处理，框画出人脸进行识别，并在USB接口式电容触摸屏上显示，同时利用串口发送给STM32。

3 项目创新点及应用前景

（1）将实时VR技术与体感控制相结合，使VR具有良好的交互性。将其应用于抗击疫情等领域，医护人员可通过体感远程控制机器人，利用实时VR与病人远程交互，在为病人提供高质量服务的同时，保障了医护人员的安全，节约了医疗防护用品的使用。

（2）针对双目摄像头采集的双目视频流，对图像进行畸变矫正和去噪，使用空间域滤波能够较好地保护图像细节，提升立体感，增强使用者的沉浸感和体验感。

（3）摒弃传统单一使用视觉传感器或可穿戴式体感传感器的方式，将机器视觉与可穿戴体感技术相结合，将用户的自然运动与机器人动作相结合，进一步提高控制精度。

4 市场分析

产品前期定位于医疗市场及政府部门，待产品达到一定市场占有率后，将其投放在其他对卫生条件有一定要求的场所，如康复中心、疗养院等。

我国智能医疗市场日渐庞大，随着互联网技术的普及，智能医疗设备将逐渐倍投至相关场所。尤其面对疫情发生时，医护人员存在被传染的风险，因此许多医者和专家都呼吁智能医疗能够快速落地。但考虑到智能医疗技术目前并不完善，对于该产品技术而言，VR与体感控制应用于医疗行业国内尚存在大量空白。