基于“互联网+”的高清医学远程示教与会诊综合云平台的研发及应用

陈 剑，李力强，黎 祺，张贵锋，温鸿源，何启雄，伍乙生

（肇庆医学高等专科学校，广东肇庆526020）

0 引言

临床见习是临床实习的实践基础[1]，但受限于客观因素[2]，大批学生集中观摩的传统组织方式教学效果不佳。为满足医学生现场教学、同行学术交流和专家会诊等需求，一些医院开始采用5G通信和虚拟现实（virtual reality，VR）等最新技术开展远程示教和会诊平台的研究和建设[3-5]，并取得了显著的成效。但目前还普遍存在以下问题：（1）音、视频互动性差，远程无法和现场实时有效互动；（2）音、视频信号的采集设备欠缺隐蔽性，容易使患者产生紧张和抵触情绪；（3）平台可移动性差，不能应对突发情况；（4）不能根据需要将全景视频信号、术野视频信号、监护设备视频信号和教师PPT自动生成微课或课件；（5）缺乏可以实现直播、储存、切片加工处理和点播等多功能的综合视频资源管理系统。

我校及附属医院每年组织约4 000名医学生开展临床见习和实习。为解决学生在术野狭窄科室难以多方位完整观看手术操作的精细过程、可能增大污染无菌环境的风险、影响主刀医生操作等问题，我校及附属医院共同探索并设计了基于“互联网+”的高清医学远程示教与会诊综合云平台，以切实提高临床见习效果。

1 平台设计

1.1 需求分析

本平台针对国内现有远程示教平台的不足，重点关注口腔科和手术室等术野狭窄科室的视频信号采集及便捷移动式示教平台的搭建，具体实现以下功能：

（1）支持实时高清音、视频直播和互动。平台能对相关科室的诊疗或手术进行实时全局视野和术野等多角度可变焦的高清音、视频直播；增设蓝牙通信装置，临床医生操作时不干扰患者即可与远端示教室师生进行实时语音互动[6]，并和示教室教师进行现场双向讲解。

（2）支持专家远程会诊。在相关科室遇到复杂、疑难病例时，平台可邀请异地高水平专家，通过互联网将低延时的高清音、视频信号传送到异地专家的IP终端，使现场医生和异地专家可通过平台进行病例讨论和实时技术指导，提高医疗效率[6]。

（3）支持同步采集各种主流专业医疗设备的信号。平台能对接高清晰度多媒体接口（high definition multimedia interface，HDMI）、视频图形阵列（video graphics array，VGA）接口、数字视频接口（digital visual interface-integrated，DVI-i）、数字分量串行接口（serial digital interface，SDI）、高清数字输入与输出端口（high definition-serial digital input，HD-SDI）和复合视频接口等各种常用信号接口，接收内镜、心电监护仪、麻醉机、呼吸机以及影像归档和通信系统（picture archiving and communication systems，PACS）等各种主流专业医疗设备的显示输出[7]，以便可以多画面、多角度、全方位地完整观看和了解整个手术过程[8]。

（4）术野摄像头可以实现最佳位置、最佳角度，达到最佳成像效果。术野摄像头是整个平台的技术难点。口腔科的术野摄像头置于牙科综合治疗台的LED灯罩内，手术室的术野摄像头置于手术台的无影灯内，不占用医生有限的操作空间，避免患者紧张和疑虑[6]。

（5）具备视频、微课制作等后期编辑功能。平台可将示教过程中导播的全景视频信号、术野视频信号、监护设备视频信号、教师PPT等自动录播并合成一个视频文件，再自动上传到视频资源管理系统。教师能在视频资源管理系统中对视频进行切片加工和后期编辑，生成微课和课件，学生可以通过互联网在系统中收看直播或点播，可以对各类手术的实施细节进行反复观察和模仿，从而为现场实操打下坚实基础[9]。

（6）支持灵活多样的示教和会诊接收方式。除了在示教室和会诊室通过高清大屏或投影仪观看示教或参与会诊外，师生或专家还可以使用计算机、手机和平板计算机等移动终端通过互联网实时接入平台。

（7）移动便携式设计。平台具有移动便携式的直、录播设备[10]，无需为医院所有科室都安装固定的示教和会诊设备，就能满足医院所有科室多种情景的手术示教和会诊的需要，实现医院所有科室远程示教和会诊的全覆盖。

（8）功能模块化设计。平台要逐步与医院信息系统集成，医生、护士或现场教师能在手术期间实时调阅患者的病历资料，实现手术视频资料的临床、科研、教学、举证的一体化，为全面数字化手术室的建设打好基础[11]，同时也便于平台后期整体的维护升级。

1.2 整体架构

平台基于IP网络，采用H.264 High Profile高清传输技术和AAC（advanced audio coding）音、视频编码技术的录播主机，对手术过程的音、视频信号进行双向实时远程传输和储存，从而实现对手术过程的实时异地示教和会诊[12]。平台的整体架构分为前端节点、网络层、主控层和用户层4层，如图1所示。

整个平台由信号采集模块、信号编码及转发模块、信号控制模块、信号显示模块和视频资源管理系统[13]5个部分构成（如图2所示），各手术室、诊疗室和示教室为信号显示应用场所，通过互联网实现诊疗、手术过程的示教和专家会诊。

图1 高清医学远程示教与会诊综合云平台架构图

图2 高清医学远程示教与会诊综合云平台构成图

2 平台实现

2.1 信号采集模块

实现最佳前端术野视频信号采集是平台研发的重点工作，该模块主要包括口腔科术野视频信号采集模块，手术室术野视频信号采集模块，可移动手术示教推车前端音、视频信号采集模块和名中医诊疗室前端音、视频信号采集模块。口腔科术野视频信号由自主研发的口腔术野摄像头采集；手术室采用派可斯医疗全高清数字摄像LED手术无影灯实现术野狭窄环境下的视频信号采集，根据示教需要，为学生在远程端提供不同角度、不同视野范围的实时清晰影像；可移动手术示教推车和名中医诊疗室视频信号的采集由总像素为274万、分辨力可达1080P 60/50的奥威亚高清云台摄像机HD-300S和20倍光学变焦的总像素200万、支持1080P的科达IPC4X5全景摄像高清高速红外球型网络摄像机共同完成。

这四种方法从不同的角度研究了三道大题和整卷难度的关系，得出的结论也略有不同.综合考虑来看，第三道大题与整卷难度关系相关性最高，对整卷难度的影响也较大，这也从基于数据的实证研究角度佐证了高考命题中对于解答题的定位，即解答题对高考数学整卷难度起到的决定性的作用.

（1）口腔科术野视频信号采集模块：高清摄像头完全嵌入牙科综合治疗台的LED灯罩中部（如图3所示）[6]，在不影响医生视线的前提下高清摄录口腔内的操作情况，视频信号能同时输出到录播主机和外置的高清显示器。

（2）手术室术野视频信号采集模块：手术台配备中置可330°旋转的高清摄像系统的LED手术无影灯（如图4所示），照明亮度和术野光斑大小可通过旋转手柄进行调整，保证术野获得稳定的照明并能拍摄到高清的术野画面，最大程度还原现场手术情景。

（3）可移动手术示教推车前端音、视频信号采集模块：该模块集成了高清云台摄像机、麦克风、显示器和无线路由器等设备，能在无线Wi-Fi网络信号和运营商4G网络信号覆盖的区域内利用平板计算机进行无线导播。可移动手术示教推车（如图5所示）自带电源，移动灵活，可在各类手术室间进行移动示教部署，非常适合应用于远程查房和各种突发的远程急救会诊和场景教学，解决了国内常规远程示教平台只能在固定场所应用、不具备可移动性、不适用于突发和应急环境等问题。

（4）名中医诊疗室前端音、视频信号采集模块：该模块采用高清高速红外球型网络视频摄像机拍摄整个中医诊疗室的全局情景，使用基于录播主机的云台可变焦高清摄像机近距离拍摄医生对患者进行望、闻、问、切的整个诊疗过程，如图6所示。音、视频采集设备布局在诊疗室中较为隐蔽的位置，不会使患者紧张或抵触。

图3 带高清摄像头的牙科综合治疗台实景图

图4 带中置高清摄像系统的LED手术无影灯实物图

图5 可移动手术示教推车实物图

图6 名中医诊疗室实景图

2.2 信号编码及转发模块

平台采用基于H.264 High Profile高清传输技术和AAC音、视频编码技术的奥威亚录播主机A6进行音、视频信号的编码、转发及本地储存。录播主机采用嵌入式系统，一体式集成录制，直播，导播管理，存储，音、视频编码等功能，视频输入接口支持4个3G-SDI、2个HDMI、1个VGA、2个色差分量接口YPbPr、2个S-Video、2个复合视频广播信号接口CVBS，支持分辨力达1080P 50/60的高清视频信号输入。高清图像信号传输到录播主机后，经导播控制系统对各路图像信号进行自动或手动导播处理，实现高清图像视频的录制，并支持直接环出录制画面。录播主机内嵌系统配置X264开源库，以软编码方式对颜色编码数据进行编码，并对H.264数据进行实时消息传输协议（real-time messaging protocol，RTMP）的封装和传输。

H.264是由国际电信联盟电信标准分局（ITUTelecommunication Standardization Sector，ITU-T）和国际标准化组织/国际电工委员会（International Organization for Standardization/International Electrotechnical Commission，ISO/IEC）正式公布的新一代适用于低码率传输的视频压缩标准，能在不降低图像质量的情况下大幅度提高压缩效率，在现代网络视频传输中占据主流地位[14]。平台实现H.264编码的核心代码如下：

2.3 信号控制模块

该模块使用奥威亚录播主机内嵌导播控制系统进行信号控制。导播控制系统基于浏览器/服务器（Browser/Server，B/S）架构设计，支持使用IE、360、Chrome等浏览器通过网络直接访问。系统支持对非云台摄像机特写画面的电子云台控制和数字变焦，支持iPad移动导播功能，可提供移动导播App应用服务。该系统还具有完善的录课导播功能，包括画面切换、场景布局、摄像机控制、添加LOGO与字幕、音量调节等功能，如图7所示。

图7 导播控制系统界面

2.4 信号显示模块

图8 示教室口腔手术示教实景图

2.5 视频资源管理系统

视频资源管理系统基于B/S架构设计，在Linux操作系统下基于开源流媒体服务器Darwin Streaming Server框架，使用Microsoft C和C++等编程工具实现。首先通过多线程技术接收来自录播主机完成H.264编码封装的音、视频数据，然后通过IP网络接收各个客户端的音、视频数据流，通过缓冲机制保证媒体数据的连续性，再以满足高实时性和有效性要求的RTMP直播给客户端[15]。系统在客户端和服务器建立网络连接（如图9所示）后发送播放指令，流程如下：

（1）客户端向服务器发送“play”指令；

（2）服务器在收到“play”指令后，发送“SetChunk-Size”协议消息，目的是可以根据不同的网络环境设置不同的“块大小”，提高RTMP数据传输率和带宽利用率；

（3）服务器发送用户控制消息“streamBegin”，目的是告知客户端使用的流ID；

（4）如果播放指令成功，服务器将发送NetStream.Play.Start和NetStream.Play.Reset等相应状态。

（5）服务器按照RTMP向客户端发送音、视频数据。

系统支持不少于20路手术的直播，能自动获取教学视频的知识点，形成原始知识点切片，自动获取示教各个环节的时间点，为学生提供特色课程的微课点播。且支持知识点搜索，学生可直接通过页面搜索框找到视频中某个相关知识点的片段即刻观看。教师可在不破坏原视频文件的同时，把自己录制的优质教学视频作为知识点虚拟切片插入，根据需要将全景视频信号、术野视频信号、监护设备视频信号和教师PPT自动生成微课或课件。系统支持Flash+HTML5技术，无需安装插件即可进行跨平台（Windows、Linux、iOS）视频点播观看，实现直播、储存、切片加工处理和点播等多功能的综合视频资源管理。同时系统提供移动端App，可与视频资源管理系统对接，提供视频在线直播、点播等功能，如图10所示。

图9 服务器和客户端连接图

图10 视频资源管理系统截图

3 应用效果

2018年8月总体建成了基于“互联网+”的高清医学远程示教与会诊综合云平台，运行的2 a多时间里，平台应用于口腔医学43次、中医及康复医学52次、临床医学35次，其性能稳定可靠，录制了大量高质量的微课视频及多媒体课件，丰富了学校的专业教学资源库，为学校临床医学系成功申报“国家级临床医学专业教学资源库”及临床相关专业的学科和专业建设提供了重要支撑。

3.1 学生满意度调查

2019年从1 227名学生中随机挑选200名学生对平台的应用效果进行问卷调查，共发放问卷200份，回收有效问卷200份。采用SPSS 22.0统计分析软件对收集的数据进行统计分析[16]，统计结果见表1。

表1 学生对示教平台的满意度调查结果

统计结果显示，90.5%的学生认为平台对临床思维培养非常有帮助，88.0%的学生认为平台呈现的教学信息非常丰富，且大部分学生认为无论是开放性手术还是微创性手术的视频质量都是非常清晰的。

3.2 教师意见调查

对16位带教和授课教师进行了走访，教师普遍反映平台的优点在于解决了传统临床见习教学中视野狭窄、不便观看的难题，特别是在口腔科和手术室，能让学生清晰看到口腔内部和腹腔内部的手术操作，明显优于现场观摩效果。另外，示教室和诊疗现场的互动讲解能够提高学生对见习知识的掌握程度。

4 结语

基于“互联网+”的高清医学远程示教与会诊综合云平台可以使学生以主治医生的视野角度实时、高清地观摩诊疗和手术全过程，并能与现场进行清晰的语音交互，给学生以具体、形象的感官刺激，让其从视觉、听觉等方面感知临床实践的场景和操作，强化认知能力[16]，有效解决了传统见习教学的不足，同时为见习教学提供了一种新的方法和模式，能在一定程度上提高医学人才培养的质量，具有积极意义。下一步将进行5G升级改造，实现低延时直播，同时进一步开发配套软件，实现对整个平台的观摩/会诊管理，并支持手术室批准观摩、发起手术指导申请等功能，而且从技术上解决如何保护患者隐私的问题。