Recognition of group activities for understanding intraoperative state of surgical team

合理评估手术团队的术中状态,对于提升团队协作和确保手术环境安全至关重要。传统评估方法通常是由人来执行,如对每个手术团队成员进行采访、发放自查问卷,而这样做既耗时间,又可能产生回忆偏差。一种有效的解决方案是通过分析手术视频来追踪手术团队的重要活动,例如成员是否遵循手术规程,或者因意外事件而分心。但是,由于手术科室情况复杂,在不付出任何人力的情况下识别团队活动仍然具有挑战性。一篇文章(Advanced Biomedical Engineering,DOI:10.14326/abe.11.37)介绍了一种人工智能识别系统,能从手术视频中自动识别、分析手术团队的术中活动,以了解术中团队的状态。研究团队重点关注了两类术中需要多人参与的活动:无菌包装器械的传递(如在巡回护士和洗手护士之间的传递),以及可能导致团队注意力转移的意外事件。该系统使用支持向量机(support vector machine,SVM)作为识别模型,主要包含以下步骤:①姿势判断:输入手术视频,利用深度学习的人体姿态评估技术和粒子滤波器对视频中手术团队成员的姿势进行判断;②成员动作追踪:为每名成员创建个人身份标识号,通过分析人体朝向、面部朝向、手臂动作来追踪各成员动作;③团队行为识别:基于提取出的个人动作数据,识别手术器械传递、注意力转移等团队行为;④可视化界面显示:在手术视频右侧界面展示2D 模型,按照时间轴对团队活动进行可视化。研究还使用了模拟手术场景的视频来测试此系统,结果显示,该系统能够有效识别器械传递动作和团队注意力转移事件。这项研究提供了机器识别术中关键动作的技术,有可能改变手术视频的使用方式,帮助手术团队更有效地获取有价值的信息,为探索术中团队合作的定量评估提供了可能性。