基于运动视频和自组织特征映射神经网络的针刺提插手法量化分类研究

唐文超,杨华元,刘堂义,高明,徐刚



基于运动视频和自组织特征映射神经网络的针刺提插手法量化分类研究

唐文超,杨华元,刘堂义,高明,徐刚

(上海中医药大学针灸推拿学院,上海 201203)

目的 通过自组织特征映射神经网络(SOM)分析由德国Simi Motion 3D三维运动图像解析系统导出的教师提插手法参数,获取手法分类及特征。方法 研究选择30名针灸教师,取一侧“曲池穴”作为施术穴位,记录提插平补平泻、补法、泻法的运动视频。视频经由Simi Motion 3D三维运动图像解析系统分析,得出拇指指尖跟踪标记点位原始运动参数,通过SOM分析教师手法分类参数。结果 针刺手法参数呈非正态分布,离散度较大;平补平泻与补法可分为4类,泻法可分为5类,各分类的特征集中程度一般。结论 针刺手法参数总体上表现为非正态分布的多样性特征,为典型“人为控制曲线”,表现出神经网络分类集中度较低的特点,其分类主要根据曲线外形及周期长短进行,且与手法难易程度相关。该技术可应用于各类手法的量化分析与技术传承研究,并能为针灸规范化与标准化提供参考。

针刺手法;提插补泻;运动视频;神经网络;分类研究

针刺手法作为针刺效应的基础,也是针灸教育教学的重点,历来为针灸医家所重视。自《内经》以来,针刺手法的分类探讨不绝于医林,如《内经》除了对针刺补泻的施术原则和操作方法作了较全面的论述外,还归纳总结了“摄、爪、切、按、扪、进、退、弹、摇、动”十类单式手法;金元时针灸医家窦默所著《针经指南》一书,在此基础上提出了“动、退、搓、进、盘、摇、弹、捻、循、扪、摄、按、爪、切”十四字手法;当代陆瘦燕在总结文献和临床实践经验的过程中,对针刺手法进行较为科学的分类,其中大类为“基本手法”“辅助手法”与“复式手法”3种。历史沿革可见诸家由于师承不同,经验各异,即便同一手法的操作理解也可能不尽相同[1]。

当代学者对针刺手法的量化分类技术已有一定的探索,但仍处于起步阶段。如杨霖等[2]采用Apriori关联和分类规则将ATP-Ⅰ型针刺手法参数采集仪获得的提插、捻转手法数据进行挖掘,建立了较为可行的分类技术。胡银娥等[3]采用聚类分析算法同样对ATP-Ⅰ型仪器数据进行统计,获得了针刺手法的一些内部规律。上述研究仍存在有“量化参数为机器数据而非人体操作数据”“分类参数选择不一”等问题,本研究旨在通过体育运动研究中常用的视频研究方法获得针刺人体操作数据,通过神经网络技术,探究针刺手法的分类依据和参数特征,以为针灸流派传承提供一定的依据。

1 资料与方法

1.1 一般资料

本研究受试者选择上海中医药大学针灸推拿学院教师30名。纳入标准为针灸学专业本科或研究生毕业;担任2年以上经络腧穴、刺法灸法或针刺治疗等课程教学经历;具备有一定的临床实践基础。

1.2 试验环境建立

试验开始前,将实验操作台于平地上放置,摄像机三脚架各脚架调节至指定长度(79 cm)后,张开脚架到最大张角后放置于地面指定点位;摄像机与固定好位置的脚架进行连接后,通过相机内的水平调节器进行水平调节,以保证镜头的水平位置,并确认镜头中心距离地面为84 cm,测量镜头位置与实验操作台前端边缘之间的垂直距离应为33 cm。开启摄像机与补光灯。设定摄像机光圈F7.1、快门1/1000 s、ISO 6400、自动白平衡、光学变焦33 mm。

1.3 试验方法

1.3.1 视频拍摄方法

将小型二维定标框架正对相机镜头垂直放置于实验操作台的横轴上,用于三维运动视频分析软件Simi Motion 3D进行二维定标操作;手法测试人员和被测试者分别坐于实验操作台的左右两侧,选择被测试者的右侧曲池穴行提插平补平泻、补法与泻法操作;在测试人员持针手拇指末节尺侧,指甲根角侧上方0.1寸处用细记号笔描记1个用于视频拍摄的跟踪标记点,命名为“拇指指尖点”;同样在Simi Motion 3D 7.5软件中建立1个“跟踪点”以对应上述跟踪标记点,命名为“thumb right”(拇指指尖点,TR);在Simi Motion中对二维定标框架与实际拍摄的视频进行叠加,可获得手指刚体结构的空间位置图,如图1所示。通过Simi Motion分析,可获得每位测试者跟踪标记点的X、Y轴坐标(coordinate)、运动距离(distance)、X/Y轴速度(speed)、绝对速度(absolute speed)、X/Y轴加速度(acceleration)、绝对加速度(absolute acceleration)。

图1 二维定标、跟踪标记点叠加示意图

1.3.2 Simi Motion生成的典型提插手法特征曲线

生成的典型提插手法特征曲线见图2。

注:左侧为平补平泻参数曲线,中为补法参数曲线,右侧为泻法参数曲线。各手法参数曲线图中,左上为视频,右上、左下、右下分别为TR点Y轴坐标、速度、加速度曲线

1.4 统计方法

1.4.1 Acu-Cycle软件

为进行各手法参数的统计分析,需先将导出的原始数据进行计算处理,因此课题组基于C#语言编写了Acu-Cycle软件,该软件可以根据TR点的Y轴速度数据计算单周期参数。软件界面如图3所示。

图3 Acu-Cycle软件界面

1.4.2 基于自组织特征映射神经网络的手法分类

本研究采用自组织特征映射神经网络(Self- organizing Feature Maps,SOM)对手法参数曲线进行分类研究,SOM由芬兰赫尔辛基大学神经网络专家Kohonen教授于20世纪80年代初提出,为一种无导师监督下的学习型人工神经网络,主要用途为对输入的向量进行区域分类[4-6]。在网络结构上,SOM一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接,而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。如图4所示。

在训练学习的算法上,它模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理来指导SOM网络的学习与训练工作,能够对输入模式进行自组织训练和判断,并将其最终分为不同的类型。

图4 SOM网络模型

1.4.3 SOM模型的计算方法

SOM作为竞争型神经网络,以获胜神经元为中心设定一个邻域半径,该半径圈定的范围称为“优胜邻域”。在SOM网络训练算法中,优胜邻域内的所有神经元(实验样本)均按其离开获胜神经元的距离远近不同程度地调整权值。训练伊始,优胜邻域被定义范围较大,但该范围随着训练次数的增加不断收窄,最终收缩到半径为零,以取得分类特点。

详细模型计算流程:①初始化,对输出层各权向量赋小随机数并进行归一化处理,得到=1,2,…;建立初始优胜邻域(0);学习率赋初始值。②接受输入,从训练集(即手法曲线集)中随机选取一个输入模式并进行归一化处理,得到,{1,2,…}。③寻找获胜节点,计算与的点积,=1,2,…,从中选出点积最大的获胜节点。④定义优胜邻域()以为中心确定时刻的权值调整域,一般初始邻域(0)较大,训练过程中()随训练时间逐渐收缩。⑤调整权值,对优胜邻域() 内的所有节点调整权值i=1,2,…n jÎNj*(t)。⑥重复训练,上述步骤结束后,若次数记录格为,则次数记录格前进1,即为＋1,后重复③～⑤的步骤,直至达到设定的训练值,本研究中设置训练值为100次。⑦分类分析,采用③～⑥的步骤对所有样本进行计算,直至所有的样本参与到设定的类别之中,以完成自动分类,并输出以xls为格式的Excel分类结果文件。计算流程步骤如图5所示。

图5 计算流程图

1.4.4 分析软件

完成上述分类计算通过基于Matlab开发的人工神经网络数据挖掘软件完成,开发环境为Matlab 2012b,并安装SOM神经网络工具箱,编译器为Mircrosoft Visual Studio 2010,该软件集成嵌入至数据管理软件中,成为其组件之一,软件界面如图6。

2 结果

分类软件可以导出分类柱状图和六角图,柱状图横轴为样本编号,纵轴为分类号,每个样本会生成各自的分类柱,柱顶端的圆球对应的纵轴位置即为所属归类。六角图为每个分类的样本量以及样本特征集中程度,若该分类所属样本特征集中程度越高,六角形内部的白色区域越大。

2.1 提插平补平泻分为4型

提插平补平泻分为4型,结果如图7、图8,表1所示。

图6 针刺手法参数曲线自动聚类软件界面

图7 提插平补平泻速度曲线SOM分类结果

表1 提插平补平泻分类参数

2.2 提插补法分为4型

提插补法分为4型,结果图9、图10,表2。

表2 提插泻法分类参数

2.3 提插泻法分为5型

提插泻法分为5型,结果如图11、图12,表3。

图9 提插补法速度曲线SOM分类结果

图11 提插泻法速度曲线SOM分类结果

表3 提插补法分类参数

3 讨论

3.1 手法周期计算

Simi Motion无法直接计算操作周期及分解周期(T1和T2),需从现有的逐帧标记值内选取某一列作为分析周期基础数据。常见的曲线周期计算方法主要为曲线拟合,拟合方法可有多种,如线性拟合、非线性拟合、傅里叶变换等。如Ackermann K等[7]采用非线性曲线拟合分析血细胞种群昼夜节律(周期)对健康青年男性急性睡眠剥夺症的影响,结果显示独立参与并与急性睡眠剥夺症发生的产生关系最为密切的血细胞为CD4(naïve)细胞。Liu M等[8]采用Logistic增长方程对qRT-PCR反应的进展曲线进行拟合分析,该研究通过非线性最小二乘法确定最佳拟合参数,进而计算Logistic增长方程和二阶导数的周期阈值,结果显示,该方法具有较强的适应性,能普遍应用于各种实验环境,便于快速对RT-PCR反应的进展曲线进行周期分析。

通过对Simi Motion导出的手法数据进行分析,本次研究采取了分析针刺手法曲线均值及波峰波谷阈值的机制处理周期问题。波峰波谷判断的基本方法为,若x时间点的速度处于波峰位置,其对应的值为(),那么存在如下的逻辑判断式;

(－1)＜()＞(＋1)

若其处于波谷位置,那么存在如下的逻辑判断式:

(－1)＞()＜(＋1)

应用此方法常见的问题主要为锯齿判断,即在曲线上升或下降的过程中若出现逆行的小段的趋势线,则会导致波峰波谷的判断错误。此时较小的锯齿可采用Simi Motion的filter函数进行滤波来平滑,但较大的锯齿仍会存在,如图13所示。

注:蓝色箭头标记处为常见的大锯齿情况,无法过滤,需程序进行判断

对于锯齿问题,首先计算出波峰或波谷存在阈值,通过对所有样本的计算,得出阈值为均值的上、下浮23.9%,若大于该阈值则判断为波峰,小于该阈值则判断为波谷,同时程序设计时还引入波峰、波谷锁的逻辑判断变量,以避免出现两个或两个以上有效波峰或波谷产生的问题。计算出多个波峰和波谷的实际值后,便可得出该操作者的T1和T2均值,并得出周期值。

3.2 分类研究依据

数据挖掘是近年来随着人工智能和数据库技术的交叉融合而兴起的边缘学科,它致力于发现隐含在数据中的关于事物本质和事物发展趋势的知识或规律,并为专家的决策提供支持[9]。

本课题研究采用了拇指指尖跟踪标记点主要运动方向的速度曲线作为手法分类的依据,因拇指指尖最接近针身,在提插手法过程中跟随针身起伏,其Y轴运动情况可反映针身起伏运动情况。通过研究结果可以看出,针刺手法参数曲线可认为是时序曲线的一种,类似血液成分的昼夜起伏节律或大样本的临床观察指标数据等。若该类数据的正态分布情况不佳,对其进行分类研究则尤为必要,分类不仅能准确掌握每个数据类型的规模大小,更可对趋势预测或模式识别提供必要依据。传统解决该问题的数据挖掘方法为每条曲线单独建立模型,然后进行相关计算。有学者[10-11]曾在1996年对2665条电力负荷曲线进行分类计算,以区分电力的消耗模式,结果显示类似的曲线被聚类于一组,不仅便于对不同模式的总结,也对未来趋势的预测提供了较大的帮助。同样为电力负荷曲线,刘莉等[12]提出了k-means聚类算法并结合有效指数准则,对负荷曲线中不良数据的分类提供解决方案。基于曲线分类的数据挖掘技术在中医药的某些方面已有了良好的应用趋势,在中药复方方面的研究,利用数据挖掘技术发现新的药对组合,然后用相关的理论进行解释已经越来越受到重视[13]。将针刺手法参数与数据挖掘技术相结合,也应是本领域的分析研究方式之一[14]。

3.3 分类研究方法相关问题及解决方案

针刺手法参数曲线为周期曲线,因此对于多周期曲线的分类计算存在有一定的困难。首先,曲线起点的不同将影响分类的结果,其次,基线的不同也将影响分类结果。因此分类可行性的首要条件是将各条手法曲线的基线及相位通过计算进行统一,而本课题采用的方法为选择手法主要运动方向上的速度曲线,并只选择具有稳定特征的单一周期曲线。因速度曲线具有统一的基准线,即0 m/s的X轴,因此能消除因曲线不同带来的分类误差。而采用由零点位开始的完整单一周期速度曲线,则消除了因相位不同导致的分类错误。目前类似的研究方法也已有相关报道,如Hatfield GL等[15]采用步态分析的方法,对比正常人群,中度膝关节炎以及全膝关节置换术后患者在步态特征上的不同,其研究过程中须将步态周期曲线进行分类研究,已对比不同组别人群的特征差异。由于步态拍摄过程中,以地面作为X轴,因此并不存在基线漂移的情况。因此在分类过程中同样采用单一步态周期进行分类的方法以消除初始相位对分类带来的影响。且上述研究的步态周期曲线为典型的生理性曲线,有较好的正态分布特点,其分类精度较高,曲线特征密集度同样较高。

3.4 提插手法分类特征

针刺手法参数曲线属人为控制曲线,与生理性曲线相比,大部分情况下并不具有正态分布特征,离散度较高。从本次研究的结果可以看出,六边形分类圈中,各分类的特征密集程度同样不高,虽然可通过人为扩大分类数量提高每种分类的特征密集程度,但仍有部分样本较为离散的特点。与补泻手法的比较而言,平补平泻的样本特征密集程度较高。该结果可能缘于平补平泻手法的简易程度较高,稳定性较好,容易产生特征集中的趋势。且该趋势与手法周期存在一定联系,周期越短,特征集中越显著,往往特征集中并不显著的分类也同样表现出周期较长的特点。各类手法中,平补平泻的周期最短,因此分类特征较为集中。提插手法基本分类为4～5类,其分类主要根据曲线外形及周期长短进行,该结果成因主要与手法动作难度较低,易于操作有关。补泻法分类主要根据提插轻重相对时程分布进行,且补法第3、4分类和泻法第4、5分类特征相对集中,其主要特征为分类内部速度较快的重插或重提时程分布及曲线类型相似、轻插或轻提速度保持相对稳定。

3.5 前景展望

针刺手法的量化分类研究作为针刺手法研究的一个分支,其形成和发展依赖于古代文献的研究和现代测量与数据挖掘技术的进步。本研究目前已完成了SOM神经网络分类模型的建立,从现有结果看出,随着手法数据的不断积累和扩充,机器学习技术的不断深入,手法分类特征的集中程度将会显著提升,相信该技术同样可以应用到其他单式或复式手法的分类研究之中。

未来可在此基础上进一步进行手法模式识别技术的研究。通过对分析样本后自动归类识别,可判断手法分类归属。该识别手段对流派传承教学的质量控制具有较好的参考意义。目前,对于针刺手法参数的总结仅是物理相关参数的归纳,还可进一步进行数据挖掘,取得能量、稳定度等相关参数,这些研究工作应能为针灸这一古老的诊疗技法提供更多的量化手段,以为其全面详细的标准化和规范化研究提供参考。

[1] 侯玉铎.历代医家对单式针刺手法分类[J].河南中医学院学报,2003,18(3):77-78.

[2] 杨霖,洪菲,杨华元.针刺手法数据挖掘的关联规则与分类[J].上海针灸杂志,2014,33(11):1064-1070.

[3] 胡银娥,杨华元,刘堂义.针刺手法参数聚类分析与研究[J].世界科学技术(中医药现代化),2011,13(1): 59-63.

[4] Kohonen T, Oja E, Simula O,. Engineering applica- tions of the self-organizing map[J]., 1996,84(10):1358-1384.

[5] Kohonen T. Self-organized formation of topologically correct feature maps[J]., 1982,43 (1):59-69.

[6] Kohonen T.[M]. Ber1in: Springer, 1995.

[7] Ackermann K, Revell VL, Lao O,. Diurnal rhythms in blood cell populations and the effect of acute sleep deprivation in healthy young men[J]., 2012,35(7): 933-940.

[8] Liu M, Udhe-Stone C, Goudar CT. Progress curve analy- sis of qRT-PCR reactions using the logistic growth equation[J]., 2011,27(5):1407-1414.

[9] Sieber JE. Data mining: knowledge discovery for human research ethics[J]., 2008,3 (3):1-2.

[10] Chantelou D, Hebrail G, Muller C.[C]. International Conference on Intelligent Systems Applications to Power Systems, 1996:126-132.

[11] Debrégeas A, Hébrail G.[C]. International Conference of Knowledge Discovery & Data Mining, 1998:179-183.

[12] 刘莉,王刚,翟登辉.k-means聚类算法在负荷曲线分类中的应用[J].电力系统保护与控制,2011,39(23): 65-68.

[13] 杜建强,聂斌.数据挖掘在中医药领域应用研究进展[J].中国中医药信息杂志,2013,20(6):109-112.

[14] 胡银娥,杨华元.数据挖掘技术在针刺手法参数研究中的应用思考[J].中华现代中医学杂志,2006,2(8): 679.

[15] Hatfield GL, Stanish WD, Hubley-Kozey CL. Three- dimensional biomechanical gait characteristics at baseline are associated with progression to total knee arthroplasty[J].(), 2015,67 (7):1004-1014.

Study on Quantification and Classification of Acupuncture Lifting-thrusting Manipulations on the Basis of Motion Video and Self-organizing Feature Map Neural Network

-,-,-,,.

,201203,

Objective To obtain the classification and characteristics of acupuncture manipulations by analyzing teacher’s lifting-thrusting manipulation parameters derived from Germany-made Simi Motion 3D image analysis system using self-organizing feature map neural network (SOM). Method Thirty acupuncture teachers were selected for the study. Unilateral Quchi (LI11) was used as a point for acupuncture. A motion video of lifting-thrusting even reinforcing-reducing, reinforcing and reducing manipulations was made. The video was analyzed using Simi Motion 3D image analysis system to obtain original motion parameters at thumb tip tracking mark point. Teacher’s manipulation classification parameters were analyzed using SOM. Result Acupuncture manipulation parameters showed nonnormal distribution with larger dispersion. Even reinforcing-reducing and reinforcing manipulations could be classified into four types and reducing manipulation, into five types. The characteristics of every type showed general concentration degree. Conclusion Acupuncture manipulation parameters overall showed the diversity characteristics of nonnormal distribution and are typical “artificial control curve”. They have the characteristic of lower concentration degree of neural network classification. Their classification is mainly based on curve shape and cycle length and related to the degree of difficulty of manipulation. This technique can be applied to the quantitative analysis of various manipulations and the study of technical inheritance and provide reference for the standardization of acupuncture manipulation.

Acupuncture manipulation; lifting-thrusting reinforcement and reduction; Motion video; Neural network; Classification study

1005-0957(2017)08-1012-09

R2-03

A

10.13460/j.issn.1005-0957.2017.08.1012

2017-02-20

国家自然科学基金青年科学基金项目(81403469)

唐文超(1983—),男,讲师,博士,研究方向为针刺手法参数测定及数据分析,Email:vincent.tang@shutcm.edu. cn

杨华元(1952—),男,教授,研究方向为现代中医针灸诊疗技术、针灸器材及针刺手法量化研究,Email:yhyabcd@ sina.com