中国手语指动作的标记体系

倪训博，高雅利，丁刚毅，金乾坤，倪训然，李红松，李鹏，刘栋

(1.北京理工大学软件学院，北京100081;2.北京理工大学计算机学院，北京100081;3.洛阳理工学院电气工程与自动化系，河南洛阳100124;4.哈尔滨医科大学结核病防治院，黑龙江哈尔滨150081)

手语是通过人体的上肢运动来表达和传递信息的肢体语言，对聋人等听觉有障碍的残疾人士参与社会活动起到了十分重要的作用.手语也是由人体上肢运动衍生出来的、具有规律性的动作语言.因而从不同的语言与手语的共同特性角度出发，依据人体上肢运动的限制条件和手语所表达的语言信息，构建人体上肢运动的描述框架是十分重要的，而手指动作是其中重要的组成环节.对于静态手形的标记，国内外研究者一直以来都采用本国手语进行研究［1］.这些静态手形的标记体系是根据本国手语的特征构建的，不同国家的不同形态的手语手形标记体系之间无法相互对应，因而上述静态手形的标记体系扩展性很差.本文依据人手解剖构造模型，提出了基于手指动作的新的标记体系，在此基础上对手形动作进行了系统的分类和相应标记规则;本研究依据人体上肢运动的生物力学模型，将不同手语的动作标记体系进行统一，这是不同手语标记统一到同一标记框架下不可或缺的重要环节.

对不同国家的手语标记体系，本文提出了新的、统一的手语标记记号体系;并从改变各手指指形的动作和改变手指之间相互关系的动作来考虑手指动作的标记记号:1)将拇指和拇指以外的动作分别进行处理，2)将拇指以外的动作和改变指形的动作的标记为主特征，相应的动作为主要动作，其他动作为次要动作，3)对于主要动作的指形组合及其指关节的动作变化进行了标记，4)在动作标记的仿真实验的标记列表中，按照拇指以行为序，其他手指以列为序进行手指动作的标记组合.根据上述原则对手语指动作进行了标记和归纳总结，最终以列表的形式给出了新标记体系中各手语指动作的仿真实验结果，并对实验结果进行了有效性的分析.

1 基于人手解剖结构模型的手指动作标记记号

本文参考了人手的解剖构造模型，本文的指1～5分别表示拇指、食指、中指、无名指、小指.将拇指(指1)、食指(指2)、中指(指3)、无名指(指4)、小指(指5)的伸展和弯曲、外展和内收、拇指(指1)的旋转动作进行排列组合，总结出手语手指运动的所有可能情况，图1为手指各关节运动简图.

图1 手指各关节的运动Fig.1 Movement of the joints of the fingers

图1中用空心的圆圈表示手指关节，用黑色的实现表示手指的指骨，由上述的抽象符号图形描述的手指运动动作可以变化出手语的各种手形.以图1(b)所描述的手指伸展动作为例，手指运动的初始状态用实线表示，完成状态则用虚线表示.图1(b)中手形的变化是依靠承载着手指指骨的手指各关节来实现的，因此指关节的标记对于手语手形乃至手语指运动都是至关重要的.掌指(metacarpophalangeal joint，MP)、中心端指间关节(proximal interphalangeal joint，PIP)、末梢指间关节(distal interphalangeal joint，DIP)都存在于指2～5中.MP关节能够做伸展和弯曲的动作，也可以做以指3为中心参照的内收和外展的动作.指2～5内收和外展的动作是以指3为中心参照，其他手指向指3靠拢或远离的动作.指3的回转动作分为:向桡骨方向转动的动作称为桡骨弯曲，向尺骨方向转动的动作称为尺骨弯曲.PIP关节和DIP关节只有伸展和弯曲的动作.

在指 1中分别有腕掌关节(carpometacarpal joint，CM)、MP以及指节间关节(interphalangeal joint，IP)，共3种关节.CM关节的转动动作是与手掌在同一平面上进行的，根据旋转的方向可分为:内收和外展.与手掌的在同一平面方向上的内收和外展的手指动作又可分为尺侧内收和桡侧外展;而与手掌平面垂直方向上的内收和外展的手指动作又可分为掌侧内收和掌侧外展.MP关节和IP关节在CM关节的相应的平面上仅有伸展和弯曲的手指动作.

2 食指、中指、无名指、小指的动作分类

对于手指动作的标记，本文按照如下的原则进行手指动作的分类与标记:

1)指1虽然与其他的4个手指有相同数量的关节，由于指1关节自由度较大和连接位置的不同，因此指1的独立运动的类别较多.所以在指2～5动作的基础上，还要对指1附加一些特有的动作.并把指1的指动作做为其他4个手指的起始标记.

2)本文将前述的动作分为:改变指形的动作(如伸展和弯曲)，改变指间关系的动作(如内收和外展)，并根据这些动作的不同组合来确定手指动作的类别.

依据上述原则本文先对指2～5的动作进行编排分类.

2.1 改变指形的动作

本文将改变指形的动作的基准状态设定为MP关节、PIP关节和DIP关节完全伸展开的状态，并根据上述关节的弯曲程度分为钩状、半角、角形、半握拳、握拳:

1)钩状:MP关节保持伸展状态，PIP关节和DIP关节呈现弯曲状态.

2)半角:PIP关节和DIP关节保持伸展状态，MP关节呈现半弯曲状态.

3)角形:PIP关节和DIP关节保持伸展状态，MP关节呈现完全弯曲状态.

4)半握拳:MP关节呈现半弯曲状态，PIP关节和DIP关节也呈现半弯曲状态.

5)握拳:MP关节呈现弯曲状态，PIP关节和DIP关节也呈现完全弯曲状态.

需要注意的是，MP关节的伸展状态和完全弯曲状态之间，存在的MP关节半弯曲状态仍然可以细分出更多的弯曲状态，这是MP关节的灵活自由度较大所致，这是此类运动难于控制的原因，但也是非特定人手语手指动作产生差异性的原因之一，但在标准的手语词典中这样不规范的动作是不存在的，本文对不规范的手指动作做符号化的表示.

2.2 改变手指间相互关系的动作

在指间相互关系的动作中，本文将手指内收成闭合的状态(指3做为中心参照)做为基准状态，因此指间相互关系的动作可分为外展和交叉:

1)外展:2根以上的手指从基准状态向外与手掌同平面的方向向外伸展，即远离指3的动作，不是桡骨弯曲或尺骨弯曲的方向.

2)交叉:指2和指3由初始的伸展状态，指2做内收的动作，指3做桡骨弯曲的动作交叉搭在指2上，指3的PIP关节和DIP关节也呈现略微弯曲的状态.

3 拇指动作的分类

指1动作同指2～5的分类一样，也分为改变指形的动作和改变手指间相互关系的动作.

3.1 改变拇指形的动作

指1的基准状态为所有关节均完全伸展，CM关节向尺骨内收方向回转，手掌为伸展状态.根据MP关节和IP关节的不同弯曲状态，可分为钩状、半握拳、握拳:

1)钩状:CM关节与手掌同平面的方向向外伸展，MP关节伸展，IP关节呈现弯曲状态.

2)半握拳:CM关节与手掌同平面的方向半内收，MP关节和IP关节垂直于掌方向半弯曲状态.

3)握拳:CM关节与手掌同平面的方向完全内收，MP关节和IP关节垂直于掌方向呈弯曲状态.

与指2～5的情况一样，呈半握拳状态的指动作的许多细节不规范，本文对此忽略不计并且不做符号化的表示.

3.2 改变手指间相互关系的动作

改变手指间相互关系的动作，将基准状态做为初始状态，可分为桡侧外展、掌侧内收、掌侧外展、交叉、接触:

1)桡侧外展:CM关节向桡骨方向外转，MP关节和IP关节呈现伸展状态.

2)掌侧外展:CM关节沿手掌同平面的方向向外伸展，MP关节和IP关节呈现伸展状态.

3)掌侧内收:CM关节沿手掌同平面的方向向里内收，MP关节和IP关节呈现伸展状态.

4)交叉:指1与指2～5之间相互接触的动作，指1的CM关节沿掌同平面的方向向里内收，MP关节弯曲向掌心靠拢，指1压在指2～5之上.

5)接触:指1与指2～5中的1根或几根手指靠在一起，其中分别包括2种情况:指1呈半弯曲状态与指2～5中的1根或几根手指相接触的情况;指1掌侧外展与指2～5中的1根或几根手指相接触的情况.

这里需要注意的是，可以有半弯曲状态的指1和握拳状态的指2～5相接触的情况存在，也可以有掌侧外展状态的指1和半弯曲状态的指2～5相接触的情况存在.此外，指1和指5做交叉动作，分离时CM关节和MP关节的弯曲程度很大，该手指动作比较接近握拳动作，因而该动作不归类于交叉动作，仅归类于握拳动作.

4 手指动作的标记符号体系

根据以上手指动作的分类规则，本文提出了新的手指动作标记体系.本文用每个动作的英文首字母或缩写来标记该手指动作，一些特别的动作本文使用习惯性的特征字母来表示;指动作完整地完成，本文用相应的大写字母进行标记，指动作处于半完成状态，本文用相应的小写字母进行标记.手指动作的标记及其实例总结在表1中.

表1 手指基本动作的标记分类及实例Table 1 Classification of finger basic actions，and examples of their notation description

本文将上述指动作的记号，按照手指序号的顺序进行组合来形成新的标记体系规则，具体标记的规则如下:

1)手指的序号是由小到大，从左到右进行标记的，每个指动作的记号均在相应手指序号之后.

2)改变手指关系的指动作记号标记在改变指形的动作记号之后.

3)伸展动作(E)不做标记.

4)对于“钩状”、“半角”、“角形”、“半握拳”的动作中，有2根及以上的手指动作是相同的，本文将这些具有相同动作的手指用左括号“(”标记这些手指序号.

5)单一手指的弯曲本文做为不规范的动作，不进行标记.只有全部手指弯曲本文用“C”记号进行标记，手指记号左侧用左括号“(”进行标记，手指记号右侧用“C”记号标记.

6)指1的交叉动作用“1X”记号标记，其余交叉指用“1X”记号和右括号“)”括起来表示.

7)接触动作用“T”进行标记.指2345与指1相互接触时，指1呈现“半角”动作状态时用“c”记号进行标记;指1呈现“半握拳”动作状态时用“B”记号进行标记.其余接触指用“T”记号和“)”记号括起来表示.

图2 手指2～5主要运动的排列组合Fig.2 Movement of the joints of the fingers 2～5

本文根据上述规则，将手指2～5主要运动的排列组合总结在图2中.

5 手指动作分类的有效性分析与仿真实验

根据前述的不依赖于语言的手指动作标记原则，本文对不同国家的手语语言标记进行了计算机仿真实验和有效性分析.本文从目前一些具有代表性的手语语言标记做为实验对象，其中包括美国手语的 Stokoe［2］标记19种，Friedman［3］标记41种，Liddel等［4］标记22种，Sutton［5］标记40种，David M P［6］标记40种，瑞典手语Bergman［7］标记33种，日本手语神田［8］标记54种和本名［9］标记37种，中国手语倪［10］基于手语中国手语字典总结的手形标记78种.

5.1 手语手形动作的标记实验和有效性分析

图3 手形图形标记一览表Fig.3 Chart of hand shape iconic description

由于不同的手语有重复和相似的手形，其中美国手语的5个标记体系有16种重复和相似的手形动作，瑞典手语的标记体系有3种，日本的标记体系有17种，约有42种手形动作在2种标记体系内重复，中国手语中有4种手形动作较为相似.本文将上述手形的计算机仿真标记列在了图3中.

上述表中共包含73种手形动作，这些手形动作类别均是按照人手解剖结构模型和手指动作的生物力学模型的特性总结出来的.

5.2 可能残留的手形动作

图3中包含手形动作占不同的手语标记体系所能发现手形动作的5%，在剩余的95%的手形动作中应包括除美、瑞、日、中其他国家手语的手形动作，由于目前其他国家手语数据和标记体系难于获得，因而仅做了美、瑞、日、中4国手语标记进行了抽象的仿真实验.由于手语表达信息的灵活性，有很大可能地残留有更多的手形动作.

手指3和4做独立运动时，会产生出很多复杂的手形.这是由手部神经复杂的控制结构所造成的.本文以指4为例，将仿真实验结果列在了图4中.由于人手指运动的复杂性所致，产生了很多的残留手形，因而今后更为细致地总结整理残留手形指运动的研究是必要的.

图4 手指4和5的主要动作的排列组合Fig.4 Hand shapes involved in the matrix of fingers 4 and 5 in primary action

6 结束语

本文依据手和腕的解剖构造模型和生物力学模型所提出的标记体系，可以将不同国家的手语标记体系统一在同一标记体系的框架之下.为今后将全部手语进行同一标记提供了一种良好的基础性研究的借鉴，同时为手语词典的检索以及计算机手语合成等领域提供了支持性的基础研究.

［1］倪训博，赵德斌，姜峰，等.中国手语音韵标记的建立、实现及其有效性验证［J］.计算机学报，2009，32(12): 438-2453.

NI Xunbo，ZHAO Debin，JIANG Feng，et al.Establishment，realization and effectiveness verification for phonological representation of Chinese sign language［J］.Chinese Journal of Computers，2009，32(12):438-2453.

［2］STOKOE W C.Sign language structure［M］.Silver Spring: Linstok Press Inc，1979:1-365.

［3］FRIEDMAN L A.Formational properties of American sign language［M］.New York:New Perspectives on American，1977:11-87.

［4］LIDDEL S K，JOHNSON R E.American sign language:the phonological base［C］//Silver:Linstok Press Inc Spring，1989:195-277.

［5］SUTTON V.Sign writing for everyday use［M］.Boston: Spiral Bind，1981:1-405.

［6］DAVID M.P.Sonority and syllable structure in American sign language［J］.Linguistic Inquiry，1992，23(3): 407-442.

［7］BERGMAN B.Studies in Swedish sign language［Z］.Stockholm:University of Stockholm，1982:169-195.

［8］KANDA.Sign language abbreviation notations of Japanese sign language and handshapes system using phonology notations［C］//Summaries of East Sea Industry Academy.Tokyo，Japan，1986，7:55-70.

［9］HONNNA H S K，KANDA T Y，ODA K H，et al.Notations of sign language［C］//Proceedings of Japanese Sign Language Academic Research Association.Tokyo，Japan，1985，7:2-11.

［10］倪训博，赵德斌，高文，等.非特定人手语数据生成及其有效性检测［J］.软件学报，2010，21(5):1153-1170.

NI Xunbo，ZHAO Debin，GAO Wen，et al.Data generation and its validity inspection of signer-independent sign language［J］.Journal of Software，2010，21(5):1153-1170.