人工智能技术在国际体育运动领域的聚类与演化
2020-01-07路来冰李小龙
路来冰 李小龙
摘 要:以Web of Science数据库1995年以来“体育人工智能”等关键词为主题的549篇文献为数据来源,利用Cite Space V软件进行可视化处理和分析,以可视化知识图谱的方式梳理了近25年体育人工智能研究的国家、学科分布、研究热点以及演化趋势,探讨其研究进展和发展方向。1)体育人工智能研究地区分布较广,其中美国、中国和德国处于领先地位。2)体育人工智能研究涉及到多个学科,主要运用和借鉴了计算机科学、工程学、体育科学等学科的研究方法和理论视角。3)关键词的频次与中心性印证了目前体育人工智能领域是以机器学习为主要方向,人工神经网络为主要算法,注重以数据挖掘为基础的实践与实证研究。4)研究热点包括基于可穿戴加速度计技术的简单活动识别与能量消耗研究;基于可穿戴式传感器的动作分析与损伤防控研究;基于卷积神经网络算法的计算机视觉场景分类研究;基于计算机视觉的体能与技战术的分析与预测;基于计算机深度学习的人体姿态识别技术。
关键词:人工智能;体育;知识图谱;机器学习;计算机视觉;神经网络
中图分类号:G80-05 文献标识码:A 文章编号:1006-2076(2020)03-0021-12
Abstract:Taking 549 articles from Web of Science database since 1995 with the theme of "sportsartificial intelligence"as data sources, using Cite Space V software visualization processing and analysis,the authors sorted out the artificial intelligence research in the past 25 years in the form of visual knowledge map, including the countries that carry out the research, the subject distribution, the research hotspots and evolution trend, discussed the research progress and development direction.It is concluded that: 1) Sports artificial intelligence research is widely distributed, among which the United States, China and Germany are in the leading position;2) The research involves many disciplines, mainly using and drawing on the research methods and theoretical perspectives of computer science, engineering, and sports science;3) The frequency and centrality of keywordsconfirm that the current field of sports artificial intelligence focuses on machine learning,artificial neural network as the main algorithm, and focuses on practical and empirical research based on data mining.4) Research focuses include research on simple activity identification and energy consumption based on wearable accelerometer technology; movement analysisand damage prevention and control research based on wearable sensors; classification of computer vision scenes based on convolutional neural network algorithm; analysis and prediction of physical ability, technique and tactics basedon computer vision; body posture recognition technology based on computer deep learning.
Key words: artificial intelligence;sports;knowledge map;machine learning;computer vision; neural network
人工智能(Artificial Intelligence,簡称AI)是一门在计算机科学、控制论、信息论、系统科学、哲学等多种学科基础上发展起来的,能够模拟、延伸、扩展人类智能的学科[1],是为了不断提升生存发展的水平,人类利用知识去发现问题、定义问题(认识世界)和解决问题(改造世界)的能力[2]。人工智能通常用于解决计算机无法处理的问题,是人类进入信息产业革命时代达到的认识和改造客观世界能力的高峰。有学者通过分析我国人工智能技术40年的发展历程指出:“人工智能的近期主要目标在于研究用机器来模仿和执行人脑的某些智力功能,而远期目标是用自动机模仿人类的思维活动和智力功能[3]。”随着科技的发展,在国际运动训练与体育教育领域中越来越多地运用了人工智能的辅助手段。本文运用Citespave V软件对WOS数据库中的相关文献进行梳理分析,通过分析国际体育界对于人工智能的研究与应用情况,完善相关研究框架,同时取长补短,填补国内相关研究空白,为抓住时代契机,推进我国体育运动领域的人工智能研究,早日实现我国由体育大国迈进体育强国的目标建言献策。
1 数据来源与研究方法
本研究以Web of Science数据库平台核心集的SCIE、SSCI和A﹠HCI为来源进行检索。本文重点探讨人工智能在广义上的具有一定规则的体育运动中的发展与应用情况,因此选择“Sports”作为“体育”的释义。体育领域人工智能的应用覆盖面较广,因此单以“Artificial Intelligence Sports”为主题检索词,无法全面反映此领域的研究现状。通过前期文献调研与专家咨询,认为目前人工智能领域的应用研究方向包括机器学习、深度学习、自然语言处理、知识表示、自动推理、计算机视觉和机器人等。其中机器学习、深度学习、自然语言处理和计算机视觉都是目前研究的热门方向,而这些热点方向也已经逐渐渗透到体育运动领域中,因此本文将基于这几个热点词确定检索词(表1)。文献格式为Article,检索范围为1995—2020年,检索时间为2020年2月22日,共检索到初始文献549篇。
本研究选取陈超美博士研发的Cite Space V软件(版本号为5.5R2 64bit)。此软件能科学的绘制各学科领域的知识图谱、分析不同特征和类型的引文网络以及识别和呈现学科发展新趋势和新动态[4]。可将庞大的数据绘制为图形或图像直观地呈现出来,进而可以了解表示对象或事件数据的多个属性,使人们能够在大量的数据中直接地观察到隐含的现象与事物的重点,为研究决策提供依据。
2 研究结果与分析
2.1 体育人工智能研究的国家(地区)分布
通过Cite space V软件的分析,由于相关文献最早出现于1995年,故时区分割(Time Slicing)选择1995—2020年,时间切片为1年,节点类型为“Country”,阈值项选择“TopN=50”,其他均为默认值,得到共现网络图谱(图1)。圆圈半径的大小、节点连接线条的粗细与发文量和联系紧密程度成正比。同时圆圈外层的紫色圓环宽度越宽,其中心性越大[5]。
从图1数据分析,共有来自39个国家(地区)的文献涉及体育人工智能研究,但不同国家的发文量差距很大。前10位中,美国和中国分别以94篇和75篇排在前两位,占据了总发文量的30%,欧洲地区的德国、西班牙、英国、意大利、荷兰发文量依次为39篇、36篇、33篇、22篇、15篇,分别位于第3、4、6、7、10位,占据总发文量的26%。澳大利亚以36篇位列第5,加拿大以17篇排名第8。除此之外在亚洲地区,韩国、印度、日本和中国台湾地区分别以17篇、11篇、10篇位列第9、11、12、13位。从文章的中心性来看,前5位分别为美国(0.65)、德国(0.31)、西班牙(0.31)、英国(0.30)、荷兰(0.29),中国仅排在第8位。
通过上述结果可以看出美国、欧洲与亚洲的经济强国在体育人工智能领域的研究开展得较为充分。我国虽然在总发文量高居世界第二,但从图1就可以明显看出我国的外环没有紫色区域,而具体的数据也印证了我国相关研究文献质量还没有在世界范围内被广泛认可。这也从另一个侧面反映出我国体育人工智能技术发展水平与美国和欧洲发达国家相比还有差距。近年来,科技助力体育发展一直是我国体育领域研究的重点,要以国际先进科技加快我国人工智能相关学科的建设,加快技术转型与硬件设备升级,以科学严谨的态度提高研究质量,同时加强与国外学者的学术交流,提升我国学者的多学科研究视野,这是我国体育人工智能研究发展的有效途径。
2.2 体育人工智能研究的学科分布
人工智能涉及到的学科非常广泛,如哲学、认知科学、数学、神经学、生理学、心理学、计算机科学、信息论、控制论等,而在多学科交叉的背景下对体育人工智能进行综合研究已经成为趋势。在对Cite Space V的分析参数设定时,时间分割为1995—2020年,每1年一切片,节点类型为“Category”,阈值项选择“TopN=50”,得到结果见图2。显示发文数量方面,前5位分别为计算机科学(219篇)、工程学(155篇)、计算机科学(人工智能)(107篇)、工程学(电子电气)(104篇)、体育科学(100篇)。中心性方面,工程学(0.66)明显高于其他学科排名第一,计算机科学(0.34)、社会学(0.18)、体育科学(0.16)、经济学(0.13)、数学(013)分列其后。
据此分析,计算机科学与工程学牢牢占据发文量与文章中心性的头两名,体育科学也均在前5之列,这进一步印证了人工智能技术是计算机科学中的一个分支,并且以工程学为依附载体,开发人工智能设备并运用到体育科学领域。概括地说,体育人工智能技术是从计算机科学中“来”,在工程学中“蜕变”,到体育科学中“去”。除此之外值得一提的是,历史发文量仅10篇左右的社会学、经济学和数学却在2020年引起了较大关注。其中社会学在2016年出现了文章中心性突增的情况,分析是由于人工智能技术引入到体育领域会带来一些社会伦理问题,如阿尔法围棋(AlphaGo)在2016年战胜了职业九段棋手李世石,未来人类在体育领域扮演什么角色,这引起了全球范围内体育发展的社会学思考。数学与经济学均在2017年开始备受体育人工智能领域的关注,先进的数学算法提供了发展体育人工智能技术的理论基础与保障,经济学则扩宽了未来体育人工智能发展的资本渠道。
3 体育人工智能研究热点分析
关键词是文章精华的提炼,其出现的频次与研究主题的热度成正比[5]。Cite Space V可以将关键词或主题词的聚类关系和频次高低以可视化的形式直观地表现出来,进而析出此研究领域的热点问题[6]。设置选择时间分割为1995—2020年,每1年一切片,节点类型“Keyword”,阈值项选择“TopN=50”,其余均为默认值,最终析出了由179个节点和779条连线组成的体育人工智能研究热点知识图谱(图3)。进一步合并汇总,整理出部分高频和高中心性关键词表(表2)。在图谱中,某节点和标注词字体越大,说明此关键词出现得越频繁。而节点之间的连线越粗,表明关键词间的联系越紧密,同时连线颜色的差异对应的是关键词第一次出现的时间[7]。
3.1 体育人工智能高频关键词共现分析
同时从图3和表2可以看出,在关键词频次与中心性排序中,出现了人工神经网络(Artificial Neural Network),它是人工智能技术受神经网络技术的启发,从20世纪80年代开始发展出的一种机器学习的重要算法模型。通过模仿动物神经网络行为特征,进行分布式并行信息处理,用以模拟人的思维。除此之外机器学习 (Machine Learning)、表现(Performance)、模型(Model)、体育运动(Sports)、计算机视觉(Computer Vision)也都具有很高的频次与中心性,特别是机器学习,分别位于第1和第3位,表明机器学习仍是目前体育人工智能研究热点中的热点。如Gudmundsson等[8]认为光学智能跟踪系统可以通过分析球员和球的轨迹数据,计算出高效技战术模型以提升比赛成绩。Barros等[9]运用计算机视觉技术模型,分析了4支巴西甲级联赛足球运动员在一场比赛中各个位置的跑动路线与距离,借此评判运动员表现。Memment等[10]通分析拜仁慕尼黑对巴塞罗那一场比赛中相同位置球员的跑动数据,从基于机器学习技术的动态系统和神经网络的角度提出了3种不同的足球战术分析方法,可以为临场战术的最佳选择提供科学评判。此外,分类(Classification)作为数据挖掘领域中的重要研究课题,也印证了目前体育人工智能领域注重以数据挖掘为基础的实践与实证研究。同时以世界第一大运动足球(Soccer)为聚焦热点,开发、建立人工智能模型(Model)与系统(System),更加关注对运动员(Player)表现(Performance)的影响,同时以机器学习和人工神经网络算法为主要技术,着重对人工智能技术有效性(Validity)的评定、开发与利用。
3.2 体育人工智能突现关键词分析
在图3关键词研究热点共现图的基础上,运用Citespve V软件生成了近年来6个高被引关键词的时间节点激增图(图4),这6个突发强度最高的关键词,分别为跟踪(Tracking)(2009—2013)、体育锻炼(Physical activity)(2011—2015)、人工神经网络(Artificial Neural Network)(2011—2013)、有效性(Validity)(2011—2015)、(人体)能量消耗(Energy Expenditure)(2011—2013)、姿态识别(Action Recognition)。除姿态识别外,其余5个词汇在2011—2013都曾集中突现,这些词之间有什么联系?分析代表性文献如Staudenmayer[11]开发和测试两个人工神经网络并应用于单轴加速度计中,以收集体育活动数据,并对低强度运动、剧烈运动和家务活动进行分析,认为将神经网络应用于运动记录仪中的加速度计中有广泛的应用前途。Borges等[12]认为对人类行为的解释要结合图像和信号处理、特征提取、机器学习和3D几何等技术。应用场景的处理范围可从病人护理与工业安全监视到体育运动分析,并提出了三维观测数据集的更新换代与重建将是未来的研究热点。Matthews等[13]回顾了体育活动监测仪在不同类型人群体育锻炼中的应用情况,主要用于监控、干预和分析人体能量消耗情况,他同时分析了如何使用体育活动监测仪得到最佳锻炼计划。Freedson等[14]使用可穿戴式监测仪对老年人和功能障碍人群进行了有效的身体活动评估,扩宽了体育运动中的客观测量领域的研究视野。Zhang等[15]的团队基于GENEA(正常日常活动的重力估计器)的原始数据,将体育活动分为步行、跑步、家居或久坐活动等方式,成功地开发了适用于腕关节加速度计模型,其性能可与传统的腰臀加速度计相媲美,并最终用于体力活动评估。通过上述文献分析,这6个关键词的突现有着很强的关联。从2011年左右开始,以人工神经网络技术为理论基础,以人体能量消耗为指标,开展了一系列对身体活动的高效识别与追踪技术研究,并最终实现了智能穿戴设备的终端载体。基于此,研究者们见微知著,扩宽了技术与理论的发展方向,带动了体育与人工智能的高效结合与深化发展。
3.3 体育人工智能关键词时区图分析
在图4的基础上,运用Citespve V软件生成了关键词的时间线图(图5)。图中关键词十字节点的位置表示其第一次出现的时间,节点的大小表示1995—2020年累计出现的次数。从图5可以看出以Agbinya等[16]为代表作者的体育智能系统的研究首先起步,但之后相关研究停滞不前。从2006年Bartlett[17]第一次将人工智能概念引入到运动生物力学领域开始,一直到2012年左右达到一个研究高峰。期间,机器学习、人工神经网络、可靠度、表現等热点词相继出现。而之后的4年,创新型研究出现回落。从2016年3月著名的人机围棋大战开始到如今,预测、运动员、深度学习、人体运动识别等关键词相继出现,说明竞技体育领域的人工智能技术逐步得到重视,而以深度学习技术为基础的动作识别将是未来研究的新领域。从关键词的出现次数看,机器学习在2010年被Vales等[18]提出(图6),2017年开始爆发出现,到2019年出现32次,并且预计2020年的研究会更热。机器学习与深度学习和人体姿态识别在近年来的研究最为紧密。同时结合文献分析,以机器深度学习为主要途径的人体运动识别技术将是今后的研究热点。总结体育人工智能领域历年的发文情况以及关键词出现的时间节点与次数,认为人工智能在体育运动领域的发展大致阶段经历了4个阶段(如表3)。
4 体育人工之智能研究的聚类与演化
运行 CiteSpace V 软件,时间分割为1995—2020年,每1年一切片,节点类型选择“Reference”,阈值项选择“TopN%=50%”,得到体育人工智能研究相关文献共被引网络图谱(图7)和文献的时间线图(图8)。高中心性节点意味着其所代表的节点文献对于体育社会化相关研究的连接枢纽作用,这些关键文献在很大程度上代表着体育人工智能研究的演化方向。图7显示共有375个网络节点,1 234条连线,采用 LLR 算法,选取发文量大于20篇的聚类群,共有8个,并依据发文的时间、连线的紧密度以及聚类关键词的属性联系将其划分为5个知识群,以研究热点出现的时间年份由远及近依次标识为C1~C5。分别为C1对应#1“有效性”;C2对应#6“能量消耗”与#7“人工神经网络”;C3对应#0“技能获取”;C4对应#4“轻度创伤性脑损伤”与#5“生物力学”;C5对应#2“运动识别”与#3“序列模型”。图8的时间线图则以时间为线索,结合相关聚类中被引文献出现、关注与淡化不同年份节点时,分析出各个聚类的高被引与高中心性文献是如何影响着该聚类的走势。圆圈越大说明被引次数越多,圆圈外沿颜色越深说明中心性越高。最终对每个知识群中的代表性节点及其所代表的文献信息进行重点分析,进一步探究其所在知识群的演化情况。
4.1 C1知识群:基于加速度计技术的简单活动识别与能量消耗研究
C1知识群即#1聚类“有效性”。一项技术的运用,其技术的可靠性与有效性是基本的保证。在早期的体育人工智能领域,对人体运动状态的简单有效的监控与评估是研究的热点。从高被引文献的时间线图可以看出,相关的理论研究集中在2004—2012年,也正是这期间,出个了5个突现关键词(图4)。而自此以后相关研究逐渐淡出视野,代替的是智能传感器在动作技术特征与动作时空参数分析等方面的深入应用。在此知识群的两篇高中心性与高被引文献中,Crouter等[19]的论文“A novel method for using accelerometer data to predict energy expenditure”建立了一个新的人工神经网络二元回归模型,通过识别48名参与者久坐、轻度、中度和高强度的体育活动,印证了新算法在预测能量消耗方面比传统Actigraph加速度计更精确。Staudenmayer等[11]的论文“Journal of Applied Physiology”开发并成功测试了两种适用于可以收集的体力活动数据,应用于单轴加速度计的人工神经网络模型,并对46名受试者进行行为测试,最终通过代谢当量对人体动作的识别准确率达到了88.8%。这两篇文献都是创新性地建立了人工神经网络模型,使动作类型与能量消耗的判定与识别更加高效与实用。
除此之外,Devries等[20]分析了49名受试者的坐、站、爬楼梯、步行和骑自行车等活动方式,建立和评价了两种基于单、双传感器加速度计数据的人工神经网络模型,发现简单的人工神经网络模型能很好地识别成人加速度计数据的类型,但不能识别其活动速度。Trost等[21]对100名青少年受试者的右髋佩戴活动描记器,进行5种运动强度试验同时对量最大摄氧量,认为人工神经网络可用于预测儿童和青少年体力活动类型和能量消耗。Skotte等[22]通过对17名在大腿和臀部安装三轴加速度计的受试者进行5种运动强度测试,提出了一种基于加速度标准差阈值和导出倾角的运动模式判别方法。Montuye等[23]通过建立基于腕部加速度计数据的人工神经网络模型,证明有可能开发出一种腕部独立的机器学习模型来高精度地预测人体能量消耗情况。综上所述,C1知识群的研究属于体育人工智能研究的中早期阶段,技术的主要载体为智能穿戴设备,由人工神经网络技术与加速度计来实现,目标为简单动作识别和能量消耗的准确预测。结合前文的关键词突现的情况,说明此时在体育运动领域,人们已经开始关注人工神经网络技术与体育领域的高效结合的效用,并探索了智能传感器未来的发展空间,为以后在体育运动领域各方面的精准施用打下了良好的理论与实践基础。
4.2 C2知识群:基于卷积神经网络算法的计算机场景分类研究
C2知识群包括#6“人工神经网络”与#7“场景分类”,研究大多集中于研究更高效的算法。在#6聚类中,高被引作者,来自芝加哥大学的 Felzenszwalb等[24]早在2005年就提出了一个基于零件对象建模与识别的高效计算框架,解决了使用图像结构模型来查找图像中对象实例的问题,以及从训练实例中学习对象模型的问题。在此基础上,Felzenszwalb等[25]进一步深化了研究,得出了在此聚类中心性排在第一的论文成果“Object Detection with Discriminatively Trained Part-Based Models”,其被引频次达到三千余次。其中详细阐述了计算机视觉技术的重要技术——目标识别的定位问题。他提出了一种基于人工神经网络技术的多尺度可变形零件模型混合目标检测系统,能准确地对困难的数据进行高效分析。
相关学者还提出了很多其他的人工神经网络实现方法。如运用基于Kohonen神经网络的深度图像分割方法,可应用于游泳远动员的选材、手球战术模式选择、游泳比赛成绩预测等竞技体育领域[26]。Girshick[27]将人工神经网络语法模型应用于人体检测,可识别被遮挡或姿势、外观变化的人体部分,能够有效地解决PASCAL-VOC数据集中的人体检测这一难题。Pedro等[28]开发的可变检测模型,也能实现在混乱图像中的目标定位。
進一步从时间线图看出,上述机器学习的人工神经网络算法研究集中在2007—2012年,往后则趋于平淡,与之接力的是在此基础上发展而来深度学习的卷积网络算法。卷积神经网络被称为“平移不变的人工神经网络” ,具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一,能对更复杂的场景中人体姿态进行识别。在#7聚类中,代表学者,多伦多大学的Krizhevsky等[29]于2012年在国际神经信息处理系统大会(NIPS)推出他的著名研究成果“ImageNet Classification with Deep Convolutional Neural Networks”,迄今为止,其被引次数达到了惊人的1.4万余次。这篇文章中他训练了一个大型的、深卷积的神经网络,由5个卷积层组成,可以将ImageNet LSVRC-2010图像分类比赛中的120万张高分辨率图像分为1 000个不同的类别。由于影响力巨大,该文章在2017年由美国计算机学会重新整理出版。在此基础上他还对卷积神经网络进行了模型和数据并行化,在4个GPU上实现了加速度的大幅提高,并验证了8个GPU模型的应用可行性[30]。
在Krizhevsky里程碑式的研究成果指引下,有关学者继续深化研究。Donahue等[31]证明深度卷积网络具有以下特征:1)可以逐层提取图像的特征,不需要人工的设计特征。2)泛化能力较强,可以适用于目标识别、场景识别和区域适应等。3)鲁棒性强,对图像的扭曲、偏移、缩放等完全适应。Zhou等[32]在Krizhevsky的研究基础上对噪声图像进行微调,可以有效地缓解因输入失真而产生的影响,比重新训练更为实用。Angelova等[33]则对卷积神经网络进一步改进。他设计出了一种大面积侦测网络(LFOV)大视场分类器,可以处理更大的图像区域,同时对多个位置的人体目标作出识别与判断。
综上所述,在C2知识群的#6与#7聚类,主要是在2012—2017年期间,使图像识别的技术理论逐步趋向成熟,由三层结构(输入层、隐藏层和输出层)的人工神经网络发展到五层结构(输入层、卷积层、池化层、全连接层和输出层)的卷积神经网络。以Krizhevsky的里程碑意义的成果为基础,相关学者持续推进了卷积神经网络结构的发展,不断提高其性能,保障了计算机视觉技术对的有序推进,为运动员技战术分析与训练反馈、比赛结果预测等领域的运用提供了可靠的理论与技术保障。
4.3 C3知识群:基于计算机视觉技术的体能与技战术的分析与预测
C3知识群由#0“技能获取”构成,这里的“技能”包含运动员比赛时的各种数据,如体能分配、技战术规范性与合理性等。从时间线图看出,此研究区间广泛,时间跨度长,从2006年至今一直有新的研究成果出现,说明这一直是体育人工智能研究的主要方向。在C2知识群的研究基础上,体育运功领域的基于机器学习的计算机视觉技术开始迅猛发展。此知识群开始运用计算机视觉分析技术尝试进行体育运动,尤其是团队运动的中各种数据分析,并取得了良好的效果。中心性排在第一位的文章作者Osgnach等[34]开创性地将视频匹配分析技术用于评估职业足球运动员的身体表现。通过对399名“意甲”球员的场上跑动的视频分析,评估了顶级足球运动员瞬时代谢能力,从而根据实际代谢能力而不是仅仅根据速度重新定义“高强度”的概念。他还假设了官方比赛的视频匹配分析和训练的GPS相结合的模型,可以对单场比赛或足球赛季中与比赛位置、排名和疲劳程度相关的差异进行更深入的研究。这为今后可穿戴传感器的深入研究扩宽了视野。他在随后的研究中还进一步完善了对复杂地形“加速度”数据的收集技术[35]。Prampero等[36]也证实了通过监测跑步者的速度,可以根据在平坦地形上加速/减速跑步和在恒定速度下上坡/下坡跑步之间的生物力学相似性,估计能量消耗、代谢功率需求和实际耗氧量(VO2)。这种方法不仅可以用来估计典型的田径短跑运动的主要特征,还可以用于足球等团体项目。Polglaze等[37]对12名优秀男子曲棍球运动员进行一系列的速度测试和3分钟的全面测试,计算出了临界速度(CS)和临界功率(CP),并结合心率(HR)、血乳酸(BLa)和自感劳累评分,以评价变速运动临界代谢功率对团体运动强度分类的效果。认为速度不是一个适合于团队运动活动分类的参数,但由变速活动得出的临界代谢功率则具有较好的分类效果。
除去对运动员能量消耗的反馈与团队表现研究之外,在体育运动的技战术分析和成绩预测中,研究者可以在计算机视觉技术基础上建立人工神经网络分析模型进行智能化和自动化分析。例如,Iyer等[38]搜集了1985—2006年英国板球运动员的比赛录像数据建立神经网络预测模型并对参加2007年板球世界杯运动员的赛前表现进行了分析预测,最终与世界杯上球员实际表现基本吻合,证明神经网络确实可以为队员选择提供决策支持。Grunz等[39]采用一种升级版人工神经网络的拱形结构对一场足球比赛中22名球员的大约135 000个数据集进行分析,计算出了高效的临场战术模式。Hassan等[40]运用卷积神经网络模型对欧洲U18手球锦标赛中723个动作进行了注釋分析,最终了实现了对球员跑动位置数据的准确预测,为针对性战术布置提供了有效的科学依据。Kempe等[41]运用智能视频跟踪系统记录10名篮球运动员上半场的比赛数据,并利用动态可控神经网络进行分类和评价,分析出了下半场比赛最有效的技战术模式。
综上所述,计算机视觉技术是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量,并进一步做图形处理,可以在训练辅助反馈中发挥重要作用。在大部分正式比赛中运动员身上不允许穿戴额外设备,因此比赛中的信息采集方式主要为基于计算机视觉的方式。这对于体育项目,尤其是足球、篮球、手球、橄榄球等团体项目中运动员的表现分析起到了高效的分析作用。在以胜利为终极目标的竞技体育领域,在无法实现智能传感器穿戴设备分析的情况下,基于人工神经网络与卷积神经网络算法的计算机视频分析技术扮演着越来越重要的角色。将具有精细分析功能的人工智能的教练系统与更具备经验历练的传统教练团队结合,预计将是未来体育团队决策的发展方向。
4.4 C4知识群:基于可穿戴式传感器的动作分析与损伤防控研究
C4知识群由#4聚类“轻度创伤性脑损伤”与#5聚类“生物力学”构成,
这两个聚类由可穿戴的微型传感器实现了连接与互通。在C1知识群中,可穿戴设备首先实现了由加速度计来识别简单活动方式与基本消耗量,发展到了C4知识群的对精细动作特征的识别和对复杂能量消耗的量化分析。创伤性脑损伤也称“脑震荡”,是常见运动损伤形式之一。在#4聚类的高被引文献中,Gabbett等[42]的研究总结与预测了可穿戴传感器对复杂运动环境下精准数值量化的应用前景。认为创伤性脑损伤是集体对抗类项目如美式橄榄球、足球等运动中的常见损伤类别,而对碰撞中体能要求的评定是预防损伤的重要指标。但由于计算机视频记录碰撞的编码冲突是劳动密集型的,而可穿戴微传感器的制造商已经改进了自动检测冲突的技术,由从前的模糊预测分析到已经可以运用微技术单元量化碰撞运动的接触负荷。Ralston等[43]通过让受试者在多种对抗性运动如橄榄球、足球、曲棍球、拳击以及军事训练演习中使用可穿戴传感器监测头部撞击过程,认为在运动环境中,具有声学反馈功能的碰撞传感器能显著降低头部损伤的风险。而可穿戴式头部冲击测量系统的发展,使接触运动中头部运动学的测量成为可能。Brennan等[44]通过分析13项测量线性加速度和旋转加速度的研究后,认为通过加速计进行头部撞击监测在描述与脑震荡有关的头部运动载荷方面是有用的。Yeragin等[45]利用智能可穿戴的传感设备,对34名青少年足球运动员在跑动中的线加速度和旋转加速度进行测试,发现年龄大、身高、腿长但体重不重的男孩,持续受到冲撞的概率较高,而肥胖男孩受冲撞的风险与其他BMI类别的男孩相比没有明显统计学意义。概括来说,运动相关的脑损伤引起的短期和长期神经损伤不仅是当今运动医学研究的主要话题,如何在运动中预防脑损伤的风险,结合神经网络算法的可穿戴设备进行预防与监控也是当下的热点领域。
相比#4聚类以智能传感器来评估碰撞过程中的力进而对脑震荡等运动损伤过程进行研究,#5聚类涉及了在运动生物力学领域利用微型传感器技术的更多应用方向,如用于检测特定运动,人体步态识别,检测运动类型和运动频率、识别运动误差等。中心性最高的综述文章作者Ancillao等[46]的“Indirect Measurement of Ground Reaction Forces and Moments by Means of Wearable Inertial Sensors: A Systematic Review”认为,利用可穿戴传感器估算地面反作用力已成为一个极具挑战性的研究课题。可能的方法是根据受试者佩戴的惯性测量装置(IMU)获得的运动学数据估算地面反作用力。他认为基于人工神经网络的小型无创可穿戴系统对三维地面反作用力(GRF)的预测与估算具有广泛的应用前景,能够智能监测下肢训练疲劳程度,预防损伤。Sgrò等[47]对64名8~11岁儿童的立定跳远成绩进行测试和分析,验证了采用可穿戴IMU对儿童不同发育水平和差异进行分析是可行的,充分说明IMU的广泛和有效的运动分析用途。
在#5聚类中,Chambers等[48]的综述文章“The Use of Wearable Microsensors to Quantify Sport-Specific Movements”中心性位居次席,该研究证明了微型传感器具有评估特定运动技术的效力,包含隔网项目、团队项目、水上项目、雪上项目等。Taha等[49]通过比较Kinect技术和IMU识别羽毛球腕、肩关节的运动表现,发现这两项技术对上肢的加速运动都具有很好的监测效果。Heike等[50]利用基于多维度卷积神经网络模型的惯性传感器对跳台滑雪中的失误动作进行分类,对误差的识别率能达到60%~75%,他认为在目前的数据体系下,该系统已足够出色。
综上所述,穿戴传感器可以准确地监测和评估在撞击等易发生运动损伤的状况下,评估人体机能的实时状态,减少受伤风险。同时配合IMU可以实现对具体项目的动作识别和分类。但就理论而言,人体的运动是连续的,传感器检测的数据也是连续的,如何从连续的数据中分割出不同类型动作的边界,是动作自动识别的关键。目前,支持向量机、K临近算法、随机森林等算法来发现传感器数据特征与动作特征之间的对应关系是一个发展的趋势。另外,使用可穿戴传感器进行活动识别和检测的一个主要障碍是:当传感器在人体的配置发生任何变化时,识别的算法就需要重新开始构建,并且对于这些新算法的再训练还需要大量的有标记的训练数据集,如何解决这一问题也是相关学者今后要深入探讨的话题。
4.5 C5知识群:基于计算机深度学习的人体识别技术
C5知识群是C3知识群研究的深化,包括#2“行为识别”与#3“序列模型”。计算机视觉技术已经实现了对运动轨迹、运动类别的简单识别,但如何从复杂背景从连续的数据中分割出不同类型动作的边界,如何在更为复杂视频背景中准确提取更为精细的动作来进行分析?针对此问题,采用机器学习、深度学习、数据挖掘等为精细的序列模型。如深度卷积神经网络、密集轨迹、SCAPE模型等,并结合3D人体估计技术,将是未来发展的趋势,也是C5知识群的主要研究内容。
现实场景大多具有复杂与混乱的背景,给人体行为的识别带来干扰。密集轨迹对快速不规则运动的鲁棒性较强,对视频运动信息的覆盖度较好,是目前一种有效的人体识别技术。#2聚类中心性排在第一的Wang等[51]的文章“Action Recognition with Improved Trajectories”改進了密集轨迹。即通过综合摄像机的运动情况对密集轨迹进行修正,致力于提高的性能,同时在4种具有挑战性的数据集(Hollywood2、HMDB51、Olympic Sports和UCF50)中进行了广泛的评估,验证了改进密集轨迹的有效性。Wang等[52]使用Kanade–Lucas–Tomasi(KLT)跟踪器与SIFT描述格式提出了一种基于密集轨迹和运动边界直方图描述方法,并在9个数据集上对视频描述进行评估,表明此技术优于当前的水平。受到Wang的启发,Peng[53]在密集轨迹的动作识别方法上,在运动边界上对时空长方体进行了密集采样,大大减少了有效轨迹的条目,提高了判别能力。Xu等[54]进一步提出了一种基于改进的密集轨迹的视频描述方法,对一些具有Fisher向量的真实数据集的描述有了显著的改进,并能保持计算精度和计算效率。Rohrbach等[55]认为人体识别是当前研究的热点,但是细粒度活动识别的挑战性问题却被忽略了。他提出了一个包含65种手部精细动作的新数据库,这些运动具有较低的类间变异性和较高的类内变异性,认为提高视频分辨率和姿态表现力,是有效的识别改进方法。细粒度检测技术的发展,对体育运动中精细部位的识别与评判具有重要意义。
此外,随着深度传感设备的普及,运用3D技术对人体动作的捕获成为可能。在过去的几年里,学术界公开了一些RGB-D数据库,为人体姿态估计开辟了新的道路。Ji等[56]提出了一种用于动作识别的3D卷积神经网络模型。该模型通过执行三维卷积从空间和时间两个维度提取特征,从而捕获编码在多个相邻帧中的运动信息。Mehta等[57]用单一的RGB相机即普通智能手机分析模型完整地捕捉了人体3D骨骼姿势,该方法的精度与最佳的离线三维单目RGB姿态估计方法相当。但这项技术更适用于室外场景,并能应用在普通商用RGB相机中。Park等[58]提出了一种基于随机森林的人体3D模型分析法,提高了确定人体关节最终位置的聚类精度,并实现了在高尔夫挥杆分析系统中的应用,可使运动员矫正自己的错误姿势。
在算法的深化方面,虽然深度卷积神经网络(DCNN)在单幅图像的二维姿态估计任务上取得了优异的成绩,但是对3D姿势的标注难度却要大得多。为了解决这些问题,尝试改进卷积网络的序列模型是很有效的方法。高被引文献Szegedy等[59]的“Going Deeper with Convolutions”提出了一种编码代号为“Inception”的深卷积神经网络结构,其22层的深度网络提高了计算深度和宽度,实现了分类和检测技术的优化。Moon[60]首次将三维手部和人体姿态估计问题从单一深度图转化为立体像素,他设计了一个3D 卷积网络模型,可以在实时运行的同时提供精确的估计,并证实了这个系统优于几乎所有公开可用的3D手部和人体姿势估计数据集中的方法。Dryden等[61]认为扩展卷积网络可以满足不断增长的数据集并减少训练时间,他开发了一个新的卷积神经网络的性能模型,并证明此模型在分析中有很好的伸缩性,同时实现了对以前无法访问的数据集的训练。Park[62]通过卷积网络学习人体关节之间的相对三维位置,将二维姿态估计与图像特征相结合,提高了卷积网络的性能,并且通过联合多个关节的位置信息,使其从图像中估计3D姿态的结果更加准确。
綜上所述并结合时间线图分析,从2010年起,在体育运动领域,视频中复杂背景下人体的识别与精细动作的识别是计算机视觉技术的重要研究方向。以卷积神经网络为代表,不同算法的集合将人体识别技术向更精确、更高效、更便捷的方向推进。2018年,Facebook公司已建立了RGB图像与人体表面特征之间的对应关系,其目标是在RGB图像上,在复杂背景的情况下,对大量人体运动进行姿态估计(如足球比赛),但其有效性和精度还需进一步评估。同时基于视频分析的3D姿态估计技术也逐步向简便化、大众化、便携化迈进,以GDB相机、TOF相机、双目视觉相机等分析终端,结合随机森林、标记像素等深度特征的部位识别算法将在未来体育运动识别与技术分析领域发挥越来越重要的作用。
5 小结
5.1 在WOS数据库中体育人工智能领域的发文量中,美国、中国、德国分列前3位。文章的中心性方面美国第1位,中国仅排在第8位,说明我国相关领域的研究还没有得到国际同行的充分关注认可,研究质量需要提高。
5.2 体育人工智能技术研究主要涉及计算机科学、工程学、体育科学、数学等学科的相关理论与研究方法。概括来讲,体育人工智能技术是从计算机科学中“来”,在工程学中“蜕变”,应用到体育科学中“去”。
5.3 体育人工智能研究的高频与高中心性关键词涵盖机器学习、体育运动、人工神经网络、分类、系统、表现等,表明目前体育人工智能领域注重以数据挖掘为基础的实践与实证研究。同时以机器学习和人工神经网络算法为主要技术与方向,开发、建立人工智能模型与系统,以评价人体在运动中的表现。
5.4 体育人工智能的研究至今主要分为5个知识群。即1)基于可穿戴加速度计技术的简单活动识别与能量消耗研究;2)基于可穿戴式传感器的动作分析与损伤防控研究;3)基于卷积神经网络算法的计算机视觉场景分类研究;4)基于计算机视觉的体能与技战术的分析与预测;5)基于计算机深度学习的人体姿态识别技术。
5.5 体育人工智能的研究体现出从宏观研究到微观研究、从理论研究到实证研究、从定量研究到综合研究的发展脉络,且不同阶段的研究热点与侧重点各有不同。从研究内容上看,主要方向分为人体可穿戴设备与计算机视觉技术分析,从早期的算法理论逐渐到与工程学结合,涉及到动作识别、训练监控与反馈、比赛表现评估、运动损伤康复等方面。从研究对象上看,理论方面注重更加高效与便捷的算法,在实践应用中主要以竞技体育为主,尤其是以足球为代表的团体运动,同时以健身行业等大众体育为辅。
5.6 体育人工智能的未来趋势依然呈现一种更加应用化、实践化的发展策略,通过不断完善与匹配,找到更加高效与实用的人工智能算法与模型,深入开发更加智能的可穿戴传感器与提高视觉分析系统的深度学习能力是未来研究的重要方向。
参考文献:
[1]李长青.人工智能[M].北京:中国矿业大学出版社,2006.
[2]钟义信.高等人工智能原理:观念·方法·模型·理论[M].北京:科学出版社,2014.
[3]蔡自兴.中国人工智能40年[J].科技导报,2016,34(15):13-32.
[4]Chen C M.Cite space II:Detecting and visualizing emerging trends and trans-ent patterns in scientifific literature[J].Journal of the American Society for Information Science and Technology,2006,57(3):359-377.
[5]Kesslr M M.Bibliographic coupling between scientific papers[J].Journal of the American Society for Information Science and Technology,1963,14(1):10-25.
[6]邱均平,温芳芳.近5年来图书情报学研究热点与前沿的可视化分析——基于13种高影响力外文源刊的计量研究[J].中国图书馆学报,2011,192(37):51-60.
[7]石岩,霍炫伊.体育运动风险研究的知识图谱分析[J].体育科学,2017,37(2):76-86.
[8]Gudmundsson J, Horton M.Spatio-Temporal Analysis of Team Sports[J].ACM Computing Surveys,2017,50(2):1-34.
[9]Barros R M,et al.Analysis of the distances covered by first division brazilian soccer players obtained with an automatic tracking method[J].Journal of sports science & medicine,2007,6(2):233-242.
[10]Memmert D,Lemmink M,Sampaio J.Current Approaches to Tactical Performance Analyses in Soccer Using Position Data[J].Sports Medicine,2017,47(1):1-10.
[11]Staudenmayer J D.An artificial neural network to estimate physical activity energy expenditure and identify physical activity type from an accelerometer[J].Journal of Applied Physiology,2009,107(4):1300-1307.
[12]Borges P, Conci N,Cavallaro A.Video-Based Human Behavior Understanding: A Survey[J].IEEE Transactions on Circuits and Systems for Video Technolo- gy,2013,23(11):1993-2008.
[13]Matthews C E,et al.Best Practices for Using Physical Activity Monitors in Population-Based Research[J].Medicine&Science in Sports & Exercise,2012,44(1):68-76.
[14]Freedosn P,et al.Assessment of Physical Activity Using Wearable Monitors[J].Medicine & Science in Sports&Exercise,2012,44(1):1-4.
[15]Zhang S,et al.Physical activity classification using the GENEA wrist-worn accelerometer[J].Medicine & Science in Sports & Exercise,2012,44(4):742-7488.
[16]Agbinya J I,Rees D.Multi-Object Tracking in Video[J].Real-Time Imaging,1999,5(5):295-304.
[17]Bartlett R.Artificial intelligence in sports biomechanics:new dawn or false hope?[J].Journal of sports science&medicine,2006,5(4):474-479.
[18]Vales A,et al.Ambient Intelligence Systems for Personalized Sport Training[J].Sensors,2010,10(3):2359-2385.
[19]Crouter S E,Clowers K G, Bassett D R.A novel method for using accelerometer data to predict energy expenditure[J].Journal of Applied Physiology, 2006,100(4):1324-1331.
[20]Devries S I,et al.Evaluation of Neural Networks to Identify Types of Activity Using Accelerometers[J].Medicine&Science in Sports&Exercise,2011,43(1):101-107.
[21]Trost S G,et al.Artificial Neural Networks to Predict Activity Type and Energy Expenditure in Youth[J].Medicine&Science in Sports&Exercise,2012,44(9):1801-1809.
[22]Skotte J,et al.Detection of Physical Activity Types Using Triaxial Accelerometers[J].Journal of Physical Activity and Health,2014,11(1):76-84.
[23]Montoye A H,et al.Wrist-independent energy expenditure prediction models from raw accelerometer data[J].Physiological Measurement,2016,37(10):1770-1784.
[24]Felzenszwalb P F,Huttenlocher D F.Pictorial Structures for Object Recognition[J].International Journal of Computer Vision,2005,61(1):55-79.
[25]Felzenszwalb P F.et al.Object Detection with Discriminatively Trained Part-Based Models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.
[26]Pfeiffer M,Hohmann A.Applications of neural networks in training science[J].Human Movement Science,2012,31(2):344-359.
[27]Girshick R B.Object Detection with Grammar Models[J].Proceedings of the 24th International Conference on Neural Information Processing Systems,2011:422-450.
[28]Pedro F,et al.Visual object detection with deformable part models[J].ACM,2013:97-105.
[29]Krizhevsky A,Sutskever I,Hinton G E.Image Net classification with deep convolutional neural networks[J].Proceedings of the Conference and Workshop on Neural Information Processing Systems,2012:84-90.
[30]Krizhevsky A.One weird trick for parallelizing convolutional neural networks[J].Proceedings of the Conference and Workshop on Neural Information Processing Systems,2014:32-40.
[31]Donahue J,et al.DeCAF:A deep convolutional activation feature for generic visual recognitio[J].Proceedings of the International Conference onon Mach ine Learning,2014:1047-1055.
[32]Zhou Y,et al.On Classification of Distorted Images with Deep Convolutional Neural Networks[J].IEEE International Conference on Image Processing,2015: 621-625.
[33]Angelova A,et al.Pedestrian Detection with a Large-Field-Of-View Deep Network[J].IEEE International Conference on Image Processing,2015:1390-1398.
[34]Osgnach C,et al.Energy Cost and Metabolic Power in Elite Soccer[J].Medicine & Science in Sports & Exercise,2010,42(1):170-178.
[35]Osgnach C,et al.Metabolic Power and Oxygen Consumption in Soccer:Facts and Theories[J].Biomechanics of Training and Testing,2018:299-314.
[36]Prampero P,Botter A,Osgnach C.The energy cost of sprint running and the role of metabolic power in setting top performances[J].European Journal of Applied Physiology,2015,115(3):451-469.
[37]Polglaze D,et al.Classification of Intensity in Team Sport Activity.Medicine & Science in Sports & Exercise,2018,50(7):1485-1493.
[38]Iyer S,Sharda R.Prediction of athletes performance using neural networks: An application in cricket team selection[J].Expert Systems with Applicatio-ns,2009,36:5510-5522.
[39]Grunz A,Memmert D,Perl J.Tactical pattern recognition in soccer games by means of special self-organizing maps[J].Human Movement Science,2012,31(2):334-343.
[40]Hassan A, Schrapf N,Tilp M.The prediction of action positions in team handball by non-linear hybrid neural networks[J].International journal of Performance Analysis in Sport, 2017,17(3):293-302.
[41]Kempe M,Grunz A,Memmert D.Detecting tactical patterns in basketball: Comparison of merge self-organising maps and dynamic controlled neural networks[J].European Journal of Sport Science 2015,15(4):249-255.
[42]Gabbett T J.Quantifying the Physical Demands of Collision Sports[J].Journal of Strength and Conditioning Research,2013,27(8):2319-2322.
[43]Ralston J,Thibado J,Woodard J.Advances in wearable impact sensors for monitoring and reducing brain injury risks due to cumulative head impact trauma in athletic and military environments[J].British Journal of Sports Medicine,2017,51(11):60-67.
[44]Brennan J,et al.Accelerometers for the Assessment of Concussion in Male Athletes:A Systematic Review and Meta-Analysis[J].Sports Medicine,2017,47(3):469-478.
[45]Yeargin S W,et al.Anthropometrics and maturity status: A preliminary study of youth football head impact biomechanics[J].International Journal of Psych op hysiology,2018(132):87-92.
[46]Ancillao A,et al.Indirect Measurement of Ground Reaction Forces and Moments by Means of Wearable Inertial Sensors:A Systematic Review[J].Sensors,2018,18(8):1-34.
[47]Sgrò F,et al.Assessing Standing Long Jump Developmental Levels Using an Inertial Measurement Unit[J].Perceptual and Motor Skills,2016,124(1):21-38.
[48]Chambers R,et al.The Use of Wearable Microsensors to Quantify Sport-Specific Movements[J].Sports Medicine,2015,45(7):1065-1081.
[49]Taha Z,et al.Preliminary Investigation of an Innovative Digital Motion Analysis Device for Badminton Athlete Performance Evaluation[J].Procedia Engineering,2016(147):461-465.
[50]Heike B,Ohgi Y.Assessing Motion Style Errors in Ski Jumping Using Inertial Sensor Devices[J].IEEE Sensors Journal,2017,17(12):3794-3804.
[51]Wang H,Schmid C.Action Recognition with Improved Trajectories[J].IEEE conference on computer vision,2013:735-746.
[52]Wang H,et al.Dense Trajectories and Motion Boundary Descriptors for Acti on Recognition[J].International Journal of Computer Vision,2013,103(1):60-79.
[53]Peng X.Motion boundary based sampling and 3D co-occurrence descriptors for action recognition[J].Image and Vision Computing,2014,32(9):616-628.
[54]Xu H,Tian Q,Wu J.Exploring the influence of motion boundary sampling to improved dense trajectories for action recognition[J]Proceedings of the 7th International Conference on Internet Multimedia Computing and Service,2015(62):1-5.
[55]Rohrbach M,et al.A database for fine grained activity detection of cooking activities[J].IEEE Conference on Computer Vision and Pattern Recognition,2012:1194-1201.
[56]Ji S,et al.3D Convolutional Neural Networks for Human Action Recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence2013,35(1):221-231.
[57]Mehta D,et al.VNect: real-time 3D human pose estimation with a single RGB camera[J].ACM Transactions on Graphics,2017,36(4):1-14.
[58]Park S,et al.Accurate and Efficient 3D Human Pose Estimation Algorithm using Single Depth Images for Pose Analysis in Golf[J].IEEE Conference on Computer Vision,2017:1045-1056.
[59]Szegedy C,et al.Going Deeper with Convolutions.[J].IEEE Conference on Computer Vision and Pattern Recognition,2014:1-9.
[60]Moon G.V2V-PoseNet: Voxel-to-Voxel Prediction Network for Accurate 3D Hand and Human Pose Estimation from a Single Depth Map[J].IEEE/CVF Conference on Computer Vision and Pattern Recognition,2018:1-14.
[61]Dryden N,et al.Improving Strong-Scaling of CNN Training by Exploiting Finer-Grained Parallelism.IEEE International Parallel and Distributed Processing Symposium,2019:210-220.
[62]Park E,et al.Combining multiple sources of knowledge in deep CNNs for action recognition,IEEE Winter Conference on Application of Computer Vision,2016:660-668.