眼见并非真 诺亦腾解密动作捕捉技术
2014-12-06张燕
张燕
【图注:基于传感器的动作捕捉技术,可以利用穿戴在人体上的传感器采集、记录人体的动作数据,并将其转换为数字模型。】
光学动作捕捉技术虽然发展了很久,但是一直没有在电影制作以外的领域得到广泛应用。其本身使用过程的繁复和昂贵的使用成本是根本原因。
57万美金,这是北京诺亦腾科技有限公司(以下简称诺亦腾)最终交出的成绩单。就在此轮众筹结束前,诺亦腾还没有意识到自己刚刚创造了中国科技公司在Kickstarter(美国纽约的一个专为具有创意方案的企业筹资的众筹网站平台)上筹款的新纪录。创造这项记录的产品名叫Perception Neuron,是一款由诺亦腾自主研发的可以自由组合的轻量级动作捕捉系统。
在诺亦腾之前,来自中国的创意产品在Kickstarter上创造的最高纪录是近30余万美金。诺亦腾总经理刘昊扬在接受《中国经济周刊》独家专访时表示,诺亦腾此次能在Kickstarter上获得这样好的成绩,与诺亦腾的产品性能有很大的关系。“相比市场上或者Kickstarter上同类型的产品,我们的系统更便携、价格更低、功能却更完备。毫不谦虚地说,诺亦腾在基于可穿戴式传感器的智能动作捕捉领域,已经站在了全世界最领先的队伍里,而这个队伍不会超过三家。”
突破动作捕捉局限:便捷、能耗低、成本低
还记得前段时间热映的《猩球崛起2:黎明之战》吗?在这部科幻巨制里,情感细腻、性格丰满的猩猩们成为了电影的主角。当然,这些演技高超的猩猩不可能是“真人上阵”,而逼真的效果也不是高超的化妆技术可以做到的。真相出人意料。在电影中看来声势浩大的猿族大军,其实只用了6到8个人扮演。背后的奥妙就是动作捕捉技术与计算机图形处理技术的完美结合。
动作捕捉技术是一种记录人体动作,并将其转换为数字模式的技术。从最早的《全面回忆》中的施瓦辛格经过X射线时的镜头,到《泰坦尼克号》的沉船场景,再到今天《猩球崛起2:黎明之战》中的表演,都离不开动作捕捉技术的贡献。目前最常见的是光学式动作捕捉系统,使用者在身体各个部位安装标记点,依靠多个摄像机跟踪标记点间位置和角度的变化来识别动作。
“光学动作捕捉技术经过几十年的发展,成熟度很高,目前已经可以精准到完美捕捉人的面部表情。但是光学动作捕捉技术也有它的局限性。”刘昊扬向《中国经济周刊》表示。
在刘昊扬看来,光学动作捕捉技术虽然发展了很久,但是一直没有在电影制作以外的领域得到广泛普及。其本身使用过程的繁复和昂贵的使用成本是根本原因。
光学动作捕捉系统的原理是捕捉人身上的反光点,一般现场会需要几十台到上百台摄像机。再加上每一个反光点在每个摄像机的位置都不同,因此就要对每一个摄像机的参数进行修正。
此外,发光贴片都是绑定在演员的外表皮肤上,所以最终得到的数据是皮肤层面的运动数据,而动作模拟需要的是骨骼数据,后期仍需要根据表皮运动数据去反算人体骨骼数据。
“光照是有局限性的,光的传播最怕被遮挡。” 刘昊扬一边扳动着手指一边向《中国经济周刊》解释,“光学动作捕捉系统最难的就是捕捉手部的动作,因为被遮挡的机会太大。而人在运动中难免身体部分会出现互相遮挡,数据的采集就会有丢帧的情况出现,你就得后期再去修补。”
在刘昊扬看来,基于传感器的动作捕捉技术的优势可以很好的弥补这些不足。诺亦腾的核心技术是通过把微型穿戴式的传感器穿戴在人体身上,利用传感器采集的组合来采集人的运动数据,然后使用无线技术输送到电脑上,由诺亦腾的算法与软件计算恢复出传感器穿戴者的连续人体动作,并形成数字模型。诺亦腾2013年推出了世界上第一套完全无线人体运动捕捉系统Perception Legacy。14年,诺亦腾最新的核心产品Percepiton Neuron由1到30个指甲盖大小的高精度九轴传感器组成,目前是全球范围内最小、最轻的无线动作姿态捕捉传感器模块。根据刘昊扬的介绍,Percepiton Neuron的精准度在全球范围内同类产品中目前排名第一。它能以每秒480帧的高速捕捉细微的人体姿态变化,而一般电影的播放速率大概是每秒20多帧画面。
“便携、能耗低、成本低,这几个因素对于任何一种技术的普及都至关重要。价格下来了,技术才能从少数高尖端的应用变成消费品。”刘昊扬告诉《中国经济周刊》,诺亦腾的目的就是通过提高动作捕捉技术水平,将其应用普及到更多更广的领域。
拥有自主知识产权核心算法
今年通过CCTV5观看世界杯的观众,一定会对每场比赛开始之前与评论嘉宾同时出现在演播厅的虚拟球员有着深刻的印象。这些拟真度极高的虚拟球员不但形象逼真,而且会配合嘉宾的话语做出相应的动作,进行各种热身动作,向观众招手、欢呼,甚至还能偶尔摆出俏皮的姿势。这个令人耳目一新的演播方式就应用了诺亦腾的传感器动作捕捉技术。这并不是诺亦腾动作捕捉技术在国内的第一次亮相,在今年的湖南卫视春晚上,著名歌手李谷一与30年前的自己跨时空对唱,也是诺亦腾动作捕捉技术在舞台交互效果上的又一次精彩呈现。
虽然光学动作捕捉系统是依靠电影制作而发扬光大,但是诺亦腾的野心并不仅仅局限在电影动漫制作市场上。
“我们最引以为傲的是拥有自主知识产权的核心算法。”刘昊扬说。诺亦腾截至目前已申请专利16项,其中发明专利5项、PCT国际专利2项,与多家国际科技公司合作,在各个领域开发制作硬件产品。
2013年,国务院发展研究中心将诺亦腾列为中国经济发展转型的一个典型案例,商务部实地考察了诺亦腾之后在商务部内部进行了诺亦腾《科技创新调研报告》的发放讨论。
诺亦腾技术的优势在于动作感知,姿势捕捉,可识别的场景会更多,且管理起来更加智能,这给了诺亦腾进入消费市场巨大的机遇。
刘昊扬告诉《中国经济周刊》,诺亦腾的核心算法使载体只需要通过一个模块,便可以感知到某些特殊场景和姿态,了解用户当前的状态。“以运动举例,它可以检测到更多有意思的数据。比如打篮球时可以计算出运球次数、传球次数、投籃次数、空跑时间、篮板球数量;打高尔夫可以计算出果岭距离、沙坑情况,可以通过你的挥杆动作和力度计算打球结果等等。”
“当这项低成本、高精度人体运动捕捉技术融入生活中的消费级产品,会带来更出色的生活和工作体验。”诺亦腾CTO戴若犁在接受媒体采访时表示,消费级穿戴式智能传感器未来潜力巨大,而“动作”则是穿戴式设备可提供的重要数据类型。
目前诺亦腾的技术在可穿戴市场已经有授权使用,诺亦腾同时也推出了自己的消费产品,针对高尔夫运动者的姿势矫正产品 mySwing,用户把产品夹在球杆上,便可捕捉到挥杆节奏、速度,杆头轨迹、角度等数据,从而帮助锻炼者改进姿势。据悉,该产品在2014 PGA(简称“美巡赛”,是一项美国职业高尔夫球系列赛事的统称)大会排名第一。
刘昊扬将诺亦腾定位为一个技术平台。他认为在现今环境下,没有哪家公司有能力完成技术的全面普及,需要多个公司的共同协作。目前诺亦腾已在海外成立了分公司,率先开创了海外市场。 “一定是在海外,只能在海外。国内对品牌的依赖度很强,作为新产品、新技术,国外市场的接受能力会更强些。”