3D感知引领人机交互应用新方向

文/周路菡

3D感知引领人机交互应用新方向

文/周路菡

在移动端的应用，未来将引导机器人、无人驾驶、体感识别、实景购物、智能家居、3D感知等多个领域的变革，3D感知也将开启人机交互新时代

苹果在新一代iPhone发布会上正式推出了“FaceID”面部识别技术，首次在移动终端实现了3D识别以及AR功能。苹果大规模率先采用3D感知技术，说明3D识别应用已经从实验室踏入市场，这也让与3D识别相关联的所有相关的产业和应用领域，都迎来了真正的革命性的风口。3D识别技术在移动端的应用，未来将引导机器人、无人驾驶、体感识别、实景购物、智能家居、3D感知等多个领域的变革，3D感知也将开启人机交互新时代。

3D感知应用迎来“超级周期”

2017年9月13日，苹果在新一代iPhone发布会上推出了iPhone 8、iPhone X等一系列新产品。在这次发布的新产品中，iPhone手机引领新一轮的硬件创新浪潮，其中柔性OLED、双摄、3D摄像头、玻璃外观、无线充电、双电芯、类载板、声学升级、SiP封装、激光加工已成为新的看点。

在所有的硬件中，最被业内人士看好的是在苹果手机上率先应用的3D Sensing（3D感知）技术。据悉，该技术将重新定义手机的前相机地位，苹果可能凭借3D感知技术重回创新领导者的宝座。

苹果手机的3D感知技术之所以成为此次iPhone的最大亮点，主要是其让一向被长期探索的技术正式进入应用层面。苹果的3D感知技术原理为使用Light Coding技术，透过红外线发射器将空间编号，利用打出至空间或物体上的散斑来记录深度资讯，因此可模拟出3D效果。据悉，苹果通过手机前端的红外线原生感摄像头，投射超过30000个肉眼不可见的光点到人脸之上，并绘制出一个完整的面部3D图形。据了解，以往Light Coding曾被应用在Microsoft第一代Kinect上，以便侦测玩家动作，如今iPhone将此技术导入人脸辨识应用上，透过3D感测来纪录使用者的五官外观特征。而由3D感测驱动的人脸辨识所产生的最直接影响，就是取代了原本由iPhone带起的指纹辨识功能。换言之，不管在手机解锁或是Apple Pay使用都将由人脸辨识取代。

根据实际的检测结果，3D感知技术的应用将大大方便使用者的解锁步骤。iPhone X可感知用户只需要看手机就可以让手机自动解锁，这样就在使用者习惯上大大简化了操作步骤。以往使用者在解锁过程中需要把手指置于Home Button上，但是有时手指脏污，手机无法辨识指纹，所以还得需要输入密码。此外，苹果的Apple Pay功能也更加方便，因为使用该功能以往需要指纹辨识以达到验证目的，如今iPhone X的人脸辨识读取完用户的脸部资讯后，用户在手机侧边的睡眠/唤醒切换键轻点两下确认后，就可完成付费程序。

在资讯安全部分，苹果3D感知技术的应用强调其所采用的人脸辨识功能通过导入机器学习的神经网络，可以让安全性较指纹辨识功能大幅提升，容错率仅1：1,000,000，这也降低市场原本对于人脸辨识在安全上的疑虑。

苹果在iPhone X上大规模采用感知技术，将彻底激活这一领域，消费电子也将从此进入“AI+AR”新时代，未来会给3D感知技术研发、图像处理芯片、系统模组等多个产业带来巨大的市场空间。在这种背景下，可以说与3D感知技术所有相关的产业和应用领域，都迎来了革命性的风口。未来，3D深度感知技术进入消费级智能终端将是大势所趋，一旦实现大规模应用，将对现有的消费电子产品产生颠覆性的影响，人机交互将进入新时代。

3D感知应用进入成熟期

目前，主流的3D感知成像技术有三种：双目视觉、结构光技术和时差测距技术（Time of Flight，TOF）。双目视觉基于立体视觉原理，模拟人眼成像；结构光技术通过收集激光照射到粗糙物体后返回的斑点得到3D图案；TOF方法通过接收反射回来的光线，由测量时间差算出目标距离。

3D感知成像三种方案各有优缺点。其中双目视觉方案，软件算法复杂，技术还不成熟；结构光方案，技术成熟，功耗低，平面信息分辨率高，但是容易受光照影响，识别距离近；TOF方案抗干扰性好，识别距离远，但是平面分辨率低，功耗较大。综合来看，结构光方案更加适合消费电子产品前置近距离摄像，可应用于人脸识别、手势识别等方面，TOF方案更加适合消费电子产品后置远距离摄像，可应用于AR、体感交互等方面。

2012年以来，3D感知成像开始受到全球各大科技巨头的重视，值得注意的是，除了苹果之外，谷歌、微软、英特尔、索尼、三星等科技巨头，均在深度相机、体感交互、动作捕捉等领域展开了深度布局，研发先进的3D感知技术。

如2012年左右，微软收购了3D-TOF相机公司Canesta和3dv；2013年，英特尔推出Real Sense实感技术，谷歌推出Project Tango项目，苹果收购结构光先驱Prime Sense；2015年索尼收购了3D感知技术综合技术供应商SoftKinetic，Facebook旗下Oculus收购3D手势识别公司Pebbles。作为全球消费电子的王者，苹果公司投入最为积极，早在2010年左右便开始在3D感知技术方面展开布局。2010年9月苹果收购了瑞典三维图像识别公司PolarRose；2013年11月以3.6亿美元收购了3D感知技术结构光方案先驱Prime Sense，获得大量专利和技术；在2015年之后，在3D感知技术、人脸识别、图像识别等方面，苹果先后收购了Linx、Faceshift、Emotient、Flyby Media、Real Face等多家公司，形成了全面的产业布局。

自 2013 年收购 Prime Sense 之后，苹果推动 Prime Sense 的3D体感传感器向小型化方向发展，在3D视觉方面加大投入，不断推出技术升级和专利布局。其中2015年4月，美国专利局公布苹果3D手势控制技术专利，是一种能够精确识别人手手势的3D机器视觉系统。2015年7月，美国专利局批准了一项苹果提交的面部识别专利，名为“低门槛面部识别”，基于前摄像头捕获的图像，然后图像处理器对该图像进行处理，随后便与存储在参考模块中的图像进行对比。2015年10月，苹果公司关于手势和面部识别的专利再次出现；2016年7月，苹果公布新型3D手势控制专利，是一个3D图像投影仪，内嵌在一个诸如iPhone手机这样的iOS设备上，可以识别出用户的手势操作；2017年3月,苹果发布3D感知新专利——利用景深信息进行人脸识别，该专利有望用于下一代iPhone的3D相机系统，该专利的部分技术出自PrimeSense公司。可以说,苹果公司在3D感知各个方面都进行了深度布局，苹果移动端3D感知技术已进入成熟期，具备大规模应用的技术基础。

目前，3D感知技术已经在工业和医疗领域取得成功。根据相关报告，2016年全球3D感知技术市场规模约为13亿美元，其中60%为工业级市场。但是由于成本较高，市场空间有限，应用定制化强，并未大规模普及。在工业市场主要用于机器视觉检测等领域，在医疗市场主要用于机器人辅助手术等领域。

3D感知技术产品在消费级市场的尝试适于微软Kinect游戏配件和英特尔Realsense体感配件，但是整体而言，由于缺乏较佳的应用场景，同时技术还不够成熟，导致目前消费级3D感知技术市场并未激活。

由于苹果的带动作用，2017年被认为是3D感知技术元年，预计2018年3D感知技术进入爆发增长期。在苹果的带动之下，3D感知技术将打开消费级市场，随后行业将加速发展，预计2018年在移动和计算领域将会有大量3D感知和传感产品上市，特别是人脸识别、体感交互将成为3D感知技术获得突破的关键应用，同时AR也是极有潜力的应用领域，无人机和机器人市场也将受益于3D感知技术的崛起。

根据Yole的报告，预计2022年全球3D感知技术市场规模将达到90亿美元，从2017年到2022年的复合年均增速将达到38.05%，增长的动力主要来自于消费级市场的放量，预计2022年消费级3D感知技术市场规模将达到60亿美元。

3D 感知引导消费电子进入“AI+AR”新时代

目前手机的摄像头主要用于拍照，但3D感知及成像不只是为了拍照，更关键的是要获取更多的深度信息，弥补2D成像特征信息损失的缺陷，重建真实世界。那么获取深度信息都有哪些应用领域呢？3D感知成像的创新又在何处呢？

笔者对比后发现，3D感知并不是普通的功能性组件创新，而是电子业在继图形界面、触控之后的第三次人机交互跨越的功能体现。3D感知通过激活光学交互属性，可以实现二维到三维的交互升级。随着信息量持续提升，人机交互就开始向更高效、更简单、更自然方向演进。

通过3D感知深度获取了更多的信息，意味着用户可以对真实世界进行更真实、更高质量的图像描述，配合激增的信息处理能力，商家和用户就可以围绕3D建模衍生出多样化的应用：比如生物识别、AR/VR到机器视觉、自动驾驶、无人机、安防等。

但是在所有的应用领域中，“AI+AR”的深度应用是最值得期待的。苹果也希望让3D感知视觉来为苹果打造的先进AR体验提供重要支持。

2017年6月，在苹果全球开发者会议上，苹果发布ARKit开发平台，该平台能够利用每一部iPhone和iPad上的摄像头，以及各种传感器，创造出不同凡响的AR体验。凭借苹果庞大的iOS用户群和开发者群体，ARKit一举成为全球最大的AR开发平台。但是，目前该平台主要基于传统摄像头，在AR体验方面与3D摄像头相比有较大差距。

苹果CEO蒂姆库克强调，AR将是苹果未来不可或缺的重要环节，有了AR，苹果的iPhone手机将更加具有吸引力。库克表示在2017年秋季推出iOS11后，能看到各种各样的AR应用，目前开发人员正在开发大量基于ARKit的应用和游戏。

3D感知在AR领域应用潜力巨大，提供强大建模能力。对于AR而言，其核心功能是在现实物体上叠加虚拟信息，将真实世界和虚拟世界“无缝”集成，从而为用户提供真实与虚拟叠加的全新体验。因此，在AR众多相关技术中，3D建模是至关重要的，需要借助3D视觉景深相机在现实物体的基础之上构建虚拟的图像画面。

尽管目前ARKit主要利用iPhone、iPad等设备现有的摄像头实现AR体验，但是如果iOS设备添加3D感知及视觉功能之后，苹果将在AR体验方面全面升级，3D视觉所提供的景深信息和建模能力是现有普通摄像头无法比拟的，借助3D视觉苹果的AR体验将更加出色。

3D感知开启人机交互新时代

回顾消费电子发展历程，可以发现真正被用户认可并买单的技术总是集中在人机交互领域，并围绕输入输出体验的提升而展开：比如电容触控、Retina屏、大尺寸屏幕、3D玻璃、指纹识别技术、3DTouch技术、OLED技术、双摄技术……

从功能上看，3D感知不仅仅在识别精度方面大幅提升，更重要的是打开了更加广阔的人工智能应用空间。例如利用三维人脸识别可以直接获取消费者面部表情，通过人工智能技术，可计算出用户的生理年龄、精神状态甚至健康程度，这些功能都将为消费电子带来全新的玩法；人脸识别还可以用于移动端自拍的快速对焦，用户自拍美颜等功能。所以我们有理由相信人们对交互体验更高效、更简单、更自然的追求将带来更多的3D感知市场渗透率，3D感知的普及力度或将超出市场预期。特别是在以下的市场应用中，3D感知技术将具有非常大的市场空间。

三种主流的3D感知成像技术

在生物识别系统中，3D感知获取的深度信息可与模型链接，迅速精准地完成匹配检测；在AI领域，机器视觉是人工智能的下一个前沿，而3D感知技术则是机器视觉的关键解决方案。

在智能汽车上，3D感知可以用于自动驾驶，通过3D感知技术对行车环境进行感知，从而获取环境信息以增加安全性，此外还可以用于汽车内的乘客离位检测。

在家庭娱乐方面，3D感知作为一个性能优异的输入设备，实现手势识别功能，为第一人称游戏提供直观的接口。

在安防领域，视频监控中3D感知可以增加深度信息实现全方位的监控，而在人脸识别门禁中导入3D感知则大大提高了其安全性。

在无人机领域，3D感知主要用于避障功能。

更有专家认为，在移动终端应用和用户体验方面，3D感知技术蕴含着亿万美元的市场价值。一旦人们习惯了3D感知技术，并与我们所习惯的三维世界相融合，将会在衣食住行等各个生活场景里，爆发出无数应用领域和商业机会。

例如，在2016年4月，阿里巴巴宣布成立阿里GM Lab后，阿里就一直进行一系列商品3D化以及VR/AR展示相关的技术布局。目前阿里以手机淘宝为运营平台，陆续上线3D / AR主图、二楼VR店铺以及AR Buy+扫一眼功能。同时辅以相应的活动推广，包括AR众筹、潮玩购物活动、男人节女人节3D购物节、618、双11等，取得了积极的市场反馈。目前阿里也成立研究机构开始对3D感知与深度神经网络、循环神经网络、卷积神经网络、支持向量结合方面进行深入研究。

另外一家公司易尚展示自2016年开始便与阿里VR/AR团队进行了接触并确立了合作关系，同时作为第一家3D感知ISV进驻阿里服务市场，与阿里就如何快速高质量地对商品进行3D数字化重建进行研究与探索。易尚展示深耕3D数据领域多年，成为国内此领域的领军企业。不久前，该公司收到了科技部关于“三维数字彩色成像测量仪”的立项通知，也佐证了其在国内3D数据领域的龙头地位。

随着信息量的持续提升，人机交互始终在向更加高效、更低学习成本、更加自然的方向演进。在新一轮创新周期中，AR/VR、AI大量导入，信息需求和信息处理能力激增，“触”和“听”将升级为信息量更大的“看”， 3D感知技术的输入输出方式是大势所趋。基于3D感知技术的新模式，未来将会诞生出一批全新的公司，也势必会诞生出很多具有卓越技术和市场把握能力的独角兽。