人工智能：5G+AI重塑XR未来

李佳师

编者按：10月20日上午，2019世界VR产业大会“人工智能”分论坛召开。本次活动由上海科技大学VR与视觉计算中心、叠境数字科技（上海）有限公司承办，工业和信息化部电子第五研究所、江西优联投资发展有限公司协办。本次活动以“5G+AI重塑XR未来”为主题，对5G+AI将给VR/AR带来趋势变化进行了深入的讨论。

陈军：

5G是驱动力、AI是催化剂将给XR带来颠覆性机遇

近年来，江西省委省政府高度重视VR产业发展，把推动VR产业创新发展作为贯彻落实制造强省战略的重要举措，积极打造好世界VR大会这个世界级平台，加强全球合作，构建全新的VR格局。今年六6月，出台了《江西省虚拟现实产业发展规划（2019-2023）》，明确VR产业发展目标和重点，并列入了江西省2+6+N的行动计划，力争到2023年左右，将VR产业打造成为超千亿级的产业。江西省还出台了加快推进虚拟现实产业发展的若干意见，涵盖技术创新、推广运用、培养人才、融资扶持以及公共服务等五大领域，努力打造VR产业集群和创新高地。

在推进产业发展方面，目前，南昌现已聚集VR产业近百家，与之相关的电子信息产业产值突破千亿元，VR产业已成为江西省发展的强劲动力。全球新一轮科技革命和产业变革蓬勃发展，新技术、新产品、新业态加速向各领域广泛渗透，5G技术对经济社会发展乃至人类社会带来深刻的变革。作为引领未来战略性技术，5G正全面赋能各行各业，并将进一步释放科技革命和产业变革积蓄的巨大能量，推动社会生产力整体要素变革，将极大推动XR产业的发展。同时，AI技术中的计算机视觉与追踪，在XR领域的应用已经非常广泛，但技术的发展不仅止于此，作为基础设施的5G是驱动力，AI是催化剂，在5G高速公路的带动下，XR应用场景更加多样的同时，三者互促式发展将为XR带来颠覆性的机遇，为XR在更广泛的应用领域开辟新天地。

王蕴辉：

AI将在渲染、制作、交互方面促进VR发展

随着技术的发展，虚拟现实和增强现实正加速向生产和各种领域渗透，在影视直播、游戏、教育、工业等领域，已经有了应用落地。一直以来，人工智能与虚拟现实两大热点领域融合发展，随着计算机视觉、语音识别等AI技术的不断成熟，人工智能对于虚拟现实产业的推动也日益显著。主要体现在三个方面：一是渲染处理。深度学习的渲染成为人工智能在图像渲染领域的重要创新。二是内容制作。以真实用户的虚拟化和三维重建为发展对象。进一步增强VR内容的交互性，以真实用户为对象的虚拟化身成为近期的热点，传统方法依靠的是昂贵的设备和繁琐的后期处理，新一代的方法是基于深度学习技术，通过学习知识可以从一个或者是多個二维头像中，恢复物体的三维几何和结构，而无需复杂的过程。三是感知交互，通过结合计算机视觉与生理信号的反馈，打造虚实结合的体验。VR技术大大提升了VR的体验。

我们如何对VR/AR性能开展评价？这也是我们今后需要研究的一个热点方向。基于我们对技术、行业发展的调查和研究，我们设计了虚拟现实性能的评价体系，分别从交互性能评价以及用户体验评价这几个方面开展工作。总结来看，第一是AI极大地推动了VR技术的发展，两者的结合将会带来更加深度、更加沉浸的体验。第二是VR/VR的评测技术，将为VR/VR产品的性能优劣提供一个统一的评判标准。推进AR/VR评测可以为行业的发展提供有力的支撑，未来，还我们还将开展AI+VR的融合研究，优化算法，丰富我们学习的样本，完善VR/AR的性能评价体系。

基罗斯·库图拉科斯：主动3D成像

将改善VR/AR

3D相机对于虚拟现实产业的发展有着非常重要的作用。3D相机其实和我们之前所使用的相机完全不同，这些3D相机可以测量距离，通过加工光线的强弱来测量照相的距离，并且可以对周边的环境进行一些测量。他们可以应用到手机、耳机、眼镜等里面，或者可以放在车上。我们所研发出的这个相机，能够引入到很多的体系中，也就是我们称为主动的3D成像，可以用在我们的经济体系中，使用这种主动的3D成像技术之后，可以建立3D的成像体系。相机里面有不同的系统，它们在设计的时候，就考虑可以应用到很多复杂的应用中。而且成本也可以有所控制。这些设备其实能够使用不同的技术，高端的或者光速技术，以及使用商业的扫描技术，而且可以在很长的距离中，实现3D成像。它的精度也很高，它的清晰度、分辨率都很高，能达到微米级。因为使用的是三角测量方式，它的准确度很高，而且短距离和长距离的摄影效果都非常好。这种相机目前是高端技术，它的价格可能会稍高，它可以将很多的3D的成像点进行连接。

从消费者的角度来说，以前的相机可能比较便宜但是功能非常有限，所以以前的相机在一些高曝光率的情况下，摄像的结果并不好，尤其是太阳很强烈的情况下。从消费者的角度来说，它也没有办法进行扫描或者对于一些复杂材料进行加工，这些加工的方式都不好。所以，为了能够解决这些问题，我和我的学生们希望能够推进3D成像，让消费者在使用相机的时候，解决他们所遇到的问题，比如分辨率、拍摄的清晰度等都解决。

Jason Yang：

利用深度学习实现更少拍摄带来更精准重现

目前电影界使用AI技术已经非常广泛。随着科学和技术的进步，我们能够从电影世界当中感受到AI的进步。除了电影，在现实生活中AI的应用也非常多，包括生活中的机器人、虚拟现实的模拟等。当我们希望将现实和虚拟世界重叠在一起时会有更多的挑战。

而我们所做的技术，比如这个3D的游戏，游戏里面加了虚拟现实以后，能够使得游戏变得更加有趣，比如脸书公司利用AI技术来更好地帮助企业发展和实现更多更好地人和人之间的互动。

表情研究、表情分析在AI中的应用以及VR中的应用越来越广泛。我们公司的业务之一是对表情进行分析研究。在这个视频中，我们看到被拍摄的人物是在动的，所以在虚拟现实中对他进行模拟重建是比较困难的，因为有很多的问题。比如真人成像过程中，我们要看到头发、皮肤、眼睛、嘴巴、脖子等，对这些真实的生物元素进行处理很复杂，在渲染的过程中要花非常多的精力。传统的3D三维的重塑，利用很多的摄像机，对准要成像的真实人物进行拍摄，然后进行3D建模。这依然存在很多不足，因为尽管放了足够多的摄像机之后，依然有很多动作、角度、肢体的信息无法精准捕捉进来，因为身体有些部分是被遮挡住的。所以我们需要利用更多的数据来解决这些问题。我们采用深度学习等技术进行数据的分析和研究，同时与上海理工大学进行合作，就可以使用更少的相机拍摄，捕捉到更多的画面。我们也在和华为进行合作，考虑是否可以使用相机，把现实中的人创造成一个虚拟的人。

马修·德布伦：机器学习与粗粒化研究

提升模拟精准度

人工智能、虚拟现实可以在很多方面帮助我们进行改进，获得提高。比如利用虚拟现实与人工智能结合进行外科手术培训，可以帮助医生提升以后手术的精准度。比如我们通过人工智能、虚拟现实的方式进行检测、测试肝脏在进行手术的种种情况，让外科医生了解在手术过程中怎么样操作才能更好。

而要实现精准的模拟，同样会面临很多困难，比如一个肝脏，我们在模拟的过程中，会发现模拟出来的肝脏有点太柔软，与实际人体肝脏的结构不太一样，精准度受到了影响。因为我们在进行模拟的过程中，没有办法去确保所有肝脏的特性都能够被我们收集，我们需要找到接近于肝脏组织的弹性，而平均弹性的掌控非常有挑战。我们还应用了不同的弹性材料，不同的弹性材料有不同的弹性，比如有线性弹性、同性弹性、纵向弹性、横向弹性。通过不同的方式来实验来模拟，希望看清其中的变化。而从几何学角度说，我们必须简化，同时也要对物体进行物理学的考量。比如说肝脏，肝脏里面有很多的小血管，如果说血管比较刚硬，就会导致我们所做的研究的结论不正确，因为我们做肝脏研究的时候，没有将小血管考虑进去。不管怎么说，在做研究的过程中我们也考慮到不同类型的参数。关于粗粒化的研究有很多方法，目前关于粗粒化的研究还远未完美，而且我也相信未来VR行业粗粒化的应用有非常广泛的空间。通过机器学习，也可以帮助粗粒化研究变得更加完善。所以，我认为未来粗粒化的研究和机器学习相结合，能够将运动的精细化模拟做到更进一步的提升。

赫莲娜·派克：奥斯卡应该有一个奖项

颁给AR/VR

我们从出生之日起，就在寻找不同的方式展示我们是谁，讲述我们自己的故事，以一种无穷无尽的方式去讲述，包括中国的京剧、好莱坞的电影，都是在寻找不同的方法来讲述我们自己。在好莱坞正在创造一些工具来帮助我们讲述自己的故事，比如让相机变得更大更快，使之能够捕捉我们的生活、动作、情绪。我们从来都没有停止继续创造工具，来表达我们，比如绘画工具，比如戴上VR眼镜进行绘画，去创造和感受世界。

目前，一些知名导演或者影视创作人，都在使用AR技术，使用这种技术，把一个人的情绪转化成AR智能的情绪。我们已经可以通过人的表情，植入到不同的虚拟人物中，我们通过用CGI的方式，创造出人的骨架，让他们可以移动。通过人工智能，我们可以加入很多新的东西，推动人建模的发展。我们希望通过数字人建模的方式，让数字人物能够让像真正的人一样有更多的话语和表达功能。

在虚实现实中，我们通过人工智能帮助我们塑造自然的环境，把人的情绪植入到虚拟世界中。比如《复仇者联盟》，他们使用的就是渲染以及人工智能和塑造建模的方式，提升动作上的相互匹配度、数字化人物的灵活度。目前，我们可以使用人工智能的方式把人和场景进行分割，可以把人区分出来放在不同的场景中。还通过粒子的模拟方式，帮助我们进行仿真，比如对火、烟、水进行仿真，通过人工智能仿真可以看清火的特性、形状，以人工智能的方式将其创造出来。我们希望缩短模拟仿真时间，也在致力于通过手机就能完成，加速我们拥有更多更好的VR方面体验感。互联网已经向我们开放了创新机会，让每一个人都能够有机会通过使用互联网以创新的方式来讲述自己的故事，比如推特、抖音等。有AR/VR的帮助，好莱坞也会进入到一个新的创新时代，所以奥斯卡奖也应该颁给AR和VR。

松下康之：

3D传感技术能够更精准地捕捉现实世界

3D传感技术为什么如此重要？传统的照片成像是通过光影来塑造形象和结构。这些方法有好处，也有坏处，比如几何图形的方式，它可以塑造出你的整体结构，但是它细节描述不够，没有办法提供很多深入的信息。照片成像的方法可以帮助你找到很多细节的信息，但是只有细节信息，大体结构并不是很清晰。

而表面法相技术，我们用几何的方法设立结构，通过表面法相传感与几何重塑的方法结合，能够很好地为形状做恢复，并且添加更加高分辨率的细节。我们通过不同的测量方式，在这个公式里，M代表测量，N代表测量的面有多少，L代表光源的方向，H代表的是表面法相的表面，B是反射率的功能，利用这样的计算公式，最后光源成像，使用表面法相然后进行立体渲染，会得到很好的成像效果。

深度神经网络有什么作用呢？光度学应用在立体渲染其实是很复杂的一个技术，比如一些老图像，要进行重塑会要求有一些固定光源的方向，但是我们用了深度神经网络，就能够很好地分析、提取、融合，能够让我们实现更精确的网络化重建。

我们还有一些挑战，尤其是进行光学实验的时候。过去的方法都是在光源非常强劲的情况下进行实验，而且光的垂直照射度非常高。事实上这是一种罕见光源和标准光源，但现实的情况却千差万别，比如很多时候是近光，就像灯泡的光一样，它照射出来的效果就不一样，还有很多时候是无标定光源，也很难测量，还有一些场景光照可能产生内部的反射，也很难测量，还有的光源点照射到了物体上会产生折射和反射等，这种情况我们也无法进行精准的测量。所以我们需要新的光学测量法，需要3D传感技术，来更精准地捕捉现实世界，并将其数字化。