互动视频 更进一步的虚拟现实

技术宅

最近虚拟现实（VR）非常的火热，不过VR虽然可以给我们带来虚拟真实的体验，但是这种体验大多基于虚拟画面，用户并不能进行实时互动。麻省理工学院目前开发出了一种互动视频技术（Interactive Dynamic Video），则可以让用户和视频进行触摸互动体验。效果就类似星球大战中的绝地武士那样在屏幕中制造波澜，即使隔着一个次元的屏障。那么什么是互动视频技术？这种技术是怎么实现视频的触摸互动？又会给我们的生活带来什么样的影响？

科技扫盲 互动视频是个什么鬼

使用过VR设备的朋友都知道，当我们带上类似Oculus虚拟设备观看视频时，我们可以进入更加真实的视频世界。但是无论这个虚拟体验有多么真实，作为观众永远只是旁观者，我们只能观看视频，而无法与视频进行互动交流（图1）。

为了能够让用户和VR视频有更多的互动体验，麻省理工学院开发了互动视频技术。这种技术可以让我们在观看视频的同时进行触摸交流，比如在演示视频中，虚拟的皮卡丘出现在草丛中后，用户只要拖动鼠标，草丛就会动起来，这个效果就像生活中的真实场景一样（图2）。

触摸视频 认识互动视频背后的原理

互动视频的亮点就是互动，即用户可以通过鼠标、触摸等操作让视频中原来静止不动的物体“动起来”，从而获得更加真实的体验。比如在上述演示视频中，原来画面中的草丛实际上是静止的，但是通过触摸操作可以让其晃动，这样在虚拟皮卡丘跳跃到草丛后草丛会晃动，感觉就像生活中真实的场景一样。那么这种视频互动的效果是怎么实现的呢？

大家知道，现实生活中的物体如果受到外力的作用，物体就会发生震动。这样要让视频中原来静止的物体能够和用户的触摸进行互动，传统的方法是使用3D建模来建立互动式模拟，通过建立虚拟3D模型实现和用户的互动。这种3D建模方法可以让用户通过触摸虚拟3D模型获得互动，但是3D建模技术难度大，3D渲染需要花费大量的时间，而且也不是每一种物体都可以进行建模。因此这种传统3D建模技术无法在常见的VR场景中大范围使用（图3）。

麻省理工学院现在开发的视频互动技术则绕开3D建模。开发人员首先利用摄像机预先拍摄禁止物体在受到外力作用下的微小震动视频（最短只需5秒的视频片段）。接着开发人员利用一个算法来生成一个预测模型，通过这个模型来预测出该物体在其他外力下产生的震动模式。获取物体预测震动模式后，研究人员还会将该模型和物体在实际外力作用下的震动进行比较并进行校正，这样进行多次算法修正后，这个预测模型就可以比较真实地反映出物体在外力作用下的震动了。这样通过将视频互动化，分析并预估出物体如何应对各种未知作用力，探索出了视频交互的新方式（图4）。

我们以上述Pokemon Go游戏为例，开发人员首先拍摄视频画面中草丛在外力作用下的震动视频，通过算法和预测模型就可以预测出草丛在小精灵附着时的震动状态。这样当游戏中的小精灵出现在草丛上面的时候，草丛就会由于这个虚拟物体的作用而出现相应的震动，看上去就像有个真正的实物落在草丛中。同样的，当我们使用手捕捉小精灵触碰到手机摄像头展示的草丛时，手机上显示的草丛也会发生相应的震动，整个的游戏操作就像是在现实生活中真实的触碰，可以让VR游戏拥有更为逼真的游戏场景（图5）。

不仅仅是触摸 互动视频技术发展前景

通过上述介绍，我们知道视频互动技术可以让我们触碰虚拟视频中的物体并获得反馈。在游戏领域，该技术的出现可以让让我们获得更为真实的体验。比如在一些VR射击游戏中，使用互动视频技术后，用户通过扣动虚拟枪械可以获得像在使用真枪一样的感觉，如开枪后的后座力震动、扣动扳机后的形变等。这种游戏感觉是不是让人神往？

互动视频技术还可以应用在购物领域，在VR购物中我们可以在远程真实看到需要购买的物品，如果结合视频互动，那么用户就可以获得更加真实的购物体验。比如一些丝绸衣服，用户甚至可以通过触摸布料，通过布料的变形来判断质量的好坏，整个购物体验就像是你在实体商场购买衣服。这种全新的购物体验自然可以让大家更有买、买、买的冲动。

当然类似的应用还可以用在很多领域，比如桥梁设计，通过桥梁模拟受力形变来获得承重参数。这项技术用于电影制作中，可以通过算法模拟出真实世界的情景，可以简化特效师的工作，打造逼真的视觉效果，通过这种虚拟受力获得更多的特技效果等。