基于NGB环境的虚拟现实业务探讨

2014-09-18杨春清

电视技术 2014年17期

杨春清

（朝阳广播电视台，辽宁朝阳 122000）

在NGB这样具有超高带宽的网络环境下，双向高清3D视频将畅通无阻，NGB媒体云业务得以全面开展，届时以“用”为主的电视终端将会是集广播电视、互联网、物联网、多媒体通信、屏幕显示等多种技术于一体，以超高带宽网络为载体，以高清电视等多媒体为形式，以开放的个性化互动为特性，向用户提供包括数字电视在内的全方位交互式业务的高清智能云电视。这时，无处不在的智能电视终端所需要的计算和存储可以全部交由云端来完成，电视终端与云端的数据交换将会极为流畅，高清3D图像的生成将达到超实时[1]。随着NGB的成熟和完善，各种相关技术的发展和融合，各种业务的组合和渗透，以广播交互融合、网台实时互动、个性定制、自动漫游、多场景服务、跨屏幕无缝转移、跨网络交换与传递为代表的新型数字广播电视服务[2]，将会创新出丰富的符合人们生活习性的广电业务模式和业务形态。

本文将基于NGB网络环境，对电视虚拟旅游、电视虚拟商场、电视虚拟城市以及电视虚拟楼盘展示等虚拟现实业务进行探讨。

1 基于图像的虚拟环境构建虚拟现实

虚拟现实具有沉浸感、交互性和构想性3个最突出的特性[3]，正因如此，在现实基础上，运用虚拟现实技术构建虚拟世界，可以使参与者身临其境地沉浸在所构想出的三维虚拟世界中，并能在其中自由“行走”、全方位观察，以及对物体和环境本身进行交互操作控制。

而运行于NGB环境下的虚拟现实，既不同于实景录像，也不同于通过纯粹的计算机几何建模构建的虚拟现实。

实景录像虽具有真正的实景画面，但用户不能对实景环境进行驾驭及对其中的物体进行操纵，更不能自由地使自己置于实景环境之中。纯粹的计算机几何建模构建的虚拟现实，虽然具有最好的交互性，但都是凭借主观想象至多也就是仿照真实的情景由计算机生成的。而较为理想的虚拟现实是将实景图像和计算机几何建模相结合来建立虚拟环境，据此构建的虚拟现实既具有操纵灵活的交互性，也具有使人如临其境的真实感和现场感，这就是利用基于图像的虚拟环境所构建的虚拟现实。

利用基于图像的虚拟环境来构建虚拟现实，一般包括以下几个步骤：

1）利用照相机采集的离散图像或摄像机采集的连续画面作为基础数据，经过图像处理生成固定观察位置的水平360°、俯仰180°的内环视全景图像。

2）对各个固定观察位置的全景图像进行处理，生成固定位置的可变焦观察的全景图像。

3）选择关键位置的全景图像做关键帧，再利用特定算法，在某一方向生成关键帧之间的过渡图像，从而得到这一方向的运动观察图像。

4）以虚拟环境中需要为用户提供可详细观察物体的外表图像作为基础数据，经过图像处理生成可用于对该物体进行鸟瞰或环绕观察的外环视全景图像。

5）对物体的外环视全景图像进行处理，生成相应的变焦和运动观察图像。

6）当用户在虚拟环境中进行漫游、操作时，系统将对上述生成的所有图像进行实时组织链接并辅以声音，便可得到能够使人身临其境，并可以多种方式自由观察和灵活操纵的五彩缤纷的虚拟世界。

随着技术的不断发展，未来的虚拟现实还应具有动态的时间属性和更大的自由性，即虚拟环境和其中的物体将随着昼夜、季节的改变而变化，真正做到将虚拟环境的时间与空间融成一体；并且在虚拟环境中，用户能够自由地漫游，在任意地点、任意方位观察场景及操纵其中的虚拟对象，并且还可以聆听场景中的声音，就好像是真实的场景再现。

2 基于NGB的虚拟现实业务

由于虚拟现实技术所需实时处理的数据量庞大，只有像NGB这样具有超高带宽的网络，才能承担流畅的电视虚拟现实业务。运行于NGB环境下的虚拟现实业务，多为具有增强现实性[4]的分布式桌面虚拟现实业务[5]。所构建的虚拟世界，要具有增强用户在真实环境中无法感知或不方便感知的感受效果，能够通过NGB使多个用户同时参加一个虚拟空间，共同体验虚拟经历，并且利用电视终端作为用户观察360°范围内虚拟境界的窗口，利用便携式电视终端或者直接通过触摸屏幕来驾驭虚拟境界及操纵其中的各种物体。

2.1 电视虚拟旅游业务

所谓电视虚拟旅游，指的是利用遥感技术、虚拟现实技术、地理信息系统技术[6]，以及实际景区的实景照片或录像画面，构建一个地形、地貌、观光线路、景点景物等全部与实际景区几乎无异的虚拟旅游环境[7-9]，参观者使用电视终端自行选择观光路线、自行控制观光速度和观看方向及角度，进行犹如身临其境的虚拟旅游活动，所看到的都是这个旅游景区的实景画面，所听到的都是这个旅游景区的实景介绍和实地录制的鸟虫、水流声音。

电视虚拟旅游环境构建时所使用的录像画面，可以是采用高清摄像机双机拍摄或双镜头立体高清摄像机拍摄的具有真实立体感的3D高清图像画面，虽然这样使得系统需要处理的数据增加1倍，但却保证了对虚拟的风景观赏更加接近于实地旅游的人眼现场观赏效果。

参观者在虚拟景区中旅游时，不但可以像实地旅游一样，完全按照自己眼睛的视野进行水平360°的环视和垂直180°的俯仰观赏，并沿着景区的旅游路线边走边浏览，而且对于主要景点、远眺景点和景点中的重要景物，还可以通过推拉镜头变焦的方式，使参观者获得近距离观赏或望远镜的效果，而且只要走进一个景点的周围区域，伴随着当地独有的鸟虫、水流声音，介绍景点的录音就会自动播放，并同时在电视上显示出文字说明。

当然，这种虚拟旅游还可以结伴同行，通过电视终端可以约定自己的亲戚朋友，也可以征集旅友一同去某个景区旅游。旅游过程中，可以与同伴边观光边进行高清视频聊天。既然是结伴而行，系统就将限制同伴选取同一条观光路线和相互之间的行走距离，当同伴之间达到限制距离时，系统就会提示慢者跟上、快者稍等，除非经一方请求另一方确认后，系统才允许以自由行的方式自行选择路线、自行控制速度，各自开始独立的自由旅行。

当旅游到达某一个景点后，如果想要找一个也在同一个景点观光的旅游者聊天，就可在这个景点处向系统发出旅友聊天请求，于是系统就会将这一时刻在线于同一个景点、符合你要求的旅友户名显示出来，供选择进行高清视频聊天。当然，旅友户名、来自何处等资料，都是通过旅游者登录及使用的电视终端由系统自动获得。

电视虚拟旅游还可以选择性地开展一些业务：

1）景区综合信息查询：通过电视终端可以方便地快速查询某一景区的旅游特色、景点概况、浏览路线、交通线路，并且可以网上酒店订房订餐、订购地方特色产品等。

2）景点信息查询：在系统中建立各个景点信息数据库，当用户浏览到某一景点时，只要在电视终端上点击该景点的人造或自然景物，与该景物建立了超级链接的相关旅游信息（包括全国或全世界范围内类别相同的其他景物信息），就将以文字、图片、视音频短片等形式供用户选择性显示或播放。

3）旅游线路导航地图：在电视显示界面的某一角处，同时显示出一个平面旅游线路导航地图，上面动态地显示着用户目前在景区中所处的实际位置，点击这个地图上的景点，还可以直接到达指定的地点开始旅游，该地图可以放大、缩小或隐藏。

4）虚拟景区中还可以人为地增加一些虚幻效果，使游客感受到在实地旅游中不可能拥有的愉悦。

虚拟旅游的游览者可以在动态的自然虚拟风景中感受鸟语花香、风吹树动、潺潺流水的大自然美景，比起实地旅游，这样的虚拟旅游更是别有一番情趣。

2.2 电视虚拟商场业务

同虚拟旅游一样，到了NGB时代，基于商场的实际照片或视频图像，利用虚拟现实技术可以构建出看起来与实际几乎无异的虚拟商场。由于商场内部绝大多数的区域、商铺、置景等的形状都是规则的，并且商场内部绝大多数都是静态的商铺和商品，所以可以利用简单的几何建模加实景照片贴图的方式来构建虚拟商场，以提高虚拟商场的可操作性。

在这种虚拟商场的每一个关键部位和每一个商铺，都与实际商场同一处的高清监控摄像头进行关联，由于这些实际高清监控摄像头都已联入城市物联网，用户在电视终端上通过点击某一个监控摄像头图标，就可以看到实际商场中该摄像头监控的实时高清画面。在电视终端上，通过采用新型算法的图像处理技术而编写的数字监控App，还可以对实时监控的画面进行抓拍，并且可以对所抓拍的画面中的任意选定区域进行变焦处理，以便在保证图像分辨率及画质的前提下，对所感兴趣的画面部分放大观看。而商场中的每一种类商品都已制作了360°全景图像，用户可以对其进行360°的全景观看，当然，每一类商品又与其文字、图片、视音频的产品介绍相关联，用户随时都可以点击查看。事实上，这种利用虚拟现实技术并结合实际的高清电子监控，所构建成的是一种虚实结合的复合现实[10]。

逛虚拟商场有两种方式。一种方式是无明确目的的游逛，这时，用户在电视终端界面上从商场的入口出发，同虚拟旅游一样，逐层逐铺地游逛。你可以自由地选择路线，当然这也是商场的实际路线，你可以拐弯抹角、走走停停地浏览，并且完全可以按照自己眼睛的视野进行水平360°的环视和垂直180°的俯仰观看。商场对每一种商品都会制作出360°全景图像，当走进一个商铺，点击其中感兴趣的商品，就可以控制它进行360°观赏（如图1）。如果需要，通过点击其二维码，与其关联的该商品的录音介绍就会自动播放，同时在电视上以文字方式显示出该商品相应的全部参数信息。另一种方式是有明确目的地到商场中对某一商品进行研究和选购，这时，用户通过商场的导游地图，在电视终端上直接点击进入所要前往的商品区域，或者根据所要研究的商品类别或品牌，直接点击进入指定商铺，然后同第一种方式一样，进入商场对某一类或某个商品进行仔细挑选。

对于服装商铺，顾客试衣是一件必需而频繁且麻烦的事情。在逛电视虚拟商场时，用户除了可以全方位地观看用真人模特制作成的各款服装的360°全景图像外，还可以实现服装的在线试穿。

届时，人体的三维图像扫描技术[11]将会很成熟，通过人体三维图像扫描，生成可自由活动并可自由控制的人体仿真三维立体模型，将其存储于自己的电视终端或云盘，以便随时使用。

服装的在线试穿，就是用户在逛电视虚拟商场时，发现一件自己喜欢的服装，只要在电视终端上点击这件服装进入它的试穿功能，系统便会要求输入仿真三维立体模型，输入后，这件服装就会自动地穿在仿真立体人体模型上，这是一种本人身体参数与服装实际参数的匹配过程。这时，可以转动它，从不同的侧面进行观赏，看看款式、大小、颜色是否合适；也可以控制它走一走或自由地变换姿势，“感觉”一下服装的舒适程度。试衣的过程中，可以增加一些手袋、眼镜、手表、首饰，更换一下发型、发色、妆容，调整一下试衣场景、光线等。当然如果想进一步了解这件服装的详细信息，就点击它的二维码。这种试衣方式是自己作为旁观者看着自己试穿，更能判断出这件服装是否适合于自己。

如果亲自到了商场，从云盘中将立体人体模型直接调入或通过便携电视终端“甩”或“触”到商铺的试衣屏上，试衣屏上就会显示出本商铺适合穿戴的所有商品供选择，手指触摸选中的商品，试衣屏上就会呈现出穿戴所选商品后的3D图像（如图2），可以控制它自由缩放、随意转动、变换姿势、增加佩饰、更换妆容发型、调整试衣场景等，当然这种试衣效果的仿真模型也可以“触”入便携电视终端，等待回家欣赏。

利用这种虚拟现实技术，还可以实现电视赏车、试驾和购车，以满足车友对各种档次、各种型号汽车的品赏和体验欲望；可以构建虚拟博物馆，使参观者对每一件展品进行360°全方位欣赏。

2.3 电视虚拟城市业务

在NGB环境下，可以利用基于实景图像的虚拟现实技术构建一个三维的虚拟城市。在虚拟城市的大街小巷、休闲广场、公园、学校、小区、工厂等的关键部位，关联上已联入城市物联网的实际城市同一处的高清监控摄像头，如果用户想要看一看某处的实时街景，在电视终端上通过点击某一个监控摄像头图标，就可以直接看到此时实际城市中该摄像头监控的实时高清画面。同样，在电视终端上，通过数字监控App，可以对实时监控的画面进行抓拍，并可对画面中的任意选定区域进行变焦处理，从而对所感兴趣的部分画面进行清晰的放大观看。

与电视虚拟旅游一样，利用电视终端就可以自由地进入到利用复合现实所构建的虚拟城市之中，坐在家里，通过遥控或者手指触摸的方式，按照自己的速度、路线、方向，穿大街、走小巷、逛公园、遛广场。当然，坐在家里，还可以切换观看全城各个街道、路口、重点部位的实时监控图像，并可对感兴趣的内容进行实时录像（如图3），其中所看到的景象，都是根据实地实景拍摄或者实际高清监控摄像头实时拍摄的画面。这样的虚拟逛街如身临其境，不受天气、路途、雾霾及身体状况的影响，不失为一种“外出”散心、心理调节的好方式。这种业务同时还可以对于城市的交通、治安、室外人们的行为等状况起到群众监督的作用。

由于依托了NGB，采用了云技术，根据整个城市内的车辆和道路等交通信息，还可以实时地计算出最优的行车路线。人们通过车内的电视终端、公交站牌、道路导引牌等无处不在的各种电视显示屏，可以及时直观地了解到全城的交通状况，以便选择出适于自己的行车路线。

2.4 电视虚拟楼盘展示业务

基于几何建模技术构建一个待建或者已建的三维虚拟楼盘，按照实际的位置、方向和比例，将其放置于基于实景图像构建的虚拟环境中，共同构建一个具有真实外景环境的虚拟楼盘。人们通过电视终端，可以从外部观看这个楼盘的外观、朝向和其所处的真实环境，还可以进入楼盘内部，观看其内部结构，并可以从内部观看到楼盘外面的真实景象；进入楼盘的方式可以是直接进入某一个楼座、单元、楼层或者户型，也可以是通过楼门经过楼梯，按照任意的方向、路线，边走边看。

人们进入这样的虚拟楼盘内部，可以随意走动并前后、左右、上下全方位地对楼内的结构进行观看。站在房间里的某一处所看到的窗外景象，其实就是以当时所处位置的视野观看到的室外实际景象，这些不但与在房间内离窗户的远近以及所在楼层的高度有关，而且还与不同时间的日照角度有关。这样，坐在家里，通过电视终端，就可以真正感受到所在楼盘内外的实际景象，并能一次性感受到一天甚至一年之内不同时间的室内采光情况。