基于增强现实和地理围栏的社交网络系统设计

岳远紊 王玥瑶，2 康雨豪，3 丁家祺 吴坤霖 费 腾

1 武汉大学资源与环境科学学院，湖北武汉，430079

2 北京大学城市与环境学院，北京，100871

3威斯康星大学麦迪逊分校地理系地理空间数据科学实验室，美国威斯康星麦迪逊，53706

随着定位技术的发展和移动定位设备的不断普及，人们可以将位置信息添加到虚拟社交网络平台中。位置这一维度的介入拉近了线上社交网络与现实世界的距离。基于位置的社交网络（location⁃based social network，LBSN）不仅仅意味着将位置信息添加到社交网络，同时，它通过人们的物理位置以及具有位置标签的社交内容增强了人们之间的相互关联性［1］。然而，目前的LBSN仍有提升的空间。一方面，这些具有位置标签的社交内容受限于二维的展现形式，比如文字、图片、视频等。另一方面，仅仅添加位置标签到社交内容并不能带给人们足够的空间语境，这些社交内容和位置以及真实世界之间的联系仍需进一步的提升。

近年来，随着计算机软硬件的不断升级以及计算机视觉算法的进步，人们可以利用虚拟现实（vir⁃tual reality，VR）技术和增强现实（augmented reali⁃ty，AR）技术在现有的时空中叠加虚拟的世界。相比于VR技术所创造的完全虚拟世界［2］，AR技术将虚拟信息叠加到真实世界中，产生新的可视化环境，虚实结合并能够实时互动［3］。它通过在真实时空中叠加图像、视频和三维模型等内容，使得用户可以在现有的世界中操作虚拟世界的物体并进行互动，从而增强人们对世界的感知［4］。随着移动终端上GPS定位、摄像头、陀螺仪等传感器的不断完善，将AR技术应用到移动终端已成为可能。移动增强现实（mobile augmented reality，MAR）技术可以创造出更为“鲜活”的环境，扩展目前的三维时空，具有广泛的前景，受到了国内外科技巨头和高校的青睐。

国内外高校和企业对MAR技术在位置服务领域的应用进行了众多探索。其应用领域主要集中于导航、导览。Feiner等［5］开发了第一款户外MAR系统Touring Machine，实现了简单的校园导览功能。随着智能手机的发展，出现了大量基于手机AR的位置服务应用，如Mobilizy公司推出的Wikitude世界浏览器，SPRX⁃mobile公司推出的Layer软件，Blippar公司推出的AR City应用，谷歌地图和百度地图的AR导航等。这些应用让人们能够使用手机摄像头辨识周围建筑物、道路等虚拟信息。国内高校也进行了智能手机上AR导航的应用研究［6⁃11］。这些应用方便了人们的生活，但未最大程度发挥AR技术的潜力，局限性主要在于内容展示与个人体验，用户与用户以及用户与内容之间的双向互动并没有被充分探究。

在利用AR的互动性提升位置服务方面，Schmalstieg等［12］提出AR 2.0，其目标是提供广泛的基于位置的AR体验，促进用户创造、协作、通信和信息共享。在AR 2.0平台中，用户能够创建和更新三维注册的内容，创建LBSN。刘经南等［13］阐述了AR技术在位置服务中的应用，提出其深度服务在于通过与social⁃local⁃mobile［14］结合，实现移动互联网、社交网络与位置服务的深度融合，增强人与人的社交场景感知。目前，在该领域已出现商业化应用，比如Wallme App使用户能够在物理世界中发布虚拟消息或图片，并与他人共享，但不支持3D模型共享，也不能让用户在创建和修改AR内容时相互协作［15］。Althoff等［16］探究了AR技术在游戏场景中的内容互动和多人互动。Yue等［17］提出了融合MAR与用户生成内容的LBSN，并探究了多样的内容互动和多人互动方式，但其侧重于娱乐场景的应用。在移动智能时代，如何将AR技术与LBSN结合起来，促进人与人之间的通信和信息共享成为新的待解决问题。

基于上述内容，本文提出了一种基于AR技术与地理围栏原理的社交网络系统设计方法，并使用ARKit与CoreLocation框架实现了案例系统的设计，用实践检验该方法的有效性，通过用户与场景的实时交互和用户与用户之间的互动，实现了真实世界与虚拟世界的信息集成，带给用户个性化的社交体验，增强用户对社交场景的感知。

1 系统设计方案

系统的主体模块结构如图1所示。移动设备用于用户位置的获取及增强现实效果的呈现；地理围栏用于限定增强现实效果呈现的场所；场景信息为AR模型所承载的信息，可供用户浏览、编辑。对应的系统数据流如图2所示。系统首先获取用户位置数据，通过区域监听判断用户进入地理围栏后，AR模型数据和场景信息将被传输到移动设备上。其中，移动设备与场景信息之间的信息传输通过特定的交互方式实现。

图1 系统模块Fig.1 Modules of the System

图2 系统数据流Fig.2 Data Flow of the System

1）移动设备模块。系统移动设备为用户携带的智能手机，系统的设计实现需要实时获取用户的位置信息。用户的定位主要依靠所持移动设备的GPS功能。为了提高定位精度，系统引入GPS与蜂窝网络的联合定位，同时引入区域监听功能，从而实时判断用户的位置。移动设备上的摄像头、传感器（如加速度计、陀螺仪）为跟踪与注册提供数据。

2）地理围栏模块。为了便于用户在更合适的场所中获取虚拟信息，本文将AR信息的呈现限定在特定的空旷区域内。具体实现方法如下：在符合条件的空旷区域内围出一个虚拟地理边界，并将其呈现在电子地图上，边界的形状可根据空旷区域而定，边界范围内的区域被设定为AR信息广场。AR信息广场是一个具有真实地理坐标的虚拟场所，用于展示AR信息载体。载体为提前设计并存储于服务器内的AR模型，所有的虚拟信息都通过载体呈现，比如文字、图片、视频等。这些AR模型与地理位置相关联，只能出现在特定的AR信息广场区域范围内。用户进入该区域边界，触发“进入”事件，即可通过交互在广场看到生成的AR模型，获取对应信息。

3）场景信息模块。在系统中每个AR信息广场都有对应的场景信息。用户对于场景信息的获取与反馈需要通过特定的交互方式实现。用户进入地理围栏后，移动设备自动进行http网络请求，获得该AR信息广场的场景信息。场景信息被传输到AR模型上，用户在浏览AR模型的同时可对模型进行编辑。用户可在本地生成文字、图片、视频等形式的信息并发布，将这些信息上传到云服务器上以更新该AR模型对应的场景信息，更新后的AR模型可被该信息广场区域内的所有用户浏览，从而实现同一地理围栏内多个用户之间的互动。

2 关键技术

2.1 基于视觉惯性里程计的跟踪与注册技术

AR技术实现中的一个重要问题是虚拟物体和真实场景在三维空间中位置的一致性，即在空间上的整合［18］。为了实现虚拟与现实场景的无缝融合，需要利用三维空间注册技术，对显示场景中的图像或物体进行追踪和定位，通过计算虚拟世界与现实世界坐标系的对应关系，将虚拟物体以正确的空间透视关系叠加到现实场景确定位置。ARKit是苹果公司推出的AR开发框架，利用该框架可以实现运动追踪和平面检测等功能。该系统通过ARKit SDK，借助视觉惯性里程计（visual inertial odome⁃try，VIO）实现基于传感器和计算机视觉的混合注册，具体流程如图3所示。图3中，ARFrame是ARKit封装的视频图像类；C表示视觉数据；m表示手机传感器（包括加速度计和陀螺仪）的运动数据；i表示视频帧。

图3 VIO工作流程Fig.3 Workflow of VIO

1）依靠VIO获取时间t下的手机传感器（包括加速度计和陀螺仪）的运动数据mt，这为小时间间隔的设备移动提供了准确的运动信息。但由于相机突然运动会造成误差，而且误差会随着时间累积，造成漂移。为了减小误差，系统融合计算机视觉处理过程，对摄像头时间t下捕获的视频帧it提取特征点，特征点由关键点和描述子两部分组成，关键点是指该特征点在图像里的位置，描述子通常是一个向量，描述了该关键点周围像素的信息。

2）根据特征点的相似度和它们的外观在相机流上的多个图像之间进行匹配。根据两个视图的视角差，可以计算出图像的深度，这就意味着2D的图像被重建为3D图像，摄像头坐标系和世界坐标系的转换关系也随之匹配，此时得到视觉数据Ct。若想重建成功，必须连续移动相机以提供足够的视差。ARFrame在收到融合的运动数据和视觉数据后，在手机屏幕上呈现出增强现实效果。

2.2 地理围栏服务

虽然基于VIO的跟踪与注册技术实现了虚拟与现实场景的融合，但为了让用户在合适的场所获取相应的信息，即将虚拟信息与真实世界特定区域相关联，系统引入地理围栏技术。地理围栏是基于位置服务的一种新应用，指的是以某个位置为中心，根据一定规则在一定范围所建立的虚拟地理边界。当用户进入、离开该区域或在区域内活动时，手机可以接收自动通知和警告［19，20］。通过这种基于位置的地理信息服务，可以扩展人与场所以及人与人的交流互动，便于获得区域内的信息。

系统中的地理围栏是以AR信息广场为中心，一定半径的区域范围。半径的大小视所处空旷广场的大小和AR模型的尺寸而定，一般为10~20 m。具体工作流程如图4所示，用户登入系统后，系统通过GPS和蜂窝网络定位获取用户位置，此时启动区域监听进程，若用户在地理围栏内，则启动跟踪与注册进程，允许用户浏览该AR信息广场的AR模型并发布内容；若用户不在地理围栏内，则无法放置AR模型，但用户可在地图中获取自身与AR信息广场的位置信息，并根据提示前往。

图4 系统地理围栏服务Fig.4 Geo⁃fencing Service of the System

2.3 AR模型交互

在真实世界中，展板是指用于发布信息的板状物质。在系统中，展板指的是作为信息载体的AR模型，展板的放置要符合真实场景，且能够随场景的变化（设备的运动）而变化，以达到增强现实的效果。

放置AR模型时利用了平面检测功能。在追踪和注册的过程中，对同一平面的点不断累积形成的3D点云进行多平面拟合，并将其作为AR模型的放置面。

除了查看展板上的内容外，用户也可以通过交互，对展板的材质、内容进行编辑。编辑时利用的是射线检测技术。射线是3D世界中一个点向一个方向发射的一条无终点的线，当发射轨迹与模型发生碰撞时，它将停止发射。用户每次点击屏幕相当于发射一条射线，被射线穿过的展板以节点数组的形式返回检测结果，对数组进行遍历，得到的第一个节点即为用户触碰的展板材质。基于此，用户可通过单点触摸的方式触发目标展板的内容更改操作，从而实现人与AR模型的交互。

3 系统案例实现

本文使用ARKit与Core Location框架在i OS平台完成了武汉大学的增强现实社交网络系统的设计，实现了AR技术和位置服务、社交网络的结合。软件采集了武汉大学部分广场的兴趣点（point of in⁃terest，POI）数据，用户可在这些广场放置、浏览、编辑AR展板，实现人与AR内容的交互以及人与人之间的互动。软件的部分界面如图5所示。

图5 软件部分界面展示Fig.5 Display of Part of the System Interface

图5（a）为地理围栏页面，红色边缘包围区域为AR信息广场，案例中系统地理围栏的形状为圆形，半径为20 m，主要设置在武汉大学内学生活动广场；图5（b）为AR模型远观图，该AR模型由六面展板环绕而成；图5（c）为AR模型近观图，用户可浏览每一面AR展板的内容；图5（d）为用户编辑AR展板，发布内容的效果图。

4 结束语

本文基于AR技术与地理围栏原理，提出了一种新型社交网络系统设计方法，并完成了案例系统的开发。系统的设计与开发构建了同一地理区域内的虚拟社交环境，实现了同一地点用户间的信息共享，提升了信息获取效率以及信息拓展性；实现了AR体验中的内容互动和多人互动，让线上社交网络与真实世界的关系更紧密，实现移动位置服务的三维化；基于地理区域的信息虚拟式呈现，也扩充了现有空间信息量，带给用户更丰富的场所信息获取体验。

目前，已经开发实现了文中描述的基本功能，但仍需要进一步完善，扩展留言信息的形式，优化系统数据交互流程，从而使信息与场景联系更为紧密，增强人与场所交互的体验感。