“5G+AI”在智能家居中的应用研究

谢国坤 张培培

摘 要：随着大屏幕在消费市场中的普及以及在线和离线视频资源的丰富，在家中享受动态的远程风景已成为一种有趣的应用。文章提出了一种5G+AI系统，供用户交互式地欣赏偏远地区的不同风景。该系统了解当前环境，并且远程风光视频中的天气状况以不同方式与本地环境相关联，以为用户带来自然愉悦的观看体验。同时，该系统能够根据用户的位置和视角变换风景视频的布局，使用户在走动并在屏幕前四处张望时，感觉就像是通过真实的窗户观看外面的风景。实现了一个由大屏幕和几个低成本传感器组成的原型，并进行了一系列测试。结果表明，所提出的系统可以有效改善用户观看自然风光的体验，并使过程更加愉悦。该系统适合各种尺寸的屏幕，并且易于安装，使其成为智能家居中的可扩展且易于使用的消费类设备。

关键词：大屏幕;智能家居;5G+AI系统的虚拟窗口

中图分类号：TN929.5  文献标识码：A     文章编号：1001-5922（2021）10-0071-05

Research on the Application of “5G+AI”in Smart Home

Xie Guokun， Zhang Peipei

（Xi an Traffic Engineering Institute， Xi an710300， China ）

Abstract：With the popularity of large screens in the consumer market and the abundance of online and offline video resources， enjoying dynamic remote scenery at home has become an interesting application. This paper proposes a 5G+AI system for users to interactively appreciate different scenery in remote areas. The system understands the current environment， and the weather conditions in the remote scenery video are related to the local environment in different ways to bring users a natural and pleasant viewing experience. At the same time， the system can change the layout of the scenery video according to the users location and perspective， so that when the user is walking and looking around in front of the screen， it feels like watching the outside scenery through a real window. A prototype consisting of a large screen and several low-cost sensors was realized， and a series of tests were carried out. The results show that the proposed system can effectively improve users experience of viewing natural scenery and make the process more enjoyable. The system is suitable for screens of various sizes and is easy to install， making it an expandable and easy-to-use consumer device in the smart home.

Key words：large screen; smart home; virtual window of 5G+AI system

0 引言

大屏幕的制造技术在最近的二十年中发展迅速。随着成本的不断降低，它已成为智能家居中的重要组成部分[1-2]。它有效地增强了日常生活中的各种娱乐和商务功能，例如电视和电影观看，游戏，电话会议等[3-4]。随着风景视频资源的丰富，还可以通过大屏幕欣赏美丽的风景，并可以通过房间中的真实窗户观看[5-6]。例如，从北京的房间欣赏伦敦泰晤士河的动感风光，或者从巴黎观看悉尼的屈臣氏湾，而不必出国旅行，将是很有趣的。风景查看功能将大屏幕变成智能家居中的一扇窗户，并有效地将本地环境连接到世界上的偏远地区[7]。

但是，由于以下两个原因，仅将远程风景复制到屏幕上供用户观看并不能提供令人满意的观看体验：首先，遙远的风景与当前的本地环境没有很好的关联，这意味着屏幕上显示的内容与用户现实生活中的内容完全脱节，从而导致观看的不自然感[8-9]。特别是，通常被忽略的天气条件已被证明对人类的情绪状态有很大的影响。例如，如果外面的天气晴朗，而屏幕上显示的是阴天的景色，则会给用户带来明显的前后不一的感觉，从而降低了沉浸式的观看体验[10]。

为了解决这些问题，本文提出了一种新颖的屏幕系统。与具有简单的视频播放功能的普通大屏幕不同，该系统能够了解当地的当前天气状况，并在考虑到用户的主观感受和用户的主观感受的情况下自动对显示的风景进行相应的更改。模拟人类在真实窗口前感知到的图像的转换，从而使用户可以行走并在屏幕前四处张望，以不同角度欣赏更真实的风景。通过将这些功能集成在一起，所提出的系统使大屏幕的风景观看功能更加智能，并在很大程度上改善了用户体验。

1 “5G+AI”的智能家居系统

拟议系统的硬件包括两组设备：室外设备和室内设备。室内设备包括一个带有嵌入式计算单元的大屏幕，用于显示风景视频和数据处理，以及一个红绿蓝（RGB）摄像头和一个用于监视用户活动的深度摄像头。包括电荷耦合器件（CCD）摄像机和温度传感器的户外设备用于感测当前的天气状况并将数据传输到屏幕。图1显示了所提出系统的硬件配置。

所提出的系统的关键特征是使用户能够在室内欣赏5G+AI系统的远程风景，并具有通过真实窗口向外观看的体验。为了产生通过真实窗户的感觉，将大屏幕放置在房间的墙壁上，并将处理后的风景视频显示在屏幕上。为了使其更加逼真，将带有彩色外部框架和透明内部的虚拟窗口图像叠加到视频上。选择框架的颜色以使其与墙壁的颜色完美融合。透明区域中的视频部分是可见的，另一部分将被窗框遮挡。

2 “5G+AI”系统的视频合成

2.1 模式分类

使风景视频“5G+AI”系统的目的是通过提供适当的天气条件来满足用户的心理需求，这可以促进用户的积极情绪。根据对人类情感的研究，自然情感和放松情感是人类最重要的两种积极情感。因此，该系统为用户提供了两种欣赏风景视频风格的方式：一致方式和放松方式。采用不同的策略来自动合成视频。放松模式旨在通过为风景提供所需的天气条件来减少用户因实际环境的当前天气而带来的不适感。例如，如果外面下着大雨，将显示带有阳光的美丽偏远风景，使用户感到愉悦;如果天气炎热，外面有强烈的阳光，则会呈现有雨甚至雪景的风景，以帮助用户感到凉爽。

这两种不同的模式为用户提供了观看远程风景的不同体验。在每种模式下，都会分别处理稳态和动态天气状况。接下来，将介绍每种模式下的详细处理方案和算法。

2.2 一致模式

为了模拟风景视频中的室外天气条件，将稳态和动态天气条件都从室外环境的实时视频传输到远程风景的实时视频，实时视频中的关键帧会定期（每5s）提取一次。风景视频的每一帧（即源视频），以及实时视频的最新关键帧（即参考视频），首先从RGB空间转换为LAB空间。

式（1）中，l、α、β和r、g、b分别代表每个像素在LAB空间和RGB空间中的相应分量的值。在LAB空间中，l代表照明信息，α，β分别包含红色/品红色和黄色/蓝色的颜色信息。使用LAB空间是因为它可以逼近人类视觉，尤其是人类感知的亮度要比RGB颜色模型好得多，后者只是将红色，绿色和蓝色相加。式（1）中的M是3×3转换矩阵。然后，计算源视频帧和参考视频帧中l、α和β分量的均值和标准差。接下来，将目标视频帧的l、α和β计算为：

式（2）中，kt和ks是LAB空间中的目标值和源值，、和、分别是源帧和参考帧的计算平均值和标准偏差。

最后，通过乘以式（1）中的M的倒数，将LAB空间中的值转换回RGB空间，即可获得合成视频帧。

3 基于身体位置和视角的视频转换

为了使观看过程更加逼真，应首先分析人眼中真实的窗户和风景在两个重要因素方面的转换：身体位置和视角。身体位置pu=（xu，yu，zu）指的是3D空间中用户头部的x、y和z坐标，其中x和y是平行于窗口的平面上的水平和垂直方向，而z是垂直于窗口的方向。对于视角，考虑用户面部围绕用户头部的矢状轴和垂直轴的旋转角度                    。

如圖2（a）所示，当zu改变时，感知窗口区域的宽度的改变可以计算为：

式（3）中，w'和w分别是感知窗口区域的新宽度和旧宽度。是的变化，而代表人眼的中心视角。可以看出与成正比。类似地，高度的变化也与成正比。因此，感知窗口的面积的变化与的平方成正比。

图2（a）或平行于窗口图2（b）移动或旋转面部图2（c）时，感知到的窗口在水平方向上的变化。

当用户在平行于窗口的水平方向上移动时（即xu发生变化，如图2（b）所示），感知到的窗口区域在水平方向上的位置变化等于用户移动距离，而 感知窗口区域的宽度保持固定（即）。相同的规则适用于用户垂直移动平行于窗口的情况（即，当改变时）。

3.1 计算成本

计算视频处理每个步骤的平均计算时间，结果如表1所示。对室外天气条件的分析，包括稳定的室外天气条件的提取（从RGB颜色空间到RGB颜色空间的转换）。LAB空间和动态条件检测大约需要45ms，并且处理风景视频每一帧的时间总共大约需要23ms。如结论所述，风景视频的处理与室外实况视频的处理是分开的，因此，对于30FPS速率的风景视频，可以实时完成计算。

3.2 不同屏幕的最佳观看范围

为了在建议的系统中建议用户运动的有效区域以进行风景观看，研究了不同尺寸屏幕的最佳观看范围。在此测试中，将投影仪调整为将不同大小的区域投影到大屏幕上（如图3所示）。投影区域的比例设置为16∶9，宽度从1.1～4.2m不等。小尺寸对应于普通液晶显示器（LCD）电视的尺寸，大尺寸表示电视墙。要求用户在室内自由行走以观看风景视频，并记录他们感到舒适的范围（从用户到屏幕的最小和最大距离）。平均结果如图3所示。

可以看出，随着屏幕尺寸的增加，不仅最小和最大观看距离，而且观看范围也会变大。当为建议的系统使用不同尺寸的屏幕时，此结果为设置有效的观看范围提供了参考。

3.3 视频合成的有效性

首先进行客观测试，以评估稳定天气转移和动态天气检测的算法。为了评估稳定天气转移算法的有效性，计算了室外实时视频与合成前后的风景视频之间的相似度。为此，将10个原始风景视频及其合成图像（未添加动态天气效果）中的每一个的20个随机选择的帧分别与室外视频的相应参考帧进行比较。

为了判断动态天气状况的检测是否准确，在不同天气条件下的20d测试中，计算了“真阳性（TP）”、“假阳性（FP）”、“真阴性（TN）”和“假阴性（FN）”的数量。总共200次 这些定义的含义及其编号如表2所示。

从表2可以计算出，总精度AC =（TP + TN）/（TP + FP + TN + FN）为0.94，足够用于判断动态天气状况。

从以上测试结果可以看出，天气检测和视频合成算法可以准确检测室外天气并将其传输到风景视频。这为第四节中定义的规则提供了可靠的实现。

接下来进行用户研究。首先要求用户从真实的窗户向外看，以清楚了解当前的室外天气状况，然后以随机顺序将随机选择的视频及其合成版本显示在屏幕上。在观看每个视频60s后，用户在0至10间打了一个标记，以描述他/她的满意度。对于一致模式，如果视频中的天气似乎与外界天气完全不一致，则标记为0，如果两者完全匹配，则标记为10。对于放松模式，如果视频在很大程度上缓解了室外天气条件带来的负面情绪，则给出10;如果根本不起作用，则给出0。计算每种模式下的平均值（均值）和标准偏差（std）。

图5显示了以一致模式（均值= 8.9，std = 0.4和均值= 3.1，std = 0.3）和松弛模式（均值= 8.6，std = 0.8和均值= 3.8，std = 0.9）。在松弛模式下，结果的标准偏差似乎更大，因为评估更加主观。显然，兩种模式下视频合成的结果都好得多，这证明了合成视频确实给了用户自然的感觉并有助于促进他们的积极情绪。

4 结论

本文介绍了一种上下文相关的屏幕系统，该系统允许用户在移动和环顾四周时从适当的角度欣赏远程风景视频，并具有通过真实窗口观看的类似体验。与普通屏幕的简单显示功能不同，此系统中显示的风景视频与室外的当前天气状况相关。通过以两种不同的模式自动合成视频，该系统可以通过显示天气状况相似的场景使用户感到逼真，或者通过呈现天气状况不同的场景来帮助减轻他们的负面情绪。视频合成和转换的计算速度足够快，可以实时处理各种风景视频。该系统适用于各种尺寸的屏幕，并且系统中使用的电子传感器简单且成本低廉。这使其适用于智能家居中的大屏幕。将来，该系统可以扩展为处理和显示偏远地区的实时视频。

参考文献

[1]位恒曦，刘卫玲，贺云凯，等.Android平台i-Jetty服务器在智能家居中的应用研究[J].电子技术应用， 2014（01）：14-16.

[2]蒋科辉，杨慧民，樊小平.基于通用即插即用的服务监控机器人在智能家居中的应用[J].计算机应用研究，2014，31（012）：3637-3641.

[3]Per Lynggaard，Knud Erik Skouby .Deploying 5G-Technologies in Smart City and Smart Home Wireless Sensor Networks with Interferences[J].Wireless Personal Communications，2015，81（4）：1399-1413.

[4]黎艳，卢燕青，张荣.基于eUICC的智能家居认证方案[J].电信科学，2018，034（04）：129-135.

[5]李春燕.国家数字家庭基地举办智能家居应用及标准研讨会[J].电视技术，2013（S1）：7-9.

[6]Samrat Vikramaditya Tiwari，Atul Sewaiwar，Yeon-Ho Chung.Color coded multiple access scheme for bidirectional multiuser visible light communications in smart home technologies[J].Optics Communications， 2015，353：1-5.

[7]N.K. Suryadevara，S.C. Mukhopadhyay，R. Wang，et al.Forecasting the behavior of an elderly using wireless sensors data in a smart home[J].Engineering Applications of Artificial Intelligence，2013，26（10）：2641-2652.

[8]Christian Reinisch，MarioJ Kofler，Félix Iglesias，et al.ThinkHome Energy Efficiency in Future Smart Homes[J]. Eurasip Journal on Embedded Systems，2011，2011：1-18.

[9]Ejaz W ，Anpalagan A ，Imran M A，et al.Internet of Things （IoT） in 5G Wireless Communications[J]. IEEE Access，2017，4：10310-10314.