基于AR技术的财会专业在线教学系统设计

陈东升

（湖南信息职业技术学院，湖南 长沙 410200）

0 引言

财会专业教学具有枯燥、抽象的特点，不利于学生学习领会，需要引入技术手段辅助教学。增强现实技术（Augmented Reality，简称AR）是近年来新发展的一项智能化技术，通过将虚拟与现实综合呈现在使用者面前，营造一种身临其境的真实体验感，对增强使用者的多感官综合，形成立体体验具有逼真的效果。将AR技术应用于财会专业的教学中，不但能够增强直观感受，还可以形成多维度记忆，有利于专业知识的理解和牢记。依托AR技术丰富的细节表现能力，教师可以在教授中以简短的语言、详实的案例进行原理讲解，有助于教学过程的双向互动，形成活跃、积极的课堂气氛，提升教学效果。

AR技术是依托于强大的信息采集系统和行为判断功能，将人的动作、反应与虚拟环境相互对应，形成活动，结合真实场景的背景投影，将课堂转移到虚拟的工作现场，通过动画演示、互动体验和行为判断等方式，推送视频、音频以及体感等信息，为学生带来全新的学习体验。财会专业在线教学系统以网络在线为特色，将教学资源整合于系统中，以财会专业教学的特定需求为切入点，实现专业教学的技术支持。

1 基于AR技术财会教学系统的软件功能实现

财会专业教学的特点是理论与实际高度融合，既有纯理论的教学内容，如基础会计、经济法和国家税收等，有些则是需要通过动手实践才能掌握的专业知识，如会计电算化、国际贸易以及财务管理等。基于AR技术，则是针对需要动手实践的部分，采用虚拟实操的模式展示财会工作的虚拟场景，提供虚拟操作工具，实现虚拟环境下的实操体验。由于AR技术需要采集很多的传感器信息并捕捉用户动作，与背景相融合，提供多维度的感觉信息，因此在软件功能划分中形成3个层面，具身感知层、交互行为层和认知体验层。具身感知层用于建立现实世界和虚拟世界的信息交互关联；交互行为层是连接用户感知、运动及认知与系统的通道；认知体验层实现会计专业知识点的立体呈现。AR教学系统的软件框架如图1所示。

图1 AR教学系统软件框架

其中，具身感知层是财会专业在线教学的信息获取基础，主要内容是硬件设备的离散信息采集及信号关联，以硬件实现，内容相对简单，不作为该文的重点；认知体验层是多种感觉系统的综合体验，实现声光电的统一，设计重点是场景生成器、视频叠加模块；交互行为层是会计专业学生切身体验的关键，也是AR效果实现的主要体现，作为该设计的核心，重点开发。

1.1 认知体验层设计

认知体验层重点解决学生的感官体验问题，场景生成、图像显示是设计核心，立体声矩阵仅需要完成声道控制，涉及内容较简单，该文不再赘述。

通过需求分析，教学系统需要对接若干外围传感器，并获取多角度的视频图像，控制多台投影设备建立虚拟场景，并需要对图像信息进行融合，建立多维度显示模型。场景生成器半实物仿真系统的核心部分包括红外DMD芯片、高温黑体光源和低温黑体光源、灰度调制技术、DMD信号处理系统以及光路设计。该场景生成器的分辨率可以是1435～850，在2微米～6微米的波长下，它的表观温度是550 K，在7微米～10微米的波长下，它的表面温度是430 K，帧频率是190 Hz；在高真空的情况下，当视频信号的输入完成之后，通过控制电压，进而控制电子束的能量，再用电子束轰击所述荧光材料，使其发出光芒并形成一幅画面，再通过不同的光谱（近红外、中红外和长波红外）荧光物质制成的荧光屏就能得到多波段的场景。因为屏风需要冷却，因此通常需要大型的制冷装置，其辐射强度较低，帧频率较低，空间分辨率较差，因此采用镀有金属黑膜的薄膜来吸收可见光的辐射，进而引起薄膜的发热，以此来生成相应于可见光图像的红外图象。在器件的初始状态，也就是无负载电流的情况下，两个遮光片的空隙约为通光孔的二分之一，使光线可以从VOA装置中穿过。假定驱动器在、平面上，并且在轴上的磁场B是垂直于设备的，当有电流穿过折叠光束时，在方向上形成洛伦兹力，其形式如公式（1）所示。

式中：为结构沿x方向的长度，为穿过装置内的电流。

DMD可移动结构可视为弹性体，其弹性系数为。在外力的作用下，产生位移，对应的弹性恢复力如公式（2）所示。

在结构的稳定状态下，洛伦兹力与弹性恢复力是相同的。这样，该结构在方向上产生的位移幅度如公式（3）所示。

由公式（3）可知，可以通过减小结构刚度来实现大位移，与器件材料机械特性和结构尺寸有关。它的分辨率取决于腔体的真空度，反应速率取决于腔体的真空度和膜层的厚度，而膜片的厚度会对其力学性能产生一定的影响。通过玻璃防护罩，使其进入液晶层的高电阻一侧，产生激励电荷，最后形成电势分布，使液晶分子重新取向，并进行红外极化调制。情景发生器的目标是把被测试单位的实物直接导入模拟试验过程中，以达到评价被测试单位的效果。每个驱动器的长度是1.7毫米，宽度是0.17毫米。各驱动装置需要0.3 mm的晶片面积，128×128的阵列需要47 cm的晶片，以及如图2中所示的中央边长度为7厘米的硅片。

图2 场景生成器硅基片上的分布位置

所设计的结构是由铝材与二氧化硅组合而成的，而在实际生产中，则以硅为衬底，将2个相反的隔板置于不同的高度，以防止发生碰撞。首先，采用活性离子刻蚀技术，在硅片表面上刻蚀出一段高度不一的硅刻蚀，其次通过高温氧化，在热氧条件下蒸发出一层金属铝，再次用干法刻蚀来制作图案，并利用深度反应离子刻蚀技术腐蚀掉后面的硅，最后利用各向同性腐蚀技术从前部将硅刻蚀干净。在此基础上，该文设计了一种采用洛伦兹力驱动的串联折叠式结构，使其能够实现双向运动，并能有效提高其传动效率。该方法可以在6英寸的硅基板上实现128×128阵列，为基于AR技术的财会专业在线教学系统设计的场景生成提供了依据。

由于AR系统中分布着大量的传感器和互动模块设备，软件需要针对核心功能和每路接口开展定制化开发，且视频处理的运算量巨大，因此需要在适当的开发平台上开展设计工作。根据软件功能需求分析要求，确定基于Unity3D和c# Vuforia开发软件。Vuforia引擎可以提供良好的AR体验，并为各种设备提供了平台。Vuforia Fusion现在包括谷歌的ARCore。Vuforia支持的设备列表将继续扩大。更好地利用Vuforia融合与改进的定位装置跟踪所有类型的目标。在统一的开发平台中，实现接口程序的模块化开发，形成稳定且可靠的专用接口软件，保证视频采集、场景生成等大数据量处理的带宽要求。视频采集后进行处理，视频叠加的设计过程显得尤为重要，叠加时需要使用11 bit的视频仿真技术来进行处理，以5个DMD为基础，每个层次的DMD设备可以输出250个～256个像素单位，一个像素单位由22个DMD单位作为代表，最终得到的图象清晰度为128×128的分辨率。将DMD倒相阵列分成2个组，靠左边的理想灰度值是620上下，右侧的理想灰度值是625上下，这2个部分分别占据DMD阵列的一半，右边的DMD倒相阵列的右侧由二进制数字构成，再用一种方法将二进制数字扩大到10比特，再把它量化到RGB的信道上进行叠加和识别。在实现视频灰度值均匀化的同时，需要考虑DMD阵列在视频叠加时的能量分布，最好可以均匀分布在每个点上，并确保DMD阵列在叠加时不会发生偏移现象。但是当DMD阵列在叠加过程中发生了偏差，或者由于黑体辐射能量分布不均匀时，该场景发生器仿真的红外成像的均匀性是否仍然能够满足需要则需要进一步探讨和识别。当阵列中的每层都有DMD器件时，器件偏移对DMD阵列的影响要比其偏移小很多，如果有一层的阵列发生了偏移，则会出现与预期的不同结果。如果有多个相位发生了偏移，并且偏移量都很小，这就相当于单层发生了偏移，而中间的一排像素会出现不该出现的灰度值。阵列偏移越大，越会受到更多的像素叠加，具体的视频叠加灰度值取决于DMD单元的变形程度。对视频叠加进行非均匀校正的目的是让输出的视频尽可能接近现实情况下物体的信息，通过校正存在非均匀性的情况，将阵列场景生成系统的输出数据集合，在理想的情况下即不存在非均匀性生成输出的数据集合。为了让DMD红外生成系统实际输出的数据集合或者红外视频通过校正更加接近理想情况下的红外图像信息，即映射视频叠加成立，位移也会根据变形程度随之变化。

1.2 交互行为层设计

根据上述需求设计的资源开发的任务路线，结合开发工具和平台，使用三维建模软件Solidworks和3DS MAX进行场景模型设计。三维建模后将资源进行整合，导入Unity3D，把Vuforia工具接入Unity3D，调整配置并进行系统功能实现的开发，把用到的模型进行绘制和优化，并进行功能测试验证，最后优化开发代码，完成财会教学系统设计。

为了增强现实AR财会教学系统的核心功能，该系统在开发中采用了unity 3D AR场景搭建、3DS MAX建模等技术，创建多维度信息展示的虚拟现实系统，将空间以视频投影的形式加以变换，突破时间和场地的限制，达到还原现场的效果。把系统所需的三维模型、文本、图像和UI交互界面组件等资源转换成标准的格式后，整合导入Unity3D开发平台中，在开发引擎中进行资源配置和功能开发。财会专业3DS MAX建模的过程以货币为例，系统搜集货币图像将其作为素材，在CAD绘图软件中绘制平面图形，将CAD软件中的平面图形导入3DS MAX中，利用3DS MAX软件的轮廓和尺寸绘制出第一个初级的平面模型。系统运用AR SDK Vuforia来实现增强现实的功能，对二维图形进行处理，把二维图形变为三维立体模型，再用AR识别图片，制作扫描识别的图片。鉴于财会专业教学系统的实际场景需求，综合考虑开发成本和使用便捷性，采用图片扫描作为AR建模的素材库采集手段。为了弥补模型精细度的不足，使用贴图让模型变得完整，将Photoshop处理收集到的货币图片中的部分细微处进行调整，进行贴图处理之后，将货币图像导入3DS MAX，检查无误后即可得到一个实体模型。而Vuforia在系统中不仅可以增强现实插件，Unity3D构成的虚拟场景还可以在此基础上升华至真实场景。AR技术是需要在有交互功能的App上完成的，因此需要camera和Vuforia sdk的支持，所以系统完成的基础是要在development Key的自定义项目上创建Vuforia，然后复制密匙回到Unity3D，再把密匙写入App中。通过显卡和识别卡就可以在视频采集设备的支持下生成AR模型。由于Vuforia图像使用的是自然特性检测来进行图像匹配的，并在数据库中实现了目标管理器图像或图像特征点的数据收集和存储，因此需要在程序运行中进行实时检测，提取特征点和图像，与数据中心保存的图像检测特征点进行匹配。然后在Unity3D中创建AR相机在Vuforia建立的database，即可完成AR场景的搭建。

由于财会教学在线系统是在Unity3D引擎开发出来的，采用C#语言编写，因此在应用运行之前需要对源程序进行编译。作为在线教学系统，系统中存在多台联网终端，且多为嵌入式专用硬件设备，不适于联网升级。当需要更新AR素材库、进行软件功能升级时，采用线下升级的技术路线，即需要在开发环境下重新修改代码，编译之后打包供给用户下载。

整个系统不只有文本展示、图片展示以及视频展示等功能，还有信息交互，人机交互是AR系统的核心特点，因此需要构建丰富的资源库，方便在不同课程中选用。如各种场景的实训应用模块、样例图片及视频、讲解课件、上课过程的演示和习题如何检测等。系统以财会知识点截图为例，该截图可以保存在设备的相册，方便随时欣赏。当模型识别成功并把细化交互内容完成后，可以将框架中的内容进一步完善，例如财会学习过程中的动画播放、文本理论中的图表，如果测试应用运行无误，财会教学系统功能开发即算完成。

2 基于AR技术的财会专业在线教学系统的运行平台设计

鉴于应用场景不适于使用高端硬件设备，因此在硬件设备选型中将结构简单、反应快速以及较高精度作为设计原则；伺服的主轴构造简单，调速范围大，可无级变速，便于调试和操控；控制系统功能最大限度完善，提高智能化处理水平。硬件设计主要包括驱动装置、显示装置、计算机数字控制装置、可编程控制器以及输入、输出设备等。硬件设计分解如图3所示。

图3 AR在线教学系统硬件设计分解

在硬件设计中，根据系统功能分解，该文将功能模块划分为相应的分机，并赋予对应的功能。AR在线教学系统中每个场景存在多个虚拟物体，每个物体上有多个组件及运行脚本，因此该文设计以HYM320F28335DSP为处理核心的专用电路，配备USB3.0、RS422和RS485等多路接口，以实现对丰富外设资源的管控，满足运行环境的需求。专用电路的工作频率设定为150 MHz，通过一片30 MHz外接晶振实现稳频。每个分机的设计包括数据处理量评估、硬件资源选型、配套外围电路、供电模块和通信模块。由于系统中存在多个离散的传感器，因此需要在硬件设计中充分考虑硬件资源的分配和数据带宽的冗余，保证多路数据访问中不出现中断冲突。图像目标将利用ARCore和ARKit，增强对模型目标的跟踪。采用MCU+ASIC作为教学系统硬件支持平台的结构，利用ASIC专用芯片高速处理各种传统业务，满足对交换机处理性能和教学系统硬件试验的需求，使用MCU实现对教学系统的管理和与软件层的通信等功能。该文综合考虑教学系统对背板带宽、网口资源及交换机的若干特性要求，选型以太网交换机作为网络传输架构，同时考虑了芯片供需条件和成本因素，最后选择了成都鸿立芯公司的一款集MAC和PHY于一体、低功耗的HYM320F28335作为该教学系统的交换核心，选择了HYM32F103ZGT作为MCU。根据HYM320F28335和HYM32F103ZGT的特点，对各个模块间的接口进行设计。HYM320F28335主频高达150 MHz，满足视频流数据的处理需求；片内集成256 K×16位Flash，34 K×16位SRAM，能够胜任图像傅里叶变换的运算需求。HYM32F103ZGT的SRAM容量最高可达96 K，最多支持21个输入通道，完全适合AR系统多传感器控制的需求。

由于AR教学系统设定在室内使用，因此搭建永久固定网络，选用千兆以太网交换机作为数据通信中枢。该设计中的以太网交换机教学系统可支持9个VLAN，还有Trunk汇聚链路实验等为财务教学课程提升了仿真系统的流畅性。

图4财会专业在线学习系统包括4个部分，这4个部分分别为认知、演绎、演练与测验。而这几大部分通过排列组合成功搭建了财会专业在线学习系统，为学生提升学习效率，为教师授课提供了便捷渠道，其中财会专业在线学习系统中的认知部分主要讲述了财会专业在线学习系统的软件硬件的开发，演绎部分主要讲述如何创建AR展示模型，怎么用图文并茂的方式讲述财会相关知识，演练部分是通过扫描学生习题册上的图片并按照操作指引逐步进行学习。测验部分主要通过设置测试题目来检验学生学习情况，在教学系统中设定了财会专业定制化的实训场景，学生通过模拟操作，在虚拟环境中根据教师设定的考题，通过实际操作验证知识点掌握情况。在此过程中，AR教学系统不但提供操作的虚拟环境，还可以记录学生的动作与面部表情，作为分析的参考依据，形成跨越时间和空间的知识教授系统，辅助教师发现教学中的薄弱环节，以便有针对性地进行讲解和加强训练。

图4 系统构成

3 结语

该文通过虚拟现实技术，将财会专业的课堂和工作实际相结合，形成虚拟现实的教学场景，辅之以声音、背景和感觉的综合展现，达到身临其境般的教学实训演练。在系统的设计过程中，重点考虑了具有专业特色的AR功能实现以及专用硬件环境的搭建。由于教学系统的定位存在低成本、高还原度的设计要求，因此在设计中重点关注了虚拟功能的实现，而忽视了仿真场景的画面精细度，适当降低了AR系统的应用体验。随着信息技术的发展，可用于展示的维度将更丰富，例如可预见的味觉模拟、触觉模拟，以及学生之间在虚拟环境中的交流通道等，都可以为会计专业的实训教学提供全新体验的技术支持。今后还将在AR细节的还原度、课件的丰富性方面进行研究，辅助高校的人才培养。