体感技术驱动下的图书馆应用平台架构创新与体验革命

□李东旭 江澄 刘海峰

体感技术驱动下的图书馆应用平台架构创新与体验革命

□李东旭 江澄 刘海峰

体感设备的出现是第三次人机交互革命的原点，以Kinect为首的体感技术产品正在成为新一代革命性体验的代表，而体感应用正在迅速而又广泛地应用于各个行业领域。对于图书馆行业来说，如何抓住这一变革优化图书馆服务，为图书馆各项工作带来革命性的变化是时下非常前沿的探索性问题。该文着重探讨体感技术理念对于图书馆的影响以及体感技术在图书馆应用的可行性。

图书馆 体感技术 体感设备

引言

美国传播学者施拉姆在20世纪50年代就影响受众对大众传播节目选择的决定性因素提出一个公式：选择的或然率＝报偿的保证/费力的程度。公式中“报偿的保证”指传播内容满足选择者的需要的程度。而“费力的程度”则指得到这则内容和使用传播途径的难易状况［1］。因此以“读者中心论”为理论框架的图书馆研究需要回归到两个最初问题是：图书馆的资源和服务获取费力么？图书馆给予的报偿有保证么？这两个问题决定着读者是否会选择图书馆服务，而体感技术着力综合解决这两个问题。

1 体感技术的发展历程

1.1 什么是体感技术

体感技术是一种可以直接利用躯体动作、声音、眼球转动等方式与周边的装置或环境互动，而无需使用其他控制设备的人机交互技术［2］。排除了传统按键、操纵杆、滑鼠等与电脑的沟通方式，改以直觉的、符合肢体反射或日常生活操作的方式来与多媒体进行互动［3］。举个例子，当你站在一台电视前方，假使有某个体感设备可以侦测你手部的动作，此时若是我们将手部分别向上、向下、向左及向右挥，用来控制电视台的快转、倒转、暂停以及终止等功能，便是一种很直接地以体感操控周边装置的例子；此外还可以将这四个动作直接对应于游戏角色的反应，便可让人们得到身临其境的游戏体验。关于体感技术的应用还包括：3D虚拟现实、空间鼠标、游戏手柄、运动监测、健康医疗照护等。

1.2 体感技术的技术理念

体感技术的崛起事实上是人机交互技术创新变革［4］。体感技术采用了更加人性化、更加拟人的人机交互环境，以一切的外部媒介作为人感官的延伸，使用户在操控的过程中获得最直观、感性、具体的革命性体验。这种理念遵循了麦克卢汉的基本观点，以感官直观感受和思维活动特点作为基本框架标准，灵活调节合理的组织形式，进行有序、有效的组配，以满足读者获取感受作为最重要的信息获取原则。

1.3 体感技术的广泛应用

体感技术在非常多的领域正在取代复杂的控制系统，成为新一代人机交互的先锋［5］。例如高精度手术、高危施工、地下作业等等领域均有非常良好的应用前景。体感技术现已在各行业中有了一定的应用：据国外媒体报道，德国康斯坦茨大学一位研究生借助Kinect系统能够让盲人“看到”真实的物体，并将这一系统命名为“NAVI”，意思是失明人群辅助导航装置。国内第四军医大学西京医院骨科的医生们将kinect应用在手术室，手术者在术中可通过体感控制查看患者的影像资料，大大方便了医生手术，减少了手术室的人员流动［6］。

2 体感应用技术实现及平台架构

开发体感应用技术涉及应用开发框架、中间件设计与实现、优化控制方式以及实时反馈控制共四个方面的问题。

2.1 体感应用开发框架

Kinect应用开发框架目前有第三方的Primesense OpenNI和微软的Kinect for Windows SDK，二者在基于Kinect的应用开发方面各有优势，如表1、表2所示：

表1 Microsoft’s Kinect SDK优缺点

表2 PrimeSense OpenNI优缺点

由以上可以很清晰看出各种开发环境的优缺点，对比后不难发现就技术角度而言如果只开发基于上半身或手势识别的项目，使用Primesense OpenNI即可，然而要开发基于全身识别的体感项目无疑微软发布的开发环境更加适合。

2.2 中间件设计与实现

体感应用的关键就是用户动作手势和语音的识别过程，即获取用户动作的深度图像和音频数据，然后将这些数据交给视觉和音频感知中间件，所谓感知中间件就是用于实时记录音频和视觉分析的数据并理解它们的软件组件。例如，一个中间件可以接收一幅有人的图像，计算并返回人手掌在图像中的位置；更高级的还要能够识别用户连续的动作手势，并根据动作手势匹配而确定用户的动作意图，如图1所示。所以在体感应用中间件的设计过程中，既要考虑用户易于操作，也要考虑追踪效率，因此体感技术的实现是人机互动领域史无前例的革命，体感技术所要实现的工作有可能将重新定义互动技术的未来。

图1 Kinect动作细节追踪动态图原理

以图书馆内实现投影内容体感控制为例，如果要使用Kinect来进行控制，在实际的中间件设计过程中需要考虑下面几个方面的问题：获取和放弃控制权、控制权释放后的重新获取、控制手势的自然化和多样化。

在体感控制中需要确保任何一个时间内只能有一个用户对设备具有控制权，所以首先在设计动作手势时，需要设计“获取控制”手势，执行“获取控制”手势的用户就可以获得对设备的控制权，并且在该用户进行控制期间其他的用户不能剥夺或抢占此用户的控制权，除非此用户放弃控制，那么其他的用户才能通过“获取控制”手势重新获取控制权，所以在设计“获取控制”手势的同时还需要设计“放弃控制”手势。

在用户获取控制权进行控制期间，由于各种意外，用户整个身躯或手短暂脱离Kinect传感器工作范围，但很快又能恢复，这种情况在用户实际操控过程中将会经常出现，在实际测试过程中，我们总结出，应该多次测试确定一个合适的超时机制，即如果在一定的时间范围内当用户脱离Kinect传感器控制然后又恢复，那么系统就认定用户依然对设备有用户控制权，用户不需要再次执行“获取控制”手势来重新获取控制权，如果用户脱离Kinect传感器超过设置的时间，那么就认定此用户丢失，系统就应该收回此用户对设备的控制权。

用户需要通过手势执行互动功能时，应该考虑人群对互动手势的自然理解：一般使用水平左右挥动手势完成左右翻页功能，使用垂直上下挥动手势完成上下翻页。因此在设计翻页这样的手势时，应根据用户实际理解同时设计水平挥动和上下挥动的控制手势，除此之外，设计人员还应该积极拓展思维，当出现用户无法操控的情况，除了手势动作控制以外还要考虑是否需要配合语音控制等方式采用用户语音命令来实现相应功能。

2.3 优化控制方式

在为各种屏幕创造动作手势时，需要不断尝试，收集和记录所有可能想到的创意方式并制作出原型以检验哪一种更适合普通用户。让普通用户进行原型测试非常重要，从中可以了解到许多关于人体运动的信息，并用于重新测试。通过测试将会更好地理解用户行为。在测试过程中，需要“不断失败”，筛选更加适合的方案，并需要和普通用户一起进行测试，根据所有获取到的数据来决定最佳手势。经过研究发现悬停选择是一种容易学习、高度可靠并且可预测的操控方式，而翻页控制提供了一种更有触感的机制来控制屏幕内容。

2.4 实时反馈控制

对于Kinect体感技术，无论用户是在进行动作手势控制还是语音控制，都必须有即时反馈功能，使得用户相信自己确实是在控制当中。例如当用户打开屏幕进行控制时，屏幕需要给用户提示Kinect设备是否已经连接，是否工作正常等状态标志，当用户的手在空中挥动时，屏幕上应该有对应光标随之移动，以让用户相信自己确实是在控制当中；在语音控制中，当用户需要发出语音命令时，应该在屏幕合适的位置出现文字提示直到用户进行语音输入，当用户的声音不够大或输入的语音命令无法被识别时，应该给与相应的文字或其他可见的提示，当用户输入的语音命令被成功识别时也应如此。

当用户在使用Kinect体感设备时，如果用户的手势动作不够规范，或语音命令无法被识别时，Kinect的应用程序应该提示用户如何输入最准确的手势动作或语音命令；还有Kinect的应用程序应该能够智能地判断用户想要进行的下一步动作或在用户操控界面显示“帮助”按钮，使用户在不知道下一步如何操作时能够即时获取提示或者查看帮助。

3 体感技术与阅读体验

图书馆应该更加关注媒介本身的体验价值。在麦克卢汉看来，媒介的价值和影响力要远远超过内容本身。有研究表明，现代读者在利用信息资源的时候更注重阅读体验，如果信息的媒介形式不友好，那么他们就会转而选择更亲切、体验更好的阅读方式来摄取信息［7］。读者会因为阅读体验良好的媒介而抛弃阅读体验不好的媒介形式，因此进行有效的媒介改良将会带来更好的阅读体验，而体感技术给了用户很大的控制权，它给读者带来革命性的阅读体验。

随着科学技术的不断发展，建筑行业与信息技术的联系增加，BIM新理念应运而生，打破了传统设计方法在住宅产业化方面的制约，使建筑成本得到有效降低，推动着建筑设计朝着信息化、参数化的方向飞速发展。在BIM模块化设计背景下，通过“搭积木”的方式将模型单元拼装起来，形成建筑整体模型，不但使设计效率得到显著提升，还能够促使建筑产业化的生产链变得更加完善。

3.1 体感技术增强读者阅读动力

凡是首次出现或稀罕的事物，人们容易产生兴趣，产生好奇，好奇心永远是最好的老师。体感技术正是从这个角度来重新解读用户需求，它具有其他传统媒介无法媲美的革命性体验，在激发用户好奇心方面具有天然的优势和感受驱动力。现代读者因好奇驱动的阅读占阅读驱动力很大的比重，抓住读者的注意力就抓住了读者的心理活动，从而引导读者去悉心研究与体验这些新兴事物下的信息资源。当有了阅读驱动力，读者就会自己去体验和探索这些新兴资源和媒介。这尤其对高校图书馆的学生读者有着绝对的吸引力，并且这种设备和技术门槛相对较低，因此高校图书馆可以尝试这种技术来创新读者阅读体验。

3.2 体感技术下的开放阅读

虽然目前体感技术在公共服务领域鲜有成熟的阅读应用，但体感技术下的开放阅读不仅能体现在空间上，而且也能体现在思维上，在空间上读者可以选择更加开放的环境选择阅读方式，而在阅读的思路上可以使逻辑更加灵活和跳跃，选择更加开放的阅读方式会有更加美妙的阅读体验和感受，有利于读者对于阅读内容的理解，并且过程印象深刻不易遗忘。

3.3 体感技术让读者与阅读内容直观互动

传统阅读注重阅读的私密性和深度，但传统的图书阅读模式在阅读即时分享方面相对欠缺，而现代读者更加注重阅读针对性与阅读内容本身的差别化即时互动，例如：读者会想知道读到某一段的时候，其他读者有什么感受，以及当前内容的评价信息，这都有助于读者更深层次地了解阅读内容并且可以形成差别化的交流探讨［8］。体感技术的产生使图书有了更好的分享性，它带领读者进入到一个大屏幕的世界，读者可以一起分享某本精彩的图书或期刊资源，这不仅是一种人机之间的互动体验，而且在这个过程中强化了读者与内容之间、读者与读者之间的互动，改变了阅读认知的方式，它将阅读注入了社交元素而让阅读交互感受更加丰富。

3.4 体感技术与读者关系亲密

很多学者形象地指出：越来越多的现代人视手机、笔记本、鼠标、键盘等外设是自己感官的一部分。事实上这也是体感技术驱动下的人机交互努力的方向和未来，体感控制会给用户更加具体和直观的感官化感受，在解放双手之后，人能够以身体最自然的方式与终端进行信息的交互并完成互动［9］。Kinect有句广告语——“You are the controller”（你就是遥控器）［10］，相信在不久的将来，小型化体感设备会不断涌现，而它的便携性将让用户与之更加紧密。同样，Kinect体感技术在图书馆中的应用将会提高图书馆创新服务与读者用户的紧密程度，在诸多服务和平台方面与读者保持友好。

4 体感技术与图书馆服务创新

赢得更多读者的青睐是图书馆永恒的话题。传统图书馆服务的做法会更关注资源内容质量、组织有序化程度以及其中的关联性，而今看来，在另一个角度图书馆也应该更加关注体验的价值，利用最新的创新技术进行有效的服务改良将会带来更好的服务体验，也同样会赢得更多的读者。

4.1 通过人脸识别简化读者借还功能

体感技术在自动化服务方面可以有很好的利用，例如可以将体感技术运用到图书馆自助借还系统，借助于体感技术中的人脸识别、体型识别、语音识别等等具体的人机交互技术综合应用，可以避免读者因忘记携带或丢失图书证而无法借书的尴尬，可以使读者有更多的选择，不仅节省借还书时间，提高了图书的流通速率、简化了借阅流程，还维护了读者的隐私权，此外又便于读者自我掌控借还书过程，满足了读者多样性、个性化的需求。

4.2 通过语音交互功能改进馆员与管理系统的交互

图书馆自动化管理系统是一个由人、计算机等组成的能进行管理信息的收集、传递、加工、保存、维护和使用的系统。体感技术的语音交互功能可以改进馆员与管理系统的交互，馆员无需遵循鼠标、键盘等传统操作，而是纷纷采用抬手、挥臂、语音控制等方式，控制图书管理系统的运行。例如馆员进行图书编目这一工作，可以创造性地利用语音控制功能，保持“免提”模式，通过语音可触发文字录入、输入点选择等功能，并且用语音控制进行编目审核。这将完全颠覆传统馆员通过鼠标和键盘来操作图书管理系统的思路，开启人机交互的新篇章。

4.3 通过体感控制改进联机公共检索目录展示效果

图书馆联机公共检索目录（Online Public Access Catalog，简称OPAC）是一种网上书目，可供公众联机查询各图书馆的馆藏资料。随着互联网时代的到来，大多数图书馆都已经将自己的OPAC向整个网络发布，世界各地的读者都可以检索。体感技术的出现，使得这一服务系统有了更好的呈现，如图2所示，第二炮兵工程大学图书馆利用体感kinect设计了图书馆资源检索导航系统。读者无需依赖任何操控设备，读者自己就是控制器，可以在合适的范围内，通过肢体动作或语音浏览图书馆的新闻、数据库检索系统、参考咨询台等各种服务资源。

图2 图书馆资源检索导航系统

4.4 通过增强现实来实现图书定位和全息化虚拟图书馆

增强现实（Augmented Reality，简称 AR）是近年来国外众多知名大学和研究机构的研究热点之一，也被称为混合现实。它通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时叠加到了同一个画面或空间同时存在。目前对于增强现实有两种通用的定义。一是北卡大学Ronald Azuma于1997年提出的［11］，他认为增强现实包括三个方面的内容：Combines real and virtual（虚拟物与现实结合）、Interactive in real time（即时互动）、Registered in 3D（三维设计）。

而另一种定义是1994年保罗·米尔格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出的现实－虚拟连续统（Milgram's Reality－Virtuality Continuum）［12］。他们将真实环境和虚拟环境分别作为连续统的两端，位于它们中间的被称为“混合实境（Mixed Reality）”。其中靠近真实环境的是增强现实（Augmented Reality），靠近虚拟环境的则是扩增虚境（Augmented Virtuality）。

增强现实在各个行业中已经有了良好的应用，例如谷歌于2012年4月推出的电子眼镜产品，这款高科技眼镜拥有智能手机的所有功能，镜片上装有一个微型显示屏，用户无需动手便可上网冲浪或者处理文字信息和电子邮件，同时，戴上这款“增强现实”眼镜，用户可以用自己的声音控制拍照、视频通话和辨明方向。

国家图书馆通过“增强现实”创造了中国首家非接触式“3D虚拟数字图书馆”，现代、摩登、先进，走在了全国乃至世界的前列，更是科技创新力量在图书馆界的充分体现。读者只需站在长七米、高三米的巨大屏幕前，在距屏幕约五米的地方，伸出手掌，计算机系统便可瞬间识别［13］。读者可依手势，左转、右转、平移、前进、后退；可仰看或俯视；可到达任何楼层，观看到不同楼层的真实景象；可自由选择游走路线，仿若置身于真实的整体场馆之中，与实际行走无异。不同的是，可观全局，亦可随意设计挑选路线，最关键的是新颖的手势识别操作以及与众不同的直观、自然的体验。

5 体感技术应用的挑战

5.1 平衡娱乐性与实用性

凯文·凯利在著作《失控》中表示：“科技在为人类的工作和生活带来诸多便利的同时，也带来了一些负效应。”如核电之前被认为是安全和清洁的下一代能源，但日本福岛核电站事故又让人们重新意识到，一旦科技失控，它带来的负面结果可能是难以承受的［14］。

图书馆在开发利用体感技术的同时，也应认真思考此问题。Kinect以其崭新的方式、轻松的形态、良好的互动将学习娱乐融于一体，不难预期，这极易受到读者用户的欢迎和追捧。但对于图书馆管理者而言，我们需要关注和思考的是，如何在兼顾娱乐性的同时充分发挥其实用性，以便形成图书馆行业对于体感技术的良好应用，保障其效益的最大发挥、读者受益的最大实现。

5.2 开发人员不足

体感技术的灵魂和核心是读者体验需求的满足，但是体感技术在图书馆应用的过程中存在着薄弱环节，即系统建设与人才培养脱节。图书馆新型技术的开发和利用，是以读者服务为最终目标的，而这一目标的实现是以图书馆员的开发为基础的，因此，图书馆开发人员是关键。而如今图书馆的专业开发人员甚是缺乏，优秀开发团队的建设将成为图书馆必须全力去解决的一个重要问题，没有一支高素质的专业队伍，图书馆的体感应用是无法有效进行的。

结语

中国的图书馆事业几十年来确实取得了长足发展，由于现阶段我国还没有制定和出台一个全国性的宏观规划，各个图书馆的技术资源大多处于独立分散、交叉重复的封闭状态，体感图书馆的开发和实践是一个渐进、渐变的过程，体感图书馆在发展推广的同时，还须结合我国国情和图书馆事业的现状，提出切实可行的方案和措施。因此，在体感图书馆开发的过程中笔者采用“开源共享、联合开发”的方式进行了技术成果的广泛分享，笔者认为只有这样才能使图书馆的体感技术应用和发展建设达到一个更高层次。

1 唐晓玲.信息选择或然率公式对广告传播的启示.新闻界，2007（4）：23－25

2 体感技术热潮来袭.IT经理世界，2011（7）：35－38

3 宋鸣侨.浅析人机交互技术的发展趋势.现代装饰（理论），2012（2）：37－39

4 李璐.体感技术革新电视人机交互体验.通信世界，2012（11）：15－18

5 艾小群等.全息学时代下数字化艺术设计的人机交互性取向.辽宁大学学报（自然科学版），2012（1）：27－29

6 吕开阳等.Kinect体感技术在动物外科实验教学中的应用及展望.中国医学教育技术，2012（2）：29－31

7 车力军，孙峰.3G时代体感游戏的发展思考.电信技术，2011（11）：55－58.

8 郭星等.一种大屏幕人机交互系统的实现方法.计算机工程与应用，2012（1）：41－43

9 李浚.从纸质触摸阅读到人机交互式阅读——盲人阅读方式发展趋势前瞻.四川图书馆学报，2012（1）：43－46

10 DEVINCENZI A，YAO L N.Kinected conference：augmenting video imaging with calibrated depth and audio/Proceedings of the ACM 2011conference on Computer supported cooperative work.New York，USA：NY，2011：621－624

11 R.Azuma.A Survey of Augmented Reality Presence：Teleoper－ators and Virtual Environments，August 1997：355－385

12 P.Milgram，A.F.Kishino.Taxonomy of Mixed Reality Visual Displays IEICE Transactions on Information and Systems，E77－D（12），1994：1321－1329

13 李雪.虚拟现实技术在国家图书馆的应用.科技情报开发与经济，2009（30）：21－24

14 Kevin Kelly.Out of Control：The New Biology of Machines，Social Systems，and the Economic World.北京.新星出版社，2010：237－238

The Somatosensory Technology－Driven Library Application Platform：Infrastructure Innovation and Experience Revolution

Li Dongxu Jiang Cheng Liu Haifeng

Somatosensory equipment is the origin of the third revolution in human－computer interaction.Somatosensory technology products led by Kinect are becoming the representatives of new generation of revolutionary experience.The somatosensory applications are quickly and widely used in various industries.How to seize this change to improve library services is nowadays a very cutting－edge issue.The article focuses on the impacts of the somatosensory technical concept for the library as well as the feasibility of somatosensory applications applied in library.

Library；Somatosensory；Somatosensory Equipment

第二炮兵工程大学图书馆，西安，710025

2012年7月6日