基于手势交互的童年游戏虚拟化设计

2023-10-02赵延超闫子飞

设计 2023年17期

赵延超闫子飞

摘要：借助手势交互技术对式微的童年游戏进行虚拟化设计，保留其原有交互性的同时进行创新设计。首先分析童年游戏虚拟化的现实意义和体感游戏的优势，然后以具身认知理论为理据，结合手势交互的优势，提出童年游戏虚拟化设计策略。利用普通摄像头的手势识别技术和智能游戏AI设计，实现了童年游戏实例的电脑端移植。为童年传统游戏的保护与推广及其创新性设计提供了新的思路。

关键词：体感游戏手势交互手势识别童年游戏具身认知游戏设计

中图分类号：TB472 文献标识码：A

文章编号：1003-0069（2023）17-0142-04

Abstract：To design the virtualized childhood games with the help of gesture interaction technology to preserve their original interactivity while making innovative designs. Firstly，we analyzed the practical significance of virtualizing childhood games and the advantages of motion sensing games，and then proposed a design strategy for virtualizing childhood games based on the theory of embodied cognition and the advantages of gesture interaction. Using the gesture recognition technology of common camera and intelligent game AI design，the computer-side porting of childhood game instances is realized. New ideas are provided for the preservation and promotion of childhood traditional games and their innovative design.

Keywords：Motion Sensing Game Gesture interaction Gesture recognition Childhood games Embodied cognition Game design

引言

许多看似简单而妙趣横生的童年游戏令人们留下了幸福记忆，却随着时代的变迁逐渐凋敝。若将其移植到虚拟平台，借助蓬勃发展的电子游戏媒介，童年游戏可重新绽放生命力。根据具身认知理论，心理活动与身体密切相关，肢体动作嵌入人的记忆。相比通过键鼠、玻璃屏幕等硬件进行交互，手势具有直观性、自然性和丰富性的特点，可以为玩家提供更直接、更舒适的交互体验。对于一款回忆童年的游戏而言，这种互动方式能够更大程度地唤醒玩家的记忆。而对于新玩家而言，手势交互也是更为生动有趣的玩法。

一、童年游戏虚拟化的现实意义

“童年游戏”指人们在孩童时期体验和游玩的游戏，叙事的主体为成人和青少年。不同年龄的人群对童年游戏的印象不尽相同，但当下人们的共同记忆或许是课间、放学后与伙伴嬉戏的场景。然而，如今的孩子成长在智能手机普及的时代，网络虚拟游戏将在“童年游戏”中占有更多的比重。“虚拟化”指将真实场景中的游戏移植到虛拟平台，从而方便游戏传播，扩展游戏受众。虚拟化的童年游戏，对儿童而言是一种新的游戏形式，能够帮助儿童体会传统游戏的魅力；对成人或青少年而言是一种回忆童年的良好载体，可以满足玩家的情感体验；对游戏本身而言是一种新的传播媒介，能够令其在虚拟平台中延续生命、促进文化传播。

（一）从传统到现代的儿童游戏场景变迁

游戏对人而言是不可或缺的活动。从婴儿时起，人就会进行踢被子、玩手指等无意识的游戏行为。对于年幼的儿童，游戏促进了其心理健康的发展，享受游戏作为一项基本权利被纳入联合国《儿童权利公约》。在人成长的过程中，游戏还具有传播知识、辅助社交、娱乐身心等功能。美国心理学家霍尔认为，不同年龄阶段的儿童以诸如爬树、玩水等游戏形式，重演着人类祖先的摘果、捕鱼等行为特征。他主张对儿童和青少年的教育应考虑到个体心理发展复演种系进化的特点，应鼓励儿童在野外打闹嬉戏，令其野蛮的天性在一定范围内释放。以群体游戏为主的传统游戏如捉迷藏、跳房子、丢沙包等，游戏内容朴素天然，只利用手、脚等身体部位即可进行，对技术的依赖性较小。这些游戏需要两人以上面对面的竞争或合作，不借助其他中间媒介就可以直接参与。

随着时代的发展，儿童游戏经历了从传统现实场景中的群体类游戏，到虚拟化的网络游戏的变迁[1]，游戏体验从自然接触变为感官刺激。电子游戏构建虚拟的游戏场所，将玩家包含其中，消弭了传统游戏场所的时间和空间区隔，但也使游戏者成为脱离现实的“孤独”者[2]。尽管手机网游中有虚拟游戏符号形式的玩伴，但游戏本质仍是一个人对着屏幕的狂欢。在虚拟游戏成为儿童游戏主流的背景下，对传统游戏的虚拟化可打破虚拟世界的孤立属性，为虚拟平台引入自然的互动性。

（二）玩家情怀唤醒与投射

“怀旧”一词最初的含义与乡愁相近，如今被视作一种与自我相关的社会情绪，有助于内心的平静，并对动机和行为产生深远的影响。怀旧心理通常包含自我与他人的亲密互动，这种互动在关系中起到至关重要的作用，因此可加强社交纽带，增进社会支持[3]。童年游戏是玩家与儿时玩伴友谊的见证，更因为陪伴着一代人的成长，构建了玩家对它的集体记忆。重温儿时享受的游戏使得玩家的情怀被唤醒，从而引起玩家的共鸣。

法国社会学家莫里斯·哈布瓦赫认为，对过去的昔日重现以现在为中心，社会不要求完全的昔日重现，而是满足于现在利益关系的昔日重现[4]。对于已经长大的玩家群体而言，童年是回不去的时光，儿时群体游戏场景难以复制。因此，对童年游戏的呈现除了重制游戏主要玩法外，应对游戏内容进行改进，使之匹配玩家群体的年龄特征。

虚拟化的童年游戏作为一种新媒介，其在内容与形式上契合受众的心理诉求，不仅传递着集体记忆，更是重塑着过去的影像。玩家不仅期待新玩法，更是怀念着童年的自己。这个过程中，玩家获得更深的感情认知，由此产生自我认同感。

（三）虚拟游戏帮助文化传播与认同

虚拟游戏自身的独特性为文化的传播和认同提供了新的可能，其能够突破地域的障碍，促进不同文化的交流，引起大众对作品的感悟[5]。一方面，虚拟平台为传统的童年游戏提供了生存空间，令其以新的形式存续；另一方面，虚拟游戏载体能够打破面对面游玩的空间桎梏，方便了游戏在网络空间的传播。此外，虚拟游戏不仅能够以技术手段实现对童年游戏交互天然、玩法童真的内核的承载，令玩家的视点由游戏本身转向内在的文化元素，更能够将不同的玩家聚集起来，形成由玩家个性差异带来的全新文化背景。由此可见，虚拟游戏可以作为优秀的文化传播媒介，同时拥有旧媒介不具有的优越性。

二、体感游戏重现动态交互

为了打破封闭、静态的虚拟场景，动用肢体来进行的体感游戏（Motion Sensing Game）应运而生。狭义的体感游戏指基于肢体动作、立体显示和肢体感知的全身互动性电子游戏，目的是借助肢体运动操作来达到一定的体育健身、运动休闲的效果[6]。广义的体感游戏是与一般的键鼠、手柄交互游戏相对的概念，包含一切通过肢体运动来进行操作的电子游戏。

（一）体感游戏的发展

体感游戏的发展经历了3个阶段：（1）特殊硬件设备导向的体感游戏，例如游戏厅中常见的跳舞机、赛车游戏、射击游戏等，其交互设备模拟实际场景中的枪支、方向盘等，为玩家营造真实的体验环境；（2）基于通用手持设备的体感游戏，采用特殊的通用手持手柄实现玩家动作捕捉，例如任天堂Wii游戏和索尼PS Move游戏；（3）基于计算机视觉的体感游戏，借助特殊的体感摄像头如Kinect进行游戏，无需任何手持设备。

（二）体感游戏的优势

体感游戏相对一般的电子游戏，具有以下的优点：（1）自然的人机交互，通常不需要用户学习新的操作，仅依靠日常生活中的动作习惯即可完成交互，具有易学性；（2）多感官并用，通过动作捕捉、影像识别、麦克风输入、语音识别等功能，帮助用户产生身临其境的感觉，提升玩家的代入感和沉浸感；（3）在真实世界与虚拟世界之间建立了意识流动的橋梁，促进了玩家与真实场景的互动，减少电子游戏的虚拟性，增加了体育运动的趣味性。

体感游戏将最朴素的游戏交互方式重新带给玩家，在保留虚拟游戏内容的同时，让玩家活跃于真实场景，推动了玩家的体育休闲运动。这些优点也让体感游戏成为一种改善人体健康的手段，应用于心理治疗[7]、肢体运动功能康复[8，9]中。对于童年游戏的虚拟化而言，体感游戏形式是合适之选。

（三）手势交互技术简介

手势在人们日常交际活动中发挥着重要作用，基于手势识别的体感交互具有遵循自然习惯、动作幅度小、信息密度大的天然优势，满足隔空体感交互的设计原则[10]。基于手势识别的人机交互方式将用户手势的静态或动态数据作为输入，静态数据包括手型、指尖位置等，动态数据包含手部的运动方向、速度等。这些数据的获取方式可分为基于接触式装置的方法和基于计算机视觉的方法两种。接触式装置如数据手套和手持设备等，可以实时跟踪用户的手部动作，因而精确度高，但由于操作复杂、价格昂贵，难以得到实际应用和推广。相比之下，基于视觉的方法从图像中提取手势信息，更加自然易用，是目前手势交互的主流方法。

手势识别起源于1983年研发的一种数据手套，它能够实现简易的手势识别。经过数十年的发展，机器学习的性能突飞猛进，大大提高了图像分析和模式识别的能力，促进了基于视觉的手势识别方法的兴起。与此同时，摄像设备更新换代，出现了如Kinect、Leap Motion和RealSense[11]等的深度感知摄像设备。这些深度摄像设备除了普通的RGB镜头外，还包含至少一个红外摄像机，能够摄取3D深度信息。因此，基于深度摄像设备的手势识别相比普通的2D摄像机更为精确。而由于2D摄像机成本低廉、更加普及，2D手势识别算法亦取得了长足发展。

百度大脑是百度AI的核心技术引擎，其对外开放了计算机视觉、自然语言处理、知识图谱等多种AI技术，可供开发者学习使用[12]。作为被公开的技术之一，百度手势识别技术可识别普通RGB图片中的手部位置和手势类型，支持24种常见手势的识别，例如拳头、OK、比心、数字等。其主要适用于3米以内的自拍、他人拍摄手势图片，1米内图片的识别效果最佳，符合本文的应用情景。手势识别接口提供了包括C#语言在内的多种常用编程语言的软件开发工具包，因此适用于基于Unity 3D引擎的游戏开发。使用过程中，用户将待识别的图片上传至云端，经过云计算处理后，用户将收到检测结果，包括手势的类型、位置和大小。

三、具身认知视角的虚拟游戏设计

具身认知的思想可概括为：身体的动作和感知影响人类的认知或心智的形成[13]。人认知的塑造很大程度上由身体及其与外界的一系列感知行为决定，身与心密不可分，相互渗透。心智在身体中根植，身体在环境中塑造，身体在感知世界的过程中与外界环境接触，让心智、身体、环境三者息息相关、相互协调。具身认知理论的内涵可归纳为以下3点：（1）认知过程有具身性，身体物理属性决定着认知过程，影响着认知的方式与步骤；（2）认知过程有嵌入性，环境包含身体，身体包含大脑，大脑包含认知，认知、身体和环境三位一体；（3）认知具有情境性，认知无法脱离情境独立存在，认知和学习的整个过程应该包括身体、环境的各个方面[14，15]。

具身认知视角下的游戏设计以玩家的身体为核心，结合玩家的游玩情境，针对玩家自然存在的需求，考虑玩家的习惯动作，为玩家设计出对身体友好的、便于认知的游戏；而手势交互的方式符合具身认知重视身体经验和空间经验的特点。本文以“拍手对决”游戏为例，对其进行虚拟化移植，基于具身认知的框架基础，结合手势交互的优势，从认知的具身性、嵌入性和情境性3个方面进行游戏的交互设计。

（一）“拍手对决”游戏介绍

“拍手对决”是一种两人以上面对面进行的拍手游戏，其规则十分简单。两个人同时拍手两下，然后对着对方做出一个动作，动作一般包括“集气”“进攻”和“防御”三种。“进攻”需要消耗能量，而能量通过“集气”来获得。如果玩家在对方“集气”的时候“进攻”就会得分，如果此时对方“防御”或同样“进攻”，则不能得分。可以看出，“拍手对决”游戏是剪刀石头布的变种，参与者同时作出决策，并根据规则决定胜负。

“拍手对决”游戏模式在国内流传甚广，根据网络调研，它在各地有“波波攒”“拍拍攒”“波攒防”“棒棒冰”“拍拍憋”“拍拍运”“水火电”等不同称谓，衍生玩法也多种多样。国外也流行着同样的游戏，据日本网友的问卷调查[16]，该游戏大约在20世纪80年代末期开始在日本流行；同时被中国留学生传播到了美国并获得了一批忠实粉丝[17]。可见，“拍手对决”承载了国内外的玩家的共同回忆。

（二）具身性——自然的手势交互

具身认知理论强调身体的作用，身体的状态影响着认知和心智。对于游戏设计而言，人机交互是通过身体直接完成的，而交互的舒适度决定着玩家的体验。要让玩家享受流畅的交互过程，产生真实的在场参与感，就要让玩家的某种物理属性与交互系统发生关联。而对于“拍手对决”游戏，其原版即完全通过手势进行，其虚拟移植版本应当重视手势交互的运用。玩家做出的手势应与游戏内容建立强联系，若玩家想在游戏中完成攻击或防御的姿势，只需自然地摆出相应的动作，而不需要思考肢体动作与游戏角色动作的映射关系。

唐·伊德在《技术中的身体》一书中定义了“三个身体”——物质身体、文化身体、技术身体。物质身体即肉体，文化身体为社会文化关系中的身体，技术身体指技术关系中的身体。手势除了在肉身意义上实现自然的交互，也要符合文化身体与技术身体的感知。对于文化身体，玩家手势应被赋予文化语境中的意义，手势的含义可被明确地读取，例如防御手势应体现出保护感，而不会使玩家迷惑。对于技术身体，要求游戏能够准确辨识玩家的手势并顺利呈现，游戏因玩家的参与而完整。

（三）嵌入性——便利的游戏环境

认知依赖于身体，而身体嵌入環境，由此形成认知、身体与环境的共同体，具身认知视角下的游戏设计也要针对游戏的体验环境进行设计。游戏的游玩环境包括真实环境、虚拟环境和技术环境。真实环境指玩家所处的客观环境，是玩家的交互实际发生的场所。游戏的设计应尽可能减少对特定真实环境条件的依赖，防止玩家的活动自由受限，以营造便利的游戏环境。以“拍手对决”游戏为例，玩家可以比较随意地做出手势进行游戏，手势离屏幕的距离、面向屏幕的角度可在一定范围内被支持，而不是将玩家束缚在固定的位置和角度。虚拟环境指游戏内的环境，通过显示器、扬声器等输出设备，以视听信息的方式呈现给玩家，因此虚拟环境是真实环境的延伸。通过游戏场景和用户界面的设计，游戏应当为玩家带来真实的临场感，达到虚拟自我与真实自我的和谐统一。技术环境是游戏运行的环境，包含软件环境和硬件环境，要求游戏应尽可能优化性能，以减少运行环境的配置要求。例如，采用2D普通摄像头进行的手势识别相比需要深度摄像机的方式，能够降低玩家的成本，进而改善体验。

（四）情境性——对记忆的拟仿

认知在特定的情境中完成，情境是拟仿的，一方面是人与人之间的互相拟仿，另一方面也是人对过去的自己的拟仿。玩家在拟仿中形成了相对统一的认知模式，而虚拟化的童年游戏应当符合玩家的这种认知模式，做到与玩家记忆中的情境相似。这要求怀旧游戏的重制应忠实于原版，游戏步骤、玩法和动作要与原版尽可能一致，对游戏模式的创新不能改变核心玩法。游戏中的拍手环节不影响战斗的决策，但在画面中将拍手动作完整呈现出来会为玩家带来熟悉的仪式感。“拍手对决”游戏经常在课间的教室进行，同学聚集在课桌前面对面拍手嬉闹。因此，游戏场景的设计应提取其中的元素，让桌前的对决成为玩家记忆的落脚点。游戏的对战体验同样是情境的一部分，游戏AI要有足够的智能，给玩家带来挑战。

四、童年游戏虚拟化实例

本文利用普通摄像头的手势识别技术和智能的游戏AI设计，实现了“拍手对决”游戏的电脑端移植，玩家可以在镜头前与屏幕内的游戏AI对战（如图1）。游戏使用Unity 3D引擎开发，手势动画使用Maya软件制作。

游戏完整的交互流程如图2所示。玩家需要在每回合拍手阶段结束后，对摄像头做出手势。摄像头会拍摄一张照片，这张照片被上传到云端，经过云计算后，返回识别结果，作为游戏内玩家的决策结果。同时，AI从决策列表中选出任一动作，作为AI决策结果。双方的决策结果经由游戏内部的规则判断，计算双方的能量值与生命值的变化，并播放战斗过程及结果动画。在动画全部播放完之后，再进入下一个回合的拍手阶段。

（一）满足具身性的手势设计

手势交互的效果决定着游戏的体验，服务于物质身体、文化身体、技术身体的感知，本作品的手势设计满足自然性、可解释性与可实现性。游戏采用了百度大脑的手势识别技术，通过本地的摄像头捕获手势照片，利用百度大脑云计算，返回手势对应的类别，以此来作为玩家的输入信息。该过程可在1s内完成，能够保证交互的实时性。其可识别的手势共24种，从中选取较为合适的6种用于本游戏（见表1）。类名为“Congratulation”的抱拳动作，接近“拍手对决”中经典的集气动作，因此用它代表集气手势：手势“One”可理解为戳，“Fist”理解为拳头，作为普通攻击1和普通攻击2。手势“Five”可理解为用手抵挡，因此定义为普通防御。特殊攻击和防御手势，采用特殊动作“ILY”和“Heart_2”来表示。

（二）符合嵌入性的游戏场景及界面设计

游戏体验嵌入环境中，游戏场景影响着玩家的临场感。为了充分模拟拍手对战的情境，本作品的场景设计在室内，玩家与电脑AI对桌而坐。房间处在昏暗的古堡中，AI设定为一个半透明的白色幽灵，双方在烛光下拍手对战，营造紧张又不失趣味的气氛。

游戏的用户界面分为能量条、生命条、状态提示和胜负提示四部分。生命条和能量条实时显示双方的生命值和能量值，分别由红色和蓝色的小格组成。玩家和AI都有自己的状态提示，以文字的方式显示此次双方决策的结果，提示种类包括“攻击！”（成功让对方的生命值减少），“格挡！”（成功防御对方的攻击，如图3），“压制！”（使用高等级的攻击盖过对方的攻击），“对波！”（双方使用同样的攻击相互抵消）和“行动无效！”（玩家作出错误的手势或手势识别失败）。胜负提示会以文字的方式在屏幕中央闪烁“Win！”或“Lost！”的字样。

（三）结合情境性的游戏机制设计

结合玩家对自己记忆的拟仿，本游戏在机制上尽可能符合玩家对原版游戏的普遍印象，并从规则设计和AI设计两个方面来实现。

1.规则设计：根据心流理论，玩家的沉浸性受技能和挑战两个维度的影响[18]，若技能有余而挑战不足，则会造成玩家的厌倦。游戏机制的设计遵循忠于原版的原则，同时考虑到玩家群体的年龄特征，在细节上进行改进，提高游戏难度，以增加游戏的趣味性。

参考“拍手对决”的经典玩法及衍生玩法，本设计对游戏机制进行了拓展：将攻击方式改为3种，包括普通攻击1、普通攻击2和特殊攻击，分别消耗1、2、3点能量，对应攻击强度的3个等级；而防御方式包括普通防御和特殊防御两个等级。普通防御只能抵御普通攻击1和普通攻击2，而特殊防御只能消除特殊攻击。此外，由于UI界面免去了玩家对数值的记忆和计算，因此与传统的“一击制胜”不同，本设计引入了血量系统，让战斗过程更为激烈和持久。

玩家通过手势交互与电脑AI进行“拍手对决”，双方的初始生命值为3点，生命值降低为0的一方输掉游戏。具体规则如表2所示。考虑到玩家动作错误或手势识别失败的情况，增加一种无效状态，作为游戏针对玩家失误的负反馈。以上共包含7种状态。AI不会出现无效状态，共有6种手势。

对手势动作的拓展，以及生命值、能量值的数值定义，大大丰富了游戏的可玩性。特殊攻击造成的伤害为2点，但消耗的能量为3点，成本略显高昂；但它只能被特殊防御无效化，且能压制更弱的攻击。这样的权衡以及对AI决策的推断，都需要在短暂的拍手环节内决定，在快节奏中进行心理博弈。

2. AI设计：作为与玩家对战的对象，游戏AI需要足够智能，以做出合适的决策，为玩家带来挑战。这一决策过程通过决策列表来实现，每次AI会在列表中随机选取一个手势动作，作为本回合的决策结果。决策列表初始状态只有集气这一种手势，这意味着第一回合拍手结束后，AI必然会进行集气，与真人游戏时的实际情况相符。其他手势在满足特定条件时会添加进入决策列表。例如，如果AI的能量大于0，就把普通攻击1加入列表；如果玩家的能量大于0，就把普通防御加入列表。双方的能量值越多，决策列表的内容就越丰富，局势也随之扑朔迷离。通过这种方式，AI避免了不合理的决策，大大增加了游戏的可玩性。

总结

本文以童年游戏“拍手对决”为例，借助基于普通摄像头的手势交互技术，对其进行虚拟化游戏设计。首先阐述了童年游戏虚拟化以儿童游戏场景的变迁为动机、以玩家情怀为导向、以文化传播为优势的现实意义，对虚拟化实现手段——体感游戏及手势交互方法的发展进行了简单的介绍。之后，以具身认知理论为依据，提出了虚拟化童年游戏的设计框架，重点包括应用自然的手势交互、营造便利的游戏环境、对玩家记忆进行拟仿。最后，依据此框架实践了“拍手对决”游戏的虚拟化。本文以基于手势识别的体感游戏的形式对一款童年游戏进行虚拟化重制，保留了原有的交互方式和游玩体验，为传统游戏的保护与推广提供了新的思路。