基于标签的辅助记忆与分享系统

翟书颖 李 茹 李文祥

（1.西北工业大学明德学院，陕西 西安 710124；2.西北工业大学计算机学院，陕西 西安 710129）

1 引言

记忆是人类对思维中的信息内容的储备与使用过程，对人类的工作、学习、生活有着重要的作用。传统的单纯依靠大脑的记忆方式有着易遗忘、准确程度差等种种不足，已经不能满足时代的要求，人们需要一种新的记忆手段以更方便快捷的形式来提高生活、学习和办公效率。

基于标签的辅助记忆是指将关于一件事情的具体记忆存储为多媒体文件，然后将记录的多媒体文件和自己身边的物体的标签关联存储起来。一段时间过后，如果自己忘记了这件事情，只需要扫描相关的物体标签，就可以找回表示该记忆的多媒体文件。例如，多数老年人由于一些慢性病的原因每天都需要吃药，但是经常忘记吃药的剂量种类。借助此方法，可以把医嘱、每天吃药的种类剂量等信息和老年人每天吃饭的餐桌关联，这样，当老人吃完饭后，只需要扫描餐桌标签，就可以读取出自己该吃哪种药、剂量多少的详细信息，避免了以前依靠大脑记忆经常造成的忘记吃某种药或用错剂量。

基于此，本文所介绍的方法基于移动感知（Mobile Sensing）、物联网（Internet of Things）[1-3]等技术，为辅助用户记忆提供了一种新途径。

2 相关工作

2007年，T.Kawamura等人设计了一个基于RFID和可穿戴设备的记忆扩展系统[4]。此系统通过头部的摄像头记录看到事件，然后通过RFID Reader记录物体标签，最后将记录到的内容导入穿戴计算机进行存储计算处理。在需要的时候通过RFID Reader扫描物体的RFID标签，搜索计算机，然后通过头戴式可视设备HMD显示出来。此系统设计了传统的基于物体标签的记忆辅助系统。不足之处是基于可穿戴设备推广困难。一方面可穿戴计算机、HMD等设备价格高昂，在普通用户之中完全没有推广开来，另一方面用户不可能随身携带HMD、Wearable camera、Wearable computer等如此巨大庞杂的设备。

现在智能手机的计算能力越来越高，完全可以胜任以前穿戴计算机才能完成的计算任务，越来越多的诸如摄像头、重力感应器、蓝牙、w ifi模块等设备也完美地集成到了智能手机上。并且普通用户早已习惯了随身携带手机，使得该系统更容易推广使用。在此基础上，郭斌等人首次提出“记忆计算”概念[5]，通过移动及可穿戴用户设备来实现对用户记忆的捕捉、处理与挖掘。

3 系统框架与实现

本软件功能模块分为两部分：Client端和Server端。Client端主要负责完成记忆、回想记忆等功能。Server为Client提供分享功能。软件设计模式采用经典的MVC模式，以实现软件的低耦合性、高重用性和可适用性。

总体设计如图：

图1 系统整体架构图

3.1 手机Client端设计

Client端主要包括记录记忆事件、浏览查看记忆和搜索记忆等功能。

界面显示模块：用来显示包括主界面、记忆界面、记忆事件查看、浏览本地记录、通过物体标签搜索记忆和分享网络记忆事件。其中记忆事件查看界面可作为本地记录和网络记忆的共同界面。

音视频记录模块：对Android原始的拍照、录音、录制视频API进行包装，提供更简单的接口以供使用。二维码识别模块：利用手机摄像头完成二维码的识别。信息持久化模块：抽象出记忆事件作为类，提供增加、查询、删除、修改接口。以本地文件系统作为存储实现。

文件系统操作工具模块：对Android文件系统提供包装，以更简单的接口提供给外部使用。

网络接口模块：提供和Server交互的接口。

3.2 Server端共享设计

存储模块：由于需要存储大量的多媒体文件，数据量会很大，而且文件大小不一，传统的数据库不适宜存储巨大的多媒体文件，因此将媒体数据通过普通的文件系统存储。

查询模块：通过传入二维码ID，查询所有的映射关系，返回所有对应的对象。如果需要查看具体的多媒体文件，可下载多媒体文件查看。

上传模块：通过传入记忆标签ID、发生时间和文件列表，创建对象，上传文件列表中的所有文件，持久化此对象。

添加评论模块：将传入记忆标签ID和发生时间作为Key，以及添加新的评论，更新相应的对象。

3.3 记忆共享功能实现

在手机客户端上传自己的记忆之后，其他人就可以通过扫描二维码下载他上传的这份记忆信息。此部功能分包括上传、扫描二维码下载和对记忆事件进行评论。在实现记忆的分享中，采用Socket通信的TCP协议作为底层协议，在应用层自定义了数据包的格式并实现了格式解析器。通过在数据包头部加整形数字标示不同的数据包。

上传信息：Client端上传记忆信息和这份记忆包括的多媒体文件到Server端。当Server正常接收数据结束，发给Client上传成功标志。

查找信息：Client端向Server发出二维码标签。Server经过查找，返回和此二维码匹配的记忆事件。

下载文件：Client需要查看一个记忆事件中的多媒体文件时，发送此记忆事件和文件名，Server在收到之后，查找文件，并将文件传送给Client。

增加评论：当Client需要对一个分享的事件进行评论时，上传唯一标记此记忆事件的二维码标签和时间，和自己添加的评论内容。Server在成功添加评论之后返回Client成功标志。

在Server端，采用线程池来实现同时服务多个客户端。完整的记忆分享结果如图2。

图2 记忆分享网络

4 测试验证

4.1 测试设计

4.1.1 基准性能测试

（1）兼容性测试

本软件运行在Android平台上，而Android平台的开放性导致有了各厂商深度定制的Android分支，因此需要测试软件对各个Android平台的兼容性。

（2）软件的易用性测试

软件的易用性越来越重要，在手持设备上更是如此，没有用户会仔细看程序使用说明文档。

本软件的易用性通过从西北工业大学本科生中募集的8个测试对象，通过5分制统计得出软件的易用性结果。

（3）软件的电池消耗

手机的屏幕显示，CPU能耗越来越高，但是相对应的手机电池容量并没有很大的提高，Android手机更是如此，因此需要测试软件的电量消耗。

本软件的电量消耗主要在记录视频、音频、照相部分，因此统计不同的上述部分使用频率下的电量消耗。

4.1.2 通过二维码标签记忆和传统记忆的比较

记忆通过两点来比较：（1）回忆起此次记忆需要的时间；（2）回忆起来的记忆准确性。比较二维码标签和人的大脑记忆，以及将一个事件通过音视频记录下来，通过电脑浏览查找这三种方法。

记录的事件数目10件，以7天为期，测试8名测试对象回忆起来的时间和准确程度。

4.2 测试结果及分析

4.2.1 基准性能测试结果

（1）软件兼容性测试结果

通过魅族M 9(Android 2.2）、Motorola ME525(Android定制M IUI系统)。魅族是知名的国产手机品牌，Motorola ME525在推出之后立刻成为Motorola手机产品中的销量第一，M IUI系统是很多人Android刷机的首选，这两款手机较好地覆盖了现在的Android市场系统。通过测试这两款Android系统，软件完全兼容。

（2）软件的易用性测试结果

图3 软件易用性测试结果图

由测试结果图3可看出本软件的易用性比较好，平均易用性评价得分为3.95分。

（3）软件的电池消耗测试结果

表1 软件的电池消耗测试结果表

通过表1可看出，在使用视频音频记录记忆时，有较大的电量消耗。

4.2.2 二维码标签记忆和传统记忆的比较

通过记忆常见的学习、生活和工作中的事件比较准确性和时间，记忆数据设计如表2。学习类包括单词、历史时间和文章内容三项。生活类包括做菜菜谱、公交路线、超市购物清单和朋友生日。工作类包括回忆内容、工作计划和部门划分。

表2 记忆事件清单表

测试结果如图4和5所示：

图4 准确程度比较图

图5 查找时间比较图

由图4可看出，二维码标签记忆和文件存储有较好的准确程度。由图5可看出，人回忆和二维码标签搜索需要的时间更少。综合考虑，二维码标签搜索比传统的人大脑记忆和文件存储具有更好的准确程度和更少的搜索时间。

5 总结

本文以结合物体标签和Android平台，在分析和借鉴已有研究成果的基础上，重点研究了基于物体标签的记忆辅助和分享应用设计，并完成了基于物体二维码标签的辅助记忆及分享系统的开发。该系统旨在通过物体标签的方式帮助人们提高日常记忆的准确性和高效性，还可以通过网络分享自己的记忆给所有人。针对开发的软件做了详尽的兼容性、易用性、电量消耗测试，并进行了通过物体标签记忆和传统记忆的准确性和回忆时间对比。