基于生物启发信息技术的智慧图书馆移动视觉搜索研究

李 默（山东科技大学图书馆）

1 引言

随着大数据时代的到来，智慧图书馆的数据信息资源不仅数量越来越庞大，而且载体类型也日益繁多，既有传统的文本式数据，也越来越多地增加了图像、视频、3D 模型等多种类型的视觉信息资源，传统的文本搜索方式已经不适用于视觉资源的检索利用。移动视觉搜索（Mobile Visual Search, MVS）技术的出现满足了读者快速准确地获取视觉信息资源的需求，它是以移动智能终端获取的视觉资源作为检索对象，通过移动互联网检索视觉资源知识库，最终得到读者感兴趣的关联知识信息［1］。可以预见，信息技术的不断发展将使MVS 的信息分析、提取和检索方法更具优势，更能契合读者对多种类型信息资源的检索需求。

然而，移动智能终端设备的快速扩大以及万物智联时代所带来的海量数据处理需求，致使MVS 的进一步发展需要更可靠、更强大、更迅捷的数据存储及智能处理能力。自第三次技术革命开始以来，信息技术一直是各行业、各领域不断进步的推进器，但经过几十年的高速发展，电子器件结构并没有出现重大变革，只是提高和改善了电子器件的加工精度和材料特性。信息技术的长期发展需要寻找新的技术突破口，而生物体经过几十亿年的进化及演化，形成了纷繁复杂又完美高效的组织结构，为人类的科技创新提供了取之不尽用之不竭的知识源泉［2］。以控制论为基础，仿生学应运而生，它是一门有效应用生物功能并在工程上实现的学科，是连接生物与技术的桥梁。仿生学的研究范围很广，主要包括力学仿生、化学仿生和神经仿生等，其中化学仿生主要研究与模仿生物体中化合物合成以及能量转换过程，神经仿生则研究与模拟生物体中的信息处理过程。近年来，仿生学的研究得到迅速发展，在信息、控制、医学、建筑、机械等多个领域取得了大量成果，也为MVS 的研究带来了新的机遇和解决方案。综上所述，为了满足MVS 海量数据存储以及数据智能处理的需求，本文将基于生物启发的信息技术应用于智慧图书馆MVS 中，构建一个以化学仿生（DNA 数据存储技术）和神经仿生（神经形态计算技术）为核心的MVS 服务体系框架，以促进智慧图书馆MVS 的实现和发展。

2 相关研究

2.1 智慧图书馆MVS

智慧图书馆是图书馆发展的高级阶段，它利用智能信息技术来实现图书馆的智慧化管理，能够为读者提供全天候、泛在化、多形式及个性化的服务。绿色节能、便利高效、全面感知、立体互联、以人为本是智慧图书馆的主要特征，而智慧图书馆MVS 则以满足读者日益增长的多种类型信息资源检索需求为主要目标。自David 等在2009 年举办的首届MVS 研讨会上提出MVS 概念以来［3］，国内外学者从不同视角开展了MVS 的相关研究，内容包括MVS 的内涵、研究方法、相关技术、应用实践等，其中MVS 在图书馆中的应用研究吸引了许多学者的关注，并取得了一些研究成果。

Zhu 等研究了MVS 在数字图书馆中的作用机制和应用模式，设计了包括资源构建、资源组织、人机交互、服务模式及实际应用5 个组成部分的数字图书馆MVS 体系结构［4］。张兴旺等对数字图书馆MVS 的基本流程、服务模式、服务框架进行了研究［5］，提出了一种领域导向的、自适应的、可演化的数字图书馆MVS 引擎［6］。齐云飞、刘木林、韩玺等研究了关联数据在数字图书馆MVS 系统中的应用［7］，构建了基于关联数据的数字图书馆MVS 框架和基于语义关联的数字图书馆MVS 资源多维度聚合模型［8-9］，并利用众包的理念和方法来获取数字图书馆MVS 资源［10］，还对基于MVS 的图书馆、档案馆、博物馆资源融合服务模式进行了研究［11］。曾子明等则对智慧图书馆MVS 相关技术与方法开展了一系列研究，构建了智慧图书馆MVS 服务模型及其技术框架［12］，提出了基于SoLoMo 的智慧图书馆MVS服务模式［13］，并将情境计算应用于MVS 服务中，设计了融合情境的智慧图书馆MVS 服务模型［14］，搭建了基于用户画像的智慧图书馆个性化 MVS 及推荐服务模型［15］。上述研究拓展了MVS 技术在图书馆的应用实践，但研究内容主要集中于视觉资源组织管理和图书馆MVS 服务模型创新，较少涉及如何更好地存储视觉信息资源和提高视觉资源检索效率问题。

2.2 DNA 数据存储技术

云计算、大数据、物联网以及人工智能等信息技术的不断发展，使得信息数据存储量正在无限制地扩展和增加，国际数据公司IDC 预计到2025 年全球数据量将达到163ZB（1ZB=10244GB），数据量的快速增长将很快超过现有存储器件容量的承受能力。另一方面，当前广泛使用的硬盘、蓝光、闪存等传统数据存储介质在使用过程中会产生巨大的生产维护能耗，而且还存在存储期限短、占用空间大、数据易丢失等缺点，因此亟须寻找一种新的数据存储介质。脱氧核糖核酸（DNA）作为一种天然的优良存储介质，具有高存储密度、低能耗、易复制以及安全稳定等优点［16］，以DNA 分子为存储介质的研究及其应用得到了越来越多科学家的关注，DNA 数据存储技术逐渐成为全球的研究热点，它是生物技术和信息技术共同发展的结果。

DNA 数据存储技术利用人工合成的DNA 生物大分子作为介质，由A、T、C、G 四种核酸碱基对应二进制数据进行编码，将文档、图片、声音和视频等信息转化为相应的DNA 序列进行存储和读取，其流程主要包括编码、合成、存储、检索、测序、解码6 个步骤［17］。使用DNA进行数据存储的理念最早可追溯到1964 年Wiener［18］和 Neiman［19］提出的基因记忆概念。1988 年Davis 首次将一幅35bit 的黑白图像成功编码至DNA 中，实验性地证明了DNA 数据存储概念的可行性［20］。1999 年 Clelland 等成功恢复了隐藏在DNA 序列中的字符信息［21］。2012 年Church 等利用DNA 分子实现了650KB 的数据存储［22］，使得DNA 数据存储真正成为可能；随后Erlich 等提出可在1g 的DNA 分子内存储215PB（1PB=10243GB）的信息［23］。陈为刚等合成了数据量为3MB 的音视频文件，并实现了面向DNA介质的高密度存储［24］。而随着DNA 合成技术和DNA 测序技术的进步和完善，DNA 数据存储正逐步推出商业服务，微软公司在2016 年将200MB存入DNA 后［25］，已计划建立DNA 数据存储系统，实现云数据在DNA 中的存储。另外，还有许多学者对DNA 数据库的设计及构建技术进行了研究，2002 年Reif 等提出了一种基于数据块的DNA 存储结构，并构建了一个规模为127 的DNA数据库［26］；Yamamoto 等则提出了一种基于嵌套PCR 的存储方式，建立了一个存储容量为16.8MB的数据库［27］；2018 年Stewart 等设计了一种基于关联搜索的图像DNA 存储数据库［28］。

DNA 数据存储技术主要适用于存储期限较长、数据量增长较快、存储环境比较稳定的场景，可广泛应用于图书馆、档案馆、博物馆、影视公司等多类型信息长期存储机构，也适用于MVS中海量数据的存储与传递，因此在智慧图书馆中MVS 有巨大的应用前景。

2.3 神经形态计算技术

未来信息技术的发展需要实时访问和利用大量的数据和信息，当前主要是依靠计算机的信息处理能力来完成的，但随着需求的急剧增长，计算机的功率、速度和规模正在成为信息技术进步的障碍。而生物神经科学的发展促使人们对人脑的认识逐步加深，越来越多的科学家认为人脑的信息处理能力远超标准计算机，使得神经形态计算技术逐渐成为人们关注的焦点，其设计思想就是模拟人脑的组织结构和信息处理方式，使计算机能像大脑一样具有感知、适应和学习能力，并在降低计算功耗的同时加快响应速度。

生物神经科学研究发现大脑的所有活动都是由神经元之间的脉冲信号驱动的，而现有计算机的计算都是时钟驱动的，神经形态计算与现有的冯·诺依曼计算机体系结构完全不同，从而引发了包括脉冲神经网络、突触器件、存算一体、类脑芯片等多个方面的研究。1997 年，Maass 提出了基于脉冲神经元的第三代神经网络——脉冲神经网络 （Spiking Neural Network, SNN）［29］。SNN把脉冲神经元作为神经网络的基本计算单元，并以计算效率高、编码机制多样、事件驱动、具有时空领域神经元动力学特性等优势引起了学者关注［30］，其主要由神经元模型、突触脉冲时间依赖可塑性（STDP）理论［31］、神经元脉冲编码方式以及神经网络拓扑结构等要素组成。而在生物神经系统中突触连接了不同神经元，人工突触的研究主要是将纳米材料加工为纳米器件，使得纳米器件在光电作用下表现出类似于突触的生物行为［32］，再将多个上述突触模拟器件组网形成神经网络，从而实现神经形态计算。存算一体是模仿人脑存储和计算在同一位置完成的特点将存储和计算合为一体，纳米忆阻器的出现使存算一体成为可能［33］。纳米忆阻器是一种有记忆功能的非线性电阻，它能保持过去的历史电导状态，并在新输入电流的作用下逐渐被调制到新的状态，其被广泛应用于神经元构建、非易失性存储等方面，是硬件实现神经网络突触的最好方式。类脑芯片是神经形态计算在硬件层面的尝试，它既保留了成熟的数字设计技术，又具有神经形态计算的特征，近年来已经有多款类脑芯片出现，比较著名的有 IBM 的 TrueNorth［34］、Intel 的 Loihi［35］、高通的Zeroth 和清华大学的天机芯［36］等芯片。类脑芯片虽然本质上还是数字设计电路，但由于包含了神经计算核，从而在逻辑层面上能够实现神经形态计算。

神经形态计算是一种更加高效、快速的计算架构，基于神经形态计算技术的图像传感器能够同时获取并分析图像，达到感测与计算相结合，在MVS 领域能够大大降低图像识别、分类、检索的计算时间和功耗需求，实现极其快速的MVS 图像处理，为MVS 图像判读开辟了一个全新的方向。

3 生物启发信息技术在智慧图书馆MVS 中的应用可行性及优势分析

当前智慧图书馆MVS 实践应用中主要面临两大问题：一是要应对海量、多源异构MVS 资源的数字化存储需求，为提供全面优质的MVS 服务打下数据基础；二是要对MVS 海量数据进行实时处理和高效分析，降低MVS 响应时延和数据计算功耗，为智慧图书馆MVS 奠定计算基础。为此，将DNA 数据存储和神经形态计算融合进智慧图书馆MVS 服务中，可以促进未来MVS 研究和实践的良性发展。

3.1 满足MVS 数据存储需求

在智慧图书馆MVS 数据采集过程中，视觉资源数据的增长速度极快，导致数据存储空间需求不断增大，存储复杂度不断提高。而DNA 数字信息存储密度极高，DNA 分子单位质量的数字信息存储潜力是传统基于半导体和电磁存储手段存储潜力的4,200 亿倍，理论上1000gDNA 分子就能够满足2,040 年时的全球信息存储需求。另一方面，DNA 数字信息存储寿命极长，作为自然界最稳定的生物分子之一，DNA 分子在自然状态下的信息降解速度极慢，在适宜环境下的数据存储寿命可达几百到几千年，大大优于传统存储介质几十年的存储寿命。此外，DNA 分子还具有易于复制的优势，使用聚合酶链式反应（PCR）技术可实现短时间内低成本地复制大量数据，能大大提高MVS 海量数据的更新维护效率，而且DNA 杂交及反应过程还可用于对MVS 视觉信息资源执行相似性搜索。综上所述，DNA 数据存储以其信息存储密度极高、存储寿命极长、安全可靠、数据易复制等特点为MVS 海量视觉信息资源提供了新的存储方式，很好地满足了MVS 应用平台和实践空间快速发展的数字保存需求。

3.2 提升MVS 服务计算能力

智慧图书馆MVS 服务具有基础数据量大、实时性要求高、本地化需求强的特征，对底层设备的计算能力提出了极高的要求，虽然过去几十年中计算机的性能得到了极大的提高，但随着时间的推移，MVS 平台数据量和计算需求呈指数增长，现有设备的计算能力将无法满足日益增长的MVS 计算需求。神经形态计算作为新型的计算方式，可以解决MVS 平台面临的困境，为MVS 用户提供更加先进的智能服务。如，基于神经网络的图像分类算法在MVS 视觉资源分类任务上表现优异，但传统神经网络存在特征学习能力不强、过拟合和高功耗等缺点，而基于脉冲神经网络的图像分类算法可以实现MVS 在低功耗环境下的视觉资源分类。另外，神经形态计算还为MVS 探索不同的训练和学习算法提供了计算支撑，类似于GPU 对于深度神经网络的影响，类脑芯片对提高脉冲神经网络的性能也会产生积极的影响，实现MVS 训练和学习方法的快速模拟，提高MVS 服务应用的开发速度。而神经形态计算的存算一体特性能将计算嵌入存储单元中，在存储和读取数据的同时完成计算，减少了MVS 数据计算过程中的时间和带宽耗费，可以大大提升MVS 服务请求的响应速度，满足MVS 用户快速高效获取视觉资源的需求。

3.3 缓解MVS 平台异构问题

从资源、服务、网络、计算等多个方面来看，智慧图书馆MVS 平台存在着数据异构、服务异构、网络异构、计算异构等多种类型的异构问题，如何消除或缓解MVS 平台异构问题是智慧图书馆能否有效推进MVS 服务的关键。首先，MVS 视觉资源具有多类型和非结构化的特点，包括大量的图像、文本、视频、3D 模型等异构数据，数据异构是MVS 进行数据整理、存储、分析、管理、检索的难点和重点，而基于DNA 存储技术建立的MVS 数据库可对异构数据进行重构，实现视觉资源数据的归一化。其次，随着MVS 服务多样化和用户个性化的发展趋势，MVS 平台需要具备并行处理多个复杂检索请求的能力，并将检索结果在移动终端、PC 机、物联网等多种设备上以多维度方式进行展示。另外，网络技术的飞速发展产生了异构网络，它由多种网络接入技术组成，可提供多种接入方式并支持MVS 终端无缝移动，而随着MVS 用户数的不断增加，必然会带来MVS 异构网络接入环境的高动态性，需要建立多模自适应的MVS 网络接入选择机制，保证MVS 用户终端始终接入到最适合的网络进行视觉资源检索。因此，针对上述MVS 不同计算任务之间存在的并行性需求，可以构建基于神经形态计算的异构计算架构，兼顾计算任务兼容性和强大并行计算能力，使MVS 并行计算任务类型与计算芯片类型相匹配，为缓解MVS 平台异构问题提供解决方案。

4 基于生物启发信息技术的智慧图书馆MVS 体系架构

针对智慧图书馆MVS 的特点和需求，本文将DNA 数据存储和神经形态计算融入MVS 服务体系中，构建了基于生物启发信息技术的智慧图书馆MVS 体系架构（见图1），该体系架构主要由资源采集层、数据处理层、MVS 业务层、用户交互层四个层次组成。

图1 基于生物启发信息技术的智慧图书馆MVS 体系架构

4.1 资源采集层

资源采集层通过不同渠道和途径获取多源异构视觉资源数据，数据获取方法主要采用网络开放存取、数据库接口和用户行为分析三种方式。在智慧图书馆MVS 系统中，网络开放存取方式采集的数据不仅包括网络免费学术文献资料，还包括使用网络爬虫技术或与其他机构合作得到的视觉资源数据，如流媒体数据、电子图书、在线书评等。数据库接口是指以API 数据接口形式从第三方平台数据库得到的数据，主要通过授权许可或购买的方式收割到本系统数据库中，包括馆藏数据、书目数据、流通数据、读者数据、网站数据等。用户行为分析主要是获得MVS 用户的活动轨迹数据以及与系统交互产生的数据，活动轨迹数据包括用户无线网络访问数据、空间移动数据、定位导航数据、活动参与数据等，交互数据则是用户在与MVS 系统交互过程中产生的各种过程和结果数据，如视觉资源访问数据、MVS 检索日志、用户社区交流数据等。以上几种资源采集方式获得的数据包括图片、视频、音频、3D 模型、文本等多种类型，而根据不同数据类型的特点，视觉资源采集方式也应有所不同，其中网络开放存取可根据需要定期采集所需数据，数据库接口和用户行为分析则应尽量采用实时采集的方法，为后续的数据分析打下基础。

4.2 数据处理层

采集大规模的视觉资源数据后，首先需要对所采集的异构视觉资源数据进行预处理，包括数据清洗、数据转换、数据集成和数据规约等步骤方法。数据清洗主要是处理视觉数据的各种异常情况，通过填充遗漏数据、识别清除异常数据、光滑噪声数据等操作实现数据格式的标准化，清洗掉错误数据和重复数据。在数据转换阶段，通过平滑聚集、数据规范化、数据概化等方式实现视觉数据归一化。数据集成则是将多个数据源中的数据结合起来，增大样本数据量，建立视觉资源数据仓库。数据归约可以得到视觉数据集的归约表示，目的是减少数据量、删除冗余信息、降低数据维度，最终降低视觉数据分析所需的计算时间。异构数据预处理是数据存储的重要前提，因此需要制定统一的数据预处理标准，为后续的DNA 数据存储和数据分析做准备。

视觉数据经过预处理后，需要借助DNA 数据存储技术存储视觉资源大数据。DNA 数据存储流程主要包括数据编码写入、数据保存和数据解码读取三个部分。其中，数据编码写入又分为DNA编码和DNA 合成两个步骤，DNA 编码是利用计算机算法将需要存储的视觉资源信息映射成DNA碱基序列，对于不同的视觉资源类型应采用不同的DNA 编码算法，在加入一些冗余信息后，将DNA 编码序列转化为DNA 碱基序列，然后通过DNA 合成将DNA 碱基序列逐个连接形成DNA链，由于视觉资源信息量非常庞大，需要合成大量的DNA 碱基序列，可以采用基于阵列的合成方法并行合成大量DNA 序列。数据保存则是选择合适的载体将合成的DNA 序列进行存储并形成DNA 样本库，然后基于这些DNA 样本库构建一个大型的视觉资源数据存储系统。数据解码读取的关键技术是解码技术，它是DNA 编码的逆过程，当接收到数据读取请求后，首先对相应的DNA 样本库进行物理检索和采样，而为了实现DNA 数据存储中的随机存取，解码前需要先进行PCR 复制，扩增得到多个DNA 片段副本，然后对DNA 副本进行测序，产生一组DNA 碱基序列，再经过纠错、去冗余、解码，最终这些DNA 碱基序列被翻译成真实的视觉资源数据。

在DNA 数据存储的基础上，采用多种数据挖掘和分析技术对视觉数据进行分析建模，以支持MVS 业务层检索服务的开展。如可通过数据挖掘、机器学习、自然语言处理等大数据和人工智能技术对视觉数据间的语义关系进行标注，建立各种类型视觉数据间的语义联系，并构建基于视觉大数据的数据分析模型和基于用户画像的用户模型。数据分析与建模是实现精确化MVS 服务的数据基础，并为图书馆用户提供个性化的MVS 服务提供支持。

4.3 MVS 业务层

MVS 业务层基于数据处理层提供的视觉数据信息，采用相应的MVS 技术为用户提供与其查询意图相符的检索结果，它是智慧图书馆MVS系统的关键和核心。根据MVS 业务逻辑，将MVS 业务层划分为MVS 需求处理、MVS 任务执行与MVS 服务组合三个模块。MVS 需求处理模块主要负责为MVS 检索系统做好数据准备工作，包括检索视觉对象ROI 检测、视觉资源特征提取、文本资源语义分析以及用户当前情景信息计算。其中，ROI 检测是检索视觉对象处理的重要环节，其主要包括三个功能步骤：首先是检索视觉对象预处理功能，通过滤波器增强检索视觉对象对比度，提高检索视觉对象中目标像素的显著性；然后是ROI 提取功能，利用特征修订算法使提取的ROI 与背景干扰物有效分离，并采用增量计算提高ROI 提取效率；最后对ROI 进行下游处理，基于目标空间对称特性和时序变化特性设计过滤器，滤除掉虚假ROI。特征提取则采用基于脉冲神经网络的分类算法来处理视觉资源数据，而且对于不同类型的视觉资源数据需要采用不同的特征提取方式。语义分析主要是对视觉资源数据中的文本信息进行处理，利用神经形态计算算法得到文本信息的语义向量表示，并且通过采用不同的学习算法捕捉到更加全面的文本语义信息。情境计算用于计算识别用户的情境语义信息，通过融合隐情境表示和清晰情境信息构建用户情境模型，基于情境模型可以计算得到用户情境特征向量。

MVS 任务执行模块则根据MVS 需求处理模块提供的信息，采用神经形态计算算法和技术来提高MVS 计算的响应速度，生成符合用户查询意图的检索结果，其主要由关联分析、一致性检验、相似度计算、资源匹配几个功能组成。关联分析是在视觉数据资源特征提取和语义分析的基础上，对视觉资源和文本资源进行语义关联，实现MVS的资源信息快速定位。从MVS 需求处理模块会得到用户情境信息的分布式特征向量表示和基于用户ROI 加权处理的检索视觉对象特征向量表示，而用户情境特征向量和视觉资源特征向量都要先进行几何一致性检验，然后才能作为视觉资源检索的数据依据。视觉资源相似度则通过计算检索视觉对象与在库视觉资源特征之间的距离得到，先将用户情境特征向量和检索视觉对象特征向量合为一个定长向量，再计算此定长向量与在库视觉资源特征向量之间的余弦距离，得到的值即为视觉资源相似度。资源匹配根据相似度计算结果得到相似视觉资源，首先设定一个视觉资源相似匹配度阈值，其次对超过匹配度阈值的在库视觉资源进行语义关联匹配，最后得到包含多种数据类型的关联视觉资源。

MVS 服务组合模块是在MVS 任务执行基础之上确立相应的服务组合，完成最终的视觉检索功能，并为用户交互层提供服务与应用接口，主要实现检索优化、结果排序、多模态输出等功能。检索优化采用神经形态计算算法来提升MVS 效率，先为每个MVS 请求分别建立对应的多个线程，然后各个线程将该MVS 请求下的视觉数据写入到对应的存储文件中，再利用神经形态计算存算一体的特性在读取存储信息的同时执行MVS 操作，利用多线程并行执行和多存储信息并行读取的方式提高检索效率。结果排序是在完成基于神经形态计算的视觉资源相似度计算之后，对检索得到的目标视觉资源按照相似度进行降序排列，将相似度较高的视觉资源作为检索结果推送给用户。多模态输出将检索结果表示成不同形态的数据格式，利用文本、图像、音频、视频等多种数据格式描述检索结果，在MVS 系统中采用基于脉冲神经网络的机器学习算法对多模态视觉数据进行综合处理，生成一段对多模态视觉数据综合之后的文本摘要。

4.4 用户服务层

在MVS 业务层完成检索任务后，用户服务层就可以调用相应的功能模块，为用户提供智慧化和个性化的服务。智慧图书馆MVS 系统主要提供移动服务和应用，因此用户需要通过无线网络环境与MVS 系统进行交互，而随着无线网络（5G、6G、Wi-Fi、RFID、蓝牙等） 的飞速发展，MVS系统面向用户密集终端，需要具有大吞吐量、广连接和实时处理海量视觉数据的网络通信能力。异构无线网络环境优化模块主要功能是使用户设备能够选择正确的网络，并对多种频谱接入、多种接入网络和多种新兴技术构成的异构无线网络通信效率进行优化，将神经形态计算技术应用于异构无线网络优化模块，可以实现通信计算一体化，构建感知、通信与计算三位一体的新型无线网络环境，解决MVS 系统无线通信的信道估计、资源分配、信号处理和收发器设计等问题，大大降低异构无线网络选择复杂度。

用户MVS 服务模块使用户可以在移动终端实现MVS 管理、服务、利用等个性化功能的切换，建立用户与MVS 系统之间联系的桥梁，其主要包括个性化界面、社区交流、评价反馈等功能。个性化界面使用户可以按个人需求定制MVS 界面风格和布局，并根据用户情境特征推送检索结果展示界面，另外还提供个人信息管理、视觉资源标注、主题导航、自定义检索推理规则等功能。社区交流是用户在MVS 系统中的知识交流平台，特别是当用户没有检索到需要的视觉资源时，可以在线求助其他用户，也可以和社区中的领域专家进行沟通，实现社区内视觉资源的共用共享。评价反馈用于收集用户评价信息，根据用户反馈信息得到用户特征的隐表示，然后结合用户的个人信息和情境信息，不断完善用户个性化需求模型，为MVS 个性化推荐提供数据支持。

MVS 系统服务模块的功能是将检索到的视觉资源提供给用户浏览，使用户能实时获取感兴趣的视觉资源，主要包括可视化展示、智能推荐、沉浸式导览等功能。可视化展示是对检索结果多模态输出后进行的多方面立体展示，并建立各模态视觉资源之间的关联关系，用户还可以通过与MVS 系统交互的方式浏览各种视觉资源信息。智能推荐是在检索结果排序的基础上，结合用户检索行为信息和情境信息向用户推送个性化视觉资源，并能根据用户的评价反馈和社区交流信息分析用户需求偏好，主动推荐用户可能感兴趣但没有浏览过的不同类型视觉资源信息。沉浸式导览利用专门设备（头盔、眼镜、曲面屏、投影仪等）为用户提供虚拟环境体验，通过检测用户情境信息的变化为用户展示当前视觉关注物体的关联信息，如3D 模型、相关视频和音频、文本描述等，达到用户身临其境了解MVS 目标信息的目的。

5 基于生物启发信息技术的智慧图书馆MVS 研究展望

大数据和信息技术的发展使得MVS 用户的需求不断提升，而基于生物启发信息技术的出现为MVS 研究和应用开辟了新的道路。其中，DNA 数据存储技术为MVS 存储空间和存储时间问题提供了新的解决方案，神经形态计算技术则在降低MVS 计算能耗的同时提升了MVS 计算能力。虽然当前国内外学者在相关技术领域已经取得了一些研究成果，但DNA 数据存储和神经形态计算在智慧图书馆MVS 系统中的应用仍处于初始阶段，还需要解决以下几个方面的问题。

5.1 DNA 数据存储在MVS 应用中面临的挑战及发展趋势

从DNA 数据存储过程来看，编码技术是DNA 数据存储的核心问题，研究高效鲁棒的编码理论和方案将有望提高现有DNA 存储技术的存储密度，减少DNA 存储合成、PCR 扩增及测序过程中的信息冗余及误差。另外，目前DNA 合成及测序技术成本还太高，用DNA 存储1TB 数据的成本比磁盘高7—8 个数量级，但在智慧图书馆MVS 系统中，海量视觉资源数据可通过使用更大的合成基质和更大的DNA 批次来消减成本，同时研究新的合成和测序技术可以为DNA 数据存储在MVS 中的应用奠定更坚实的技术基础。最后，数据存入DNA 以及从DNA 中读取数据都需要花费时间，并且碱基序列越长则耗费时间越多，而在MVS 系统中DNA 数据存储技术需要具有数据随机访问和内容重写功能，当前使用PCR 扩增技术能够加快DNA 数据读取速度，但与磁介质存储读取速度相比仍有差距，因此对基于DNA 层次上的信息检索和数据随机访问技术需要进一步的研究。

5.2 神经形态计算在MVS 应用中面临的挑战及发展趋势

以神经形态计算为主导的类脑芯片计算能力仍有待提高，需要进一步研究与类脑芯片相适配的模型、架构和算法，通过发展脉冲神经网络计算模型，增强类脑芯片神经形态计算模块的任务处理能力，提升它在MVS 系统中的计算通用性。另一方面，目前使用的神经形态器件性能大多不太稳定，其工艺成本也过高，需要寻找高性价比的、低压低功耗的并与生物神经类似的神经元器件替代材料，近来有学者提出采用纳米尺度的低功耗神经形态器件［37］，在降低能耗的同时能够实现存算一体的神经形态计算数据处理过程。再者，生物神经信息处理过程中的复杂作用机制（如目标识别、记忆存取、动作控制等）还未融入神经形态计算体系的研究中，需要设计出更加灵活有效的神经网络结构，提高神经形态计算体系中不同计算单元之间的信息协同处理能力，实现MVS 系统的自适应决策执行。

5.3 智慧图书馆MVS 系统中异构无线网络发展趋势

为了提供高质量的MVS 无线接入服务，需要开发新的网络架构以适应各种情境下用户的MVS服务需求，空天地一体化网络可以把路基网络、空基网络和天基网络连接成一个立体化的无线网络全覆盖空间，为MVS 中大规模密集连接用户提供全天候、无缝式网络服务，但如何组建有效协同的空天地协同传输机制还需重点研究。MVS 服务和应用的发展，必然会产生海量的视觉资源数据，而独立地为每个用户设备分配无线资源会大大增加无线网络负担以及消耗过多通信资源，因此有必要利用通信与计算融合技术来提高无线网络效率，已有研究表明人工智能技术可以优化无线网络通信，但关于MVS 系统中异构无线网络的智能化通信与计算融合框架的研究还有待深入。

6 结束语

随着MVS 的快速发展和用户需求的不断提升，智慧图书馆MVS 系统面临着视觉资源大数据存储与用户快速获取感兴趣视觉资源数据的技术难题，而基于生物启发的信息技术为MVS 的发展开辟了新的道路，是未来MVS 研究不断深入的重要驱动力。其中，DNA 数据存储技术可以解决困扰MVS 海量视觉资源存储的存储空间与存储时间问题，神经形态计算则大幅提高了MVS 在海量视觉数据处理上的计算能力与反应速度，降低了网络通信和计算能耗。当前，虽然国内外学者和研究机构已经取得了一些研究成果，但是关于DNA数据存储和神经形态计算的研究在总体上还处于初始阶段，它在MVS 领域的应用研究还有大量的技术问题需要突破。