APP下载

数字技术支持下的海量图像信息多云存储平台设计

2024-03-06刘文林

自动化与仪表 2024年2期
关键词:占用率多云海量

刘文林

(南昌职业大学 信息技术学院,南昌 330500)

海量图像在存储时对于服务器或者存储终端的性能需求较高,需保证海量图像存储安全的同时,降低其内存占用率[1],避免占用过多内存,影响存储终端的运行性能;同时在海量图像搜索所需图像的耗时较大[2]。常见的图像存储方法有分布式存储、边缘存储以及备份存储等,这些方法均可完成图像信息存储,但会发生图像信息分散、质量受损等情况。为保证海量图像信息的存储效果,文献[3]主要以降低海量图像存储内存占用率为核心目标,采用分形编码和LIC 混沌系统完成海量图像的压缩处理,实现海量图像的压缩存储;但是该方法在应用过程中,会降低图像质量;文献[4]主要以实现图像分类存储,提升图像存储后的搜索效率为目的,利用密度划分算法,进行图像聚类,并按照图像类别完成存储;但是该方法在应用过程中,无法解决内存占用率较大问题。数字技术指的是利用计算机等相关技术对图像、文字或者视频影像等信息进行编码、压缩等处理,同时能够完成信息的运算、加工、存储、传送或者还原等。本文为实现海量图像存储,以多云架构为支撑,并引入数字技术设计数字技术支持下的海量图像信息多云存储平台。

1 海量图像信息多云存储平台

1.1 平台总体架构

多云存储指的是整合多个内部或者外部的云存储服务组成的多云架构[5],通过该结构协同完成相关服务。本文为实现海量图像的可靠存储,文中采用多云架构为支撑,结合数字技术,设计数字技术支持下的海量图像信息多云存储平台。通过该平台解决海量图像存储内存占用过大情况,并保证图像存储安全性。该平台架构如图1 所示。平台整体分为多云存储模块和本地应用模块。

图1 基于多云架构的海量图像存储平台Fig.1 Massive image storage platform based on multi-cloud architecture

(1)多云模块:该模块利用REST 原则实现Google Cloud、Amazon S3、Microsoft Azure 等组成的多云架构。每种云服务提供的服务接口存在差异,为保证多云服务之间的协同调用效果和效率,结合各个云服务的公共API 获取一个抽象基类,所有云服务则继承这个基类,以此实现多云的协同服务,将各个网络平台中海量图像信息均迁移至多云架构中,为本地用户提供所需的图像信息;同时存储本文服务器上传的海量图像。

(2)本地应用模块:该模块在多云模块客户端的控制下,实现本地服务器和多云模块之间通信,调用多云模块中的海量图像对其进行加密和压缩处理后,在进行图像上传存储过程中,降低海量图像对云服务器或者本地服务器内存占用率,并且能够通过筛选机制,精准获取所需的图像信息。

1.2 多云模块设计

1.2.1 多云模块结构

多云模块是系统的重要模块,其主要是实现海量图像信息的存储,在存储过程中,为保证存储图像信息的存储效果和存储安全,设计多云模块结构,该模块整体包含5 个部分:客户端、第三方验证、云服务器、交互界面、私钥产生器。该模块的结构如图2 所示。

图2 多云模块结构Fig.2 Cloudy module structure

(1)客户机:该部分主要是将海量图像数据的拥有者,可将海量图像数据上传至云服务器中,也可将云服务器中的海量图像信息下载或者调用至本文服务器中。

(2)第三方验证:该部分属于一个独立可信的云服务提供,其主要作用是为海量图像存储提供数据服务或者公开验证服务,保证海量图像的存储效果。

(3)云服务器:该服务器主要是由多个用于海量图像存储服务器组成,为用户提供可靠的存储服务。

(4)交互界面:该部分作为客户机和云存储服务之间的交互界面,是呈现海量图像存储结果。客户机向交互界面下达存储请求,交互界面接受请求后,将数据分发给云服务器中;同时交互界面能够接受第三方验证服务。

(5)私钥产生器:该部分的主要作用是保证海量图像的存储安全,其是根据用户的身份标识生成对应的私钥实体,保证用户的图像存储服务。

1.2.2 海量图像多云存储均衡分流

云模块需对待存储的海量图像进行均衡分流,主要采用K 均值聚类算法计算海量图像的初始聚类中心。并完成图像信息分流阶段聚类中心的更新,以此实现海量图像的分类存储,实现去均衡分流,保证存储效率。海量图像信息具有高维特点,图像信息的特征组成的聚类中心数据为l,初始聚类中心数量为p,图像信息类别数量为L,图像信息特征和其误差方差分别为y 和F,待分流存储的海量图像信息特征集为Dj,对Dj进行均值化处理,可获取结果,此时图像信息特征类别计算公式为

已经划分至不同类别的图像信息特征集合用Th(h=1,2,…,l)表示,其聚类中心为Dh,则T={Y},如果任意2 个图像特征分别为Y 和Z,2 个特征间的欧式距离为d(Y,Z)。设定TDq={Dh},表示初始聚类中心,将海量图像特征划分至l 个聚类中心中,其计算公式为

式中:g=1,2,…,l;Dg表示第g 个聚类中心。

对聚类获取的图像特征进行迭代处理,以此生成新的数据特征聚类中心,用TDq+1表示;如果q=0,聚类中心用TD0表示;计算所有待存储图像特征聚类中心,以此完成聚类中心的更新,并采用F 作为图像分流存储的判断标准,如果F 的结果较大,则取法满足分流存储标准,则重新进行的图像特征进行迭代处理,并执行后续操作;如果满足分流存储,则获取图像的分流存储结果。

1.3 多目标数字水印技术加密

1.3.1 多目标加密数字水印技术结构

本地应用模块在进行海量图像上传存储过程中,均需保证图像的完整性,因此,应用模块均在本地服务器中设置数字水印嵌入端口,该端口主要依据数字加密技术对海量图像进行加密,该技术能够满足多目标的加密需求。该技术的整体结构如图3所示。数字水印技术在进行海量图像加密过程中,是以图像的帧数变化情况设计加密阶层数量,各个阶层均按照加密标准完成图像加密;同时在初始加密时,需设定动态加密序列,以此保证加密体系的稳定;最终采用数字水印技术生成图像加密目标。

图3 多目标加密数字水印技术结构Fig.3 Structure of multi-target encrypted digital watermarking technology

1.3.2 加密图像灰度处理

在加密过程中,密钥分为公钥和私钥,并且其加密范围存在一定局限性,因此密钥在设定时,需充分结合保护需求以双向保护加密为目标,设定加密层级;同时需保证其和初始设定的加密标准一致,以此逐步增加加密范围,保证多目标的加密效果。在加密过程中,为提升海量图像加密的稳定性,可对图像的像素值进行转换,文中主要采用图像灰度处理方法完成。在图像中选择一个位置,将该位置定义为测定的主要目标,并采用随机的方式在该位置上设定控制监测节点,将其和数字水印技术相结合,形成关联搭接,此时计算图像的灰度值,其计算公式为

式中:Y 表示图像灰度值;ω 表示分解范围;ξ 表示堆叠范围;W 表示图像重构次数;ε 表示设定的加密偏差。

将上述计算结果和数字水印技术相结合,可进一步提升图像加密的完整性。

1.4 图像无损压缩方法

图像加密完成后,为降低海量图像的内存占用率,文中采用数字技术中的数据压缩方法对海量图像进行无损压缩编码。整个压缩结构如图4 所示。

图4 海量图像无损压缩结构Fig.4 Lossless compression structure of massive images

在整个压缩过程中,需结合小波变换算法完成,通过小波变换对海量图像进行无损压缩编码,在压缩前需先完成图像分解,其计算公式为

式中:a0和b0均表示参数;m、n 均表示离散值;x 表示图像积分函数信号。

图像分解后,确定此时的二维小波,其计算公式为

式中:bx和by均表示图像的维度平移,其中x 和y 表示平移量。

对压缩后的图像信号进行空间域处理,以此保证图像的二维变换效果,利用小波点提升生成双正交波算法,以此对图像分解信号进行预测和更新,完成图像压缩。

2 测试结果与分析

以某广告企业在运营过程中需要海量图像作为实例研究对象,该企业拥有企业云UniCloud,采用该企业云完成Google Cloud、Amazon S3、Windows Azure 和百度云共4 个云服务,构建多云架构,用于实现海量图像存储。该企业共有数10 台本地服务器,本文仅选择其中的5 台作为测试使用,每台服务器内的功能软件清单以及服务器的功能参数详情如表1 所示。

表1 功能软件清单以及服务器的功能参数详情Tab.1 List of functional software and details of functional parameters of the server

为验证本文平台的海量图像均衡分流效果,以数据流标准方差作为评价指标,其主要用于衡量海量图像分流存储的稳定性,值越大表示稳定性越差。对于不同维度图像进行均衡分流存储后,数据流标准方差如图5 所示。依据图5 可知,随着存储图像的数量的不断增加,本文平台分流处理后数据流标准方差在0.27 以下,分流存储的均衡能力较好。

图5 海量图像分流存储的稳定性测试结果Fig.5 Stability test results of massive image shunt storage

为验证本文平台的海量图像多云存储效果,以内存占用率和多云服务器的负载均衡度作为评价指标,本文平台在进行不同大小图像存储时,内存占用率和负载均衡度的计算结果如图6 所示。依据图6 可知,随着存储图像大小增加,采用本文平台,图像存储内存占用率在22.6%以下,因此可显著降低海量图像存储后的内存占用率;负载均衡度均在94.1%以上,可极大程度保证海量图像存储的均衡性。

图6 海量图像多云存储效果Fig.6 Multi-cloud storage effect of massive images

为进一步验证本文平台的海量图像存储效果,文中随机选择海量图像压缩存储后,图像原始图像和存储图像结果,如图7 所示。由于篇幅有限,结果仅随机呈现一幅图像的测试结果。依据图7 测试结果可知,采用本文平台进行海量图像压缩存储后,存储压缩后的图像质量和存储前原始图像质量一致,能够保证图像质量不会发生损坏,因此,本文平台具有较好的海量图像存储能力。

图7 图像压缩存储测试结果Fig.7 Image compression and storage test results

3 结语

随着图像的不断增加,海量图像的存储成为首要解决的问题,即为在保证图像无损且内存占用率最小的情况下,实现海量图像信息存储,因此,设计数字技术支持下的海量图像信息多云存储平台,并对该平台的应用效果进行相关测试。测试结果显示,本文平台具有较好的应用性能,其能够均衡实现海量图像分流存储,并且存储效果良好,可降低海量图像存储时内存占用率,并且保证压缩存储后的图像质量。

猜你喜欢

占用率多云海量
一种傅里叶域海量数据高速谱聚类方法
向日葵·成长·礼物
海量快递垃圾正在“围城”——“绿色快递”势在必行
降低CE设备子接口占用率的研究与应用
何氏“十全大补粥”
解析交换机CPU占用率
一个图形所蕴含的“海量”巧题
基于排队论的区域路内停车最优泊位占用率研究
基于文件系统的分布式海量空间数据高效存储与组织研究
阿朗CDMA寻呼信道瘦身增效优化