PB级数据存储与管理
2016-12-08
PB级数据存储与管理
PB Petabytes of Data Storage&Management
多层存储平台让科学家能够以更高的成本效益更快、更轻松地保留、访问并充分利用宝贵数据
昆腾为欧洲主要研究机构提供PB级数据存储与管理,欧洲两家顶级研究机构正在使用昆腾StorNext工作流存储作为其管理与日俱增的数据并支持各项科研计划的基础。哥廷根大学计算机中心(GWDG)和马克斯·普朗克科学促进协会计算与IT能力中心为满足7PB数据的性能和访问要求,在一个多层解决方案中部署了支持StorNext的磁盘和磁带系统。此外,马克斯·普朗克化学研究所还转投使用昆腾端到端存储与归档解决方案,它可支持更大规模的协作并持续访问不断扩大的数据量。
为GWDG提供高性能共享访问和大规模数据归档
GWDG支持着超过40,000用户,并需要一个高性能存储系统,能够处理数十亿份文件并随着数据量每年翻一番而不断扩展,以满足数据快速增长的需求。此外,该存储平台还必须支持一个多层存储环境,其中包括能够从单一文件系统访问磁盘上的2.5PB数据和磁带上的4.5PB数据。
StorNext满足了所有这些规模、性能和访问需求。现在,它让该中心的IT团队无需雇佣额外人手或从其它项目借调人员,就能支持使用各种操作系统的用户,并管理一个庞大且不断增长的数据归档。例如,GWDG为该中心的高性能计算(HPC)集群能够以远远高于要求的速度共享访问来自StorNext环境的数据。IT团队在高性能计算节点上安装StorNext分布式局域网客户端,以便通过以太网来访问,其速度是3.2GB/秒,高于高性能计算用户所要求的2GB/秒的性能。因此,这些用户可以把大量数据迁移到集群中进行处理,并实现长期存储。
助力马克斯·普朗克化学研究实现同步数据访问和集成保护
马克斯·普朗克化学研究所探索大气中的化学反应过程以及空气、水、土壤和人之间的交互,从而生成海量原始数据。仅一个涉及巴西雨林气候变化研究的研发项目就包含多个测量设备,每天最多采集80GB的数据。这些数据随后传输到德国的数据中心进行处理,并供全球研究人员所用。
面对来自这类项目的飞涨数据,以及向多个研究人员提供同步数据访问的需求,还有无法跟上步伐的数据备份系统带来的问题,马克斯·普朗克化学研究所与领先系统集成商Microstaxx一起研究确定解决方案,并最终选择了昆腾StorNext。
如今,马克斯·普朗克化学研究所数据管理平台提供了支持多个并行数据流所需要的性能、随新项目的启动而快速轻松扩展的能力,以及有助于提高工作效率的同步数据访问。通过提供强大的性能、容量以及对各种客户端系统(其中包括Linux、UNIX、Windows和Mac)的支持,StorNext还降低了团队“获取并维护自己存储环境”的需求。
此外,该研究所还得益于StorNext所提供的集成数据保护。充分利用多层数据管理以及一个Quantum Scalar i6000磁带库,马克斯·普朗克化学研究所可在后台自动、持续保护研究数据。昆腾的Active Vault功能是能够把磁带归档到库中而不是架上,从而最大程度降低成本和磁带处理,同时提高安全性以及对归档内容的访问。与此同时,通过定期检查磁带上的数据并在检测到问题时把它复制到新磁带中,昆腾政策驱动型延长数据生命周期管理有助于防止数据丢失。