基因组数据的存储、保护和访问

英格兰基因组学有一个雄心勃勃的目标。该组织由英国卫生和社会福利部于2013年成立,旨在对10万人的基因组进行测序,从而产生有助于改善治疗的新见解,同时也加速了英国基因组产业的发展。2018年,该项目得到了显著扩展:新的目标是在五年内对多达500万个基因组进行测序。

不幸的是,用于存储基因组数据的现有网络连接存储(NAS)解决方案不能胜任这项任务。NAS拥有21 PB的数据,已经达到了节点扩展的极限。“我们需要一种比现有NAS解决方案更具有可扩展性的东西——一种可以增长到几百拍字节的基础设施,”英格兰基因组学公司的技术交付主管David Ardley说。一种新的解决方案还必须促进世界各地3000多名研究人员简单、灵活地访问数据。

使用Quantum ActiveScale对象存储亚搏电竞app下载
Genomics England公司呼吁Nephos Technologies(英国独立的数据服务组织)设计并实现一种新的存储解决方案。来自Nephos和Genomics England的团队共同部署了一个多方面的解决方案,该方案集成了WekaIO高性能文件系统、Mellanox高速网络和ActiveScale对象存储。亚搏电竞app下载

解决方案采用两层架构,结合flash存储和ActiveScale对象存储系统,作为一个长期的数据湖存储库。亚搏电竞app下载这两个存储层(每个存储层都可以独立伸缩)作为一个单一的混合存储环境出现。因此,研究人员可以灵活地以高度随机的方式查询数据。

在COVID-19大流行期间迎接新的挑战
在部署新的存储环境的几年内,Genomics England需要再次扩张。2020年初COVID-19大流行的出现给全球医学界带来了新的紧迫挑战,英格兰基因组学在帮助更好地了解谁容易感染病毒方面处于有利地位。该组织承诺对至多2万名COVID-19重症监护患者以及至多1.5万名症状轻微的病毒患者进行基因组测序。

大约在Genomics England加大参与COVID-19研究的同时,Quantum收购了ActiveScale解决方案平台。Quantum团队推动了Genomics England的平稳过渡,将对象存储环境从40 PB扩展到100 PB以上。

与RAID(独立磁盘冗余阵列)无缝伸缩。“我们之所以喜欢ActiveScale系统,是因为它的固有架构由RAID替换技术支撑,即擦除编码数据的智能、动态放置,”Ardley说。这种动态布局消除了系统再平衡的需要,而系统再平衡会影响性能和可用性。

保护重要的基因组数据
ActiveScale对亚搏电竞app下载象存储保护数据,并为Genomics England的关键工作提供数据弹性。该组织利用了ActiveScale的地理分布能力。通过使用ActiveScale,该组织可以将数据分布到三个数据中心,以对站点丢失等重大灾难提供完整的数据保护。

在控制成本和复杂性的同时获得可扩展性
有了ActiveScale, Genomics England就不再面临以前NAS解决方案的容量限制。该组织扩大了对象存储,以支持更多的基因组分析,并在不进行重大存储改革亚搏电竞app下载的情况下开展额外的COVID-19工作。

这种可扩展的存储环境还有助于降低成本。根据Nephos的说法,与以前的环境相比,基因组学英格兰团队将每个基因组的存储成本降低了75%。预计到2023年,该组织将把成本降低96%。

同样重要的是,基因组学英格兰团队在没有增加复杂性的情况下体验到了这些好处。新的集成存储环境使来自世界各地的研究人员可以轻松存储和访问他们工作所需的基因组数据。