Castor: CERN高级存储管理器
CERN高级存储管理器(CASTOR)是一个分层存储(即有磁盘和磁带)管理系统,旨在用于存档物理数据(具有非常大的数据量,请参见右侧图表)。用户可以使用CASTOR命令行工具或使用CASTOR API开发的用户应用程序来存储、列出、检索和远程访问文件。CASTOR提供了一组访问协议,如XROOT(主要和推荐协议)和GridFTP。RFIO(远程文件IO)曾经在2016年前得到支持。CASTOR是SHIFT的继任者,SHIFT是1990年代开发和运营的可扩展异构集成设施用于高能物理计算。截至2020年6月29日,CERN磁带档案(CTA)开始运作,作为CASTOR的继任者,并逐步取代它。右侧显示了自2001年以来CERN磁带上的总数据演变,包括从CASTOR 1(1998-2007年)、CASTOR 2(2005-2022年)和CTA(2020年至今)收集的统计数据。设计基于组件架构(架构图),使用中央数据库以保护CASTOR组件的状态变化。磁盘池的访问由Stager控制;目录结构由名称服务器维护。磁带访问(写入和召回)由磁带基础设施控制。五个主要功能模块包括:Stager - 该磁盘池管理器分配和回收空间;它还控制客户端访问并监督磁盘池本地目录。名称服务器 - 该CASTOR命名空间(文件和目录)包括相应文件的元数据(大小、日期、校验和、所有权和ACL(访问控制列表)、磁带副本信息)。基于Unix工具建模的命令行工具使得操作命名空间成为可能(例如,nsls对应于ls等)。磁带基础设施 - 在某些条件下,CASTOR将文件保存到磁带上,以提供数据安全并管理可用磁盘容量以上的数据存储。在CERN,使用的高容量磁带单元是Oracle StorageTek(照片)T10000C(5 TB)和IBM TS1140(4 TB)。磁带盒装在磁带库中,并且对它们的访问是完全自动化的。CASTOR在生产中使用的库包括4个Oracle SL8500和3个IBM TS3500。目前总磁带档案容量约为100 PB(2013年1月)。CASTOR卷管理器数据库包含有关每个磁带特征、容量和状态的信息。名称服务器数据库包含有关磁带上文件(有时称为段):所有权权限细节、磁带上文件偏移位置的信息。用户命令可用于显示名称服务器和卷管理器数据库中的信息。磁带盒到磁带驱动器的挂载由卷驱动队列管理器(VDQM)与特定于每种磁带库型号的库控制软件共同管理。每TB磁带存储的成本远低于硬盘存储,并且在未访问磁带时不会消耗电力。然而,磁带的访问时间较长,通常为分钟而不是秒。客户端 - 允许用户上传、下载、访问和管理CASTOR数据。存储资源管理 - 允许通过SRM协议在计算网格中访问数据。它代表用户或其他服务(例如,LHC社区用于导出数据的文件传输系统FTS)与CASTOR进行交互。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡