GridFTP 如何在科学界成为数据传输的事实标准。 Gloubs 在研究生态系统中被广泛使用，以实现可靠、安全和高性能的数据传输。该服务有两个关键方面：管理这些传输的协调层和 GridFTP，这是一种在源存储系统和目标存储系统之间移动数据的高性能协议。GridFTP 协议诞生于 25 年前，旨在管理跨高度分布但互连的系统日益增长的科学数据量。在这篇博客文章中，我们回顾了 GridFTP 的发展历程，以及其作为科学数据传输工作马的系统设计驱动因素。科学驱动因素 在 1990 年代末，重要的硬件资源上线，使网格计算成为必要的现实。重要的科学仪器在地理分散的区域中被创造。最好的例子就是欧洲核子研究中心的强子对撞机，但还有许多其他类似阿冈国家实验室的先进光源。这些仪器对全球广泛的科学研究至关重要（并且今天仍然如此）。它们产生了巨大数量的数据，每月多达数PB。此外，各个实验室和其他地点的强大数据中心能够处理 teraflop。还有一些仅存在于有限地点的图形中心，可以对处理过的数据进行可视化，例如伊利诺伊大学芝加哥分校的 CAVE。这些资源有可能改变世界，例如（发现上帝粒子），通过提供处理能力来寻找数据海洋中的针，以及可视化系统来加快人类对结果的理解。在大多数情况下，这些资源相距数千英里，但由于另一项迅速发展的技术：快速广域网，也称为长肥网络（LFN），它们变得非常可访问。得益于能源科学网络（ESnet），LFNs，例如 ESnet，连接了全球各地的实验室，传输速度达到每秒千兆比特。这使得机构能够以显著加快发现步伐的速度为其计算农场提供数据。设计要求 尽管所有这些快速硬件资源互相连接，但它们之间的连接速度几乎不够快——没有可浪费的周期。缺少的是能够有效利用这些资源的软件，而 GridFTP 就是解决在接近线路速度下在它们之间转移数据的方案。我们来看看 GridFTP 实现这一切所需的条件。第三方传输 在科学研究场景中，典型应用程序作为管道运行（如下图所示）。它以在源处收集原始数据的作业调度开始。接下来，它协调将数据传输到一个设施进行处理。一旦处理完成，结果就会发送到可视化中心。一个关键点是，协调程序通常是在不同于任何存储和处理数据的系统上运行的。它只需提供指令并安排作业——它不需要查看数据在系统之间移动的过程。实际上，它通常无法访问快速网络，因此通过该软件路由数据在性能上是一个重大劣势。GridFTP 提供了进行“第三方传输”的能力。第三方传输（也称为管理文件传输，或 MFT）现在是一个公认的概念，是当前 Globus 传输服务的基石，但当时的情况要少得多。我们需要设计一种解决方案，使协调程序能够联系数据的发送方和接收方，并给他们足够的信息，以便在快速网络上安全地转移数据，而协调者根本不需要看到数据。安全性 不用说，数据传输需要安全可靠。传输的协调者必须安全地访问数据，确保没有未授权的来源能够查看数据，最重要的是，确保目标接收到的数据与源发送的数据相同。即使在数据没有任何敏感性的时候，数据在传输过程中仍然不被不当行为者或故障系统变更是至关重要的。第三方传输方法引入了一个附加条件：安全地连接源和目的地的协调者是一种众所周知的做法，但告诉发送者如何连接接收者并代表协调者进行身份验证则不是。这就产生了对“委托凭证”的需求，协调者可以将其提供给发送者和接收者，包含足够的信息，让他们彼此证明他们确实受到了协调者的代表。广域高性能 连接计算站的 LFN 在速度上令人印象深刻。