GridFTP: Lịch sử của giao thức truyền tệp tốc độ cao phục vụ khoa học

GridFTP: Lịch sử của giao thức truyền tệp tốc độ cao phục vụ khoa học

Trong hệ sinh thái nghiên cứu khoa học, Globus từ lâu đã là cái tên quen thuộc nhờ khả năng truyền dữ liệu ổn định, bảo mật và hiệu năng cao. Dịch vụ này gồm hai phần cốt lõi: một lớp điều phối quản lý các phiên truyền, và GridFTP — giao thức đảm nhận việc đẩy từng bit dữ liệu trên đường truyền giữa hệ thống lưu trữ nguồn và đích.

Được thiết kế từ hơn 25 năm trước, GridFTP ra đời nhằm đối phó với khối lượng dữ liệu khoa học ngày càng tăng, trải rộng trên các cụm hệ thống phân tán nhưng vẫn được kết nối với nhau. Bài viết dưới đây nhìn lại quá trình tiến hóa của giao thức này cùng những động lực thiết kế đã biến nó thành "con ngựa thồ" của giới khoa học.

Bối cảnh khoa học thúc đẩy sự ra đời

Vào cuối thập niên 1990, hàng loạt tài nguyên phần cứng quy mô lớn được đưa vào vận hành, khiến điện toán lưới (grid computing) trở thành nhu cầu tất yếu. Các thiết bị khoa học quan trọng nằm rải rác ở nhiều khu vực địa lý khác nhau, tiêu biểu là Máy gia tốc hạt lớn (LHC) tại CERN hay Advanced Photon Source tại Phòng thí nghiệm Quốc gia Argonne.

Những cỗ máy này tạo ra lượng dữ liệu khổng lồ, lên tới hàng petabyte mỗi tháng. Trong khi đó, các trung tâm dữ liệu mạnh mẽ đủ sức xử lý hàng teraflop và các trung tâm đồ họa phục vụ trực quan hóa lại nằm ở những địa điểm hạn chế. Các tài nguyên này cách nhau hàng nghìn dặm, nhưng vẫn có thể kết nối nhờ một công nghệ đang trỗi dậy nhanh chóng: mạng diện rộng tốc độ cao, còn gọi là Long Fat Network (LFN).

Sơ đồ mạng trục ESnet giai đoạn cuối 1999 đầu 2000

Các mạng như ESnet kết nối phòng thí nghiệm trên toàn cầu với tốc độ gigabit mỗi giây, mở ra khả năng cấp dữ liệu cho các cụm máy tính với tốc độ giúp đẩy nhanh đáng kể tiến trình khám phá khoa học.

Những yêu cầu thiết kế cốt lõi

Dù phần cứng đã sẵn sàng và được kết nối, thứ còn thiếu chính là phần mềm khai thác hiệu quả các tài nguyên đó. GridFTP ra đời để lấp khoảng trống này, với ba yêu cầu thiết kế then chốt.

Truyền tệp qua bên thứ ba

Trong kịch bản nghiên cứu khoa học, ứng dụng thường vận hành như một đường ống: lập lịch thu thập dữ liệu thô tại nguồn, điều phối chuyển dữ liệu tới cơ sở xử lý, rồi gửi kết quả đến trung tâm trực quan hóa. Điểm mấu chốt là chương trình điều phối thường chạy trên một hệ thống hoàn toàn tách biệt và không cần "nhìn thấy" dữ liệu khi chúng di chuyển.

GridFTP đáp ứng điều này bằng khả năng truyền tệp qua bên thứ ba (third-party transfer), còn gọi là quản lý truyền tệp (MFT). Chương trình điều phối chỉ cần liên hệ với bên gửi và bên nhận, cung cấp đủ thông tin để hai bên tự truyền dữ liệu an toàn qua mạng tốc độ cao — mà bản thân nó không bao giờ phải chạm vào dòng dữ liệu.

Bảo mật và xác thực ủy quyền

Truyền dữ liệu bắt buộc phải an toàn và đáng tin cậy: bên điều phối phải truy cập dữ liệu một cách an toàn, đảm bảo không nguồn trái phép nào có thể xem được, và quan trọng nhất là dữ liệu nhận được phải khớp với dữ liệu gửi đi, kể cả khi nội dung không hề nhạy cảm.

Cách tiếp cận bên thứ ba đặt ra một vấn đề mới: làm sao để bên gửi kết nối tới bên nhận và xác thực thay mặt cho bên điều phối. Giải pháp là thông tin xác thực được ủy quyền (delegated credential) — bên điều phối trao cho cả hai đầu đủ dữ liệu để chứng minh với nhau rằng chúng đang hành động thay mặt mình.

Hiệu năng trên mạng diện rộng

Mạng LFN thời đó tuy nhanh nhưng không thể chấp nhận việc chỉ dùng 50%, 60% hay thậm chí 80% băng thông. Các ứng dụng cần toàn bộ dung lượng, và hiệu năng chính là yêu cầu thiết kế quan trọng nhất. Song song đó là yêu cầu về độ tin cậy trước lỗi, bởi mạng luôn có mất gói — đặc biệt nghiêm trọng trên mạng diện rộng và LFN.

Sơ đồ điều phối trên lưới

Giao thức GridFTP được xây dựng thế nào

Những người tạo ra GridFTP khởi đầu từ giao thức FTP quen thuộc. FTP có khả năng truyền qua bên thứ ba nhờ cơ chế hai kênh tách biệt: kênh điều khiển để liên hệ máy chủ và gửi yêu cầu, kênh dữ liệu để truyền nội dung. Một máy khách có thể mở hai kênh điều khiển — một tới nguồn, một tới đích — rồi chỉ đạo hai máy chủ thiết lập kênh dữ liệu giữa chúng.

Tuy nhiên, FTP truyền thống cần được sửa đổi để bảo mật cả hai kênh. Kênh điều khiển được bọc trong một lớp bảo mật, cho phép ủy quyền thông tin xác thực từ máy khách xuống từng máy chủ; thông tin được ủy quyền ở mỗi đầu sau đó dùng để xác thực kênh dữ liệu.

Kênh dữ liệu mới và vấn đề của TCP

Thay đổi lớn nhất mà GridFTP mang lại là thiết kế lại kênh dữ liệu. FTP truyền thống chủ yếu dựa vào chế độ luồng (Mode S) — về cơ bản chỉ là một kênh TCP thô không có cơ chế đóng khung nào ngoài những gì TCP cung cấp. Vấn đề nằm ở chỗ TCP được thiết kế cho mạng có độ trễ thấp và cần chia sẻ công bằng giữa nhiều người dùng, chứ không nhắm tới các mạng độ trễ cao, ít tắc nghẽn như mục tiêu của GridFTP.

Cơ chế khởi động chậm (slow start) của TCP tăng gấp đôi cửa sổ gửi sau mỗi lần nhận ACK, cho đến khi xảy ra mất gói — hay còn gọi là sự kiện tắc nghẽn. Khi đó, thuật toán TCP Reno cắt cửa sổ còn một nửa (giảm nhân, AIMD), rồi tăng lại từng gói một mỗi lần nhận ACK.

Chính bước tăng tuyến tính này là điểm yếu chí mạng trên mạng diện rộng. Với độ trễ 100ms, mỗi ACK mất thời gian gấp 10 lần so với mạng LAN 10ms, khiến tốc độ hồi phục trên WAN gần như không đáng kể sau mỗi sự kiện tắc nghẽn. Kết quả là các luồng WAN bị "phạt" và không bao giờ lấy lại được băng thông khả dụng.

Biểu đồ thông lượng của bốn luồng song song

Giải pháp đa luồng song song

Để khắc phục, GridFTP đưa ra chế độ E (extended block mode), cho phép bên gửi thiết lập nhiều kết nối TCP đồng thời với bên nhận rồi chia dữ liệu thành từng khối gửi qua luồng nào đang rảnh. Dữ liệu vẫn đi trên cùng một đường vật lý, nhưng việc chia nhỏ đường logic giúp giảm thiểu tác động của các sự kiện tắc nghẽn.

Khi một luồng gặp mất gói, các luồng còn lại không bị ảnh hưởng, nên tổng thông lượng chỉ giảm khoảng 1/8 so với mức sụt giảm của một luồng đơn. Kỹ thuật này còn mang lại lợi ích phụ: tận dụng được máy nhiều lõi nhờ mã hóa song song từng luồng, tự điều chỉnh theo chênh lệch tốc độ giữa các luồng, và khai thác hiệu quả hơn các hệ thống tệp song song.

Giao thức GridFTP

Việc dùng TCP làm lớp tin cậy nền tảng là lựa chọn có chủ đích: yêu cầu một ngăn xếp mạng tùy biến trong nhân hệ điều hành sẽ tạo rào cản triển khai quá lớn.

Kết luận

Trong nhiều thập kỷ sau khi GridFTP ra đời, TCP đã tiến hóa đáng kể. GridFTP cũng đã tích hợp các thuật toán kiểm soát tắc nghẽn hiện đại như CUBIC và tiếp tục tận dụng những đổi mới công nghệ.

Điều quan trọng hơn cả là GridFTP đã giới thiệu mô hình "gửi rồi quên" (fire-and-forget), cho phép các nhà nghiên cứu chỉ cần yêu cầu di chuyển dữ liệu mà không phải bận tâm tới hạ tầng bên dưới.

Việc giao phó độ tin cậy, tối ưu hiệu năng và bảo mật cho dịch vụ Globus đã hạ thấp đáng kể rào cản sử dụng các giao thức hiệu năng cao. Với những bổ sung gần đây như tính toán từ xa và tự động hóa hỗ trợ các quy trình phân tán, dư địa phát triển của mô hình này vẫn còn rất lớn.