S3 Files: Bước tiến mới trong việc truy cập dữ liệu trên Amazon S3

Amazon Web Services mới đây đã giới thiệu tính năng S3 Files, một cải tiến quan trọng tích hợp hệ thống mạng file Amazon Elastic File System (EFS) vào dịch vụ lưu trữ đối tượng Amazon S3, nhằm giúp người dùng truy cập dữ liệu trên S3 như một hệ thống tập tin mạng truyền thống.

Giải quyết bài toán dữ liệu đa dạng của người dùng

Trong hơn hai thập kỷ kể từ khi ra mắt, S3 được biết đến như dịch vụ lưu trữ đối tượng phổ biến với độ tin cậy cao, tính mở rộng lớn và chi phí hợp lý. Thế nhưng, một hạn chế nổi bật là hầu hết phần mềm hiện nay vẫn dựa trên giao diện hệ thống file truyền thống, đặc biệt là trong các lĩnh vực như khoa học dữ liệu, sinh học phân tử, đào tạo mô hình máy học.

Ví dụ sinh động được tác giả Andy Warfield kể lại là trải nghiệm tại phòng thí nghiệm nghiên cứu DNA hoa hướng dương của Đại học British Columbia (UBC). Các nhà nghiên cứu phải thường xuyên sao chép dữ liệu giữa các hệ thống file truyền thống và kho lưu trữ đối tượng S3 để phục vụ phân tích genomics, dẫn đến tình trạng trùng lặp dữ liệu và nhiều bất tiện.

“Các nhà sinh học thường xuyên phải sao chép dữ liệu nhiều lần và quản lý các bản sao không đồng bộ. Đây là một loại ma sát dữ liệu (data friction) phổ biến trong nhiều ngành công nghiệp, gây cản trở hiệu quả làm việc.”

Thiết kế độc đáo của S3 Files: Ranh giới rõ ràng giữa file và object

S3 Files được xây dựng dựa trên nguyên tắc "stage and commit" lấy cảm hứng từ hệ thống quản lý phiên bản git, cho phép:

• Mount trực tiếp một bucket hoặc prefix S3 làm hệ thống file mạng chuẩn NFS trên máy EC2, container, hoặc Lambda.
• Metadata và file được đồng bộ một cách tinh tế giữa S3 và EFS.
• Dữ liệu thay đổi được gom nhóm, rồi đồng bộ lại S3 định kỳ, đảm bảo tính nhất quán mạnh mẽ cho hai kiểu giao diện file và object.
• Đẩy mạnh trải nghiệm người dùng với khả năng mount và xử lý hàng triệu object ngay lập tức mà không phải chờ đợi thời gian lâu.

Điều thú vị là nhóm phát triển nhận ra rất nhiều điểm khác biệt căn bản giữa hệ thống file truyền thống và lưu trữ đối tượng, ví dụ như:

• File system cho phép cập nhật file với tỷ lệ biến đổi nhỏ và đồng thời cùng lúc, trong khi object storage thường bất biến và chỉ thao tác trên toàn bộ object.
• S3 hỗ trợ notification bất biến khi đối tượng được tạo hoặc ghi đè, là nền tảng cho các ứng dụng serverless và pipeline xử lý dữ liệu.
• Quyền truy cập (authorization) và phân quyền khác biệt, được quản lý trên mount file system hoặc qua chính sách IAM trên S3.
• Vấn đề tên file và cấu trúc thư mục cũng khá phức tạp khi S3 không thực sự có thư mục mà chỉ dùng tiền tố trong key.

Bằng cách chấp nhận tồn tại ranh giới rõ ràng giữa file và object («boundary as a feature»), hệ thống có thể mang lại trải nghiệm tối ưu nhất cho cả hai mô hình truy cập dữ liệu này.

Các điểm nổi bật kỹ thuật và lợi ích thực tế

• Cơ chế read bypass cho phép truy xuất đọc tuần tự nhanh qua các yêu cầu GET song song tới S3, đạt băng thông lên tới 3 GB/s mỗi client, khả năng mở rộng cực lớn.
• Đồng bộ hai chiều giữa S3 và EFS giúp phản ánh thay đổi tức thì dù bạn thao tác trên file hay object.
• Hỗ trợ tốt cho các workflows đa giai đoạn: ví dụ, giai đoạn tiền xử lý dùng hệ thống file truyền thống, sau đó dữ liệu ở dạng object cho các ứng dụng phân tích hoặc học máy.
• Tối ưu cho các khối lượng dữ liệu lớn, dễ dàng quản lý và tổ chức mà không phải lo lắng di trú hoặc phức tạp hóa hệ thống.

Tuy nhiên, S3 Files vẫn còn một số giới hạn như tốc độ rename thư mục còn chậm do S3 không hỗ trợ phép rename native, quản lý các key không tương thích với tên file POSIX, và chưa có cơ chế commit điều khiển chặt chẽ.

Tầm nhìn tương lai cho hệ sinh thái dữ liệu trên S3

Amazon đang phát triển S3 không chỉ là kho lưu trữ đối tượng đơn thuần mà là nền tảng dữ liệu thống nhất hỗ trợ nhiều dạng đối tượng, bảng dữ liệu (S3 Tables), chỉ số vector cho AI (S3 Vectors), và giờ là hệ thống file truyền thống (S3 Files).

Mục tiêu là giảm ma sát dữ liệu, thúc đẩy sự sáng tạo và phát triển ứng dụng đa dạng trên cơ sở hạ tầng lưu trữ bền vững, mở rộng và chi phí tối ưu.

Như Andy Warfield kết luận, câu chuyện phát triển S3 Files còn dài và hứa hẹn nhiều đổi mới, song đây đã là bước tiến quan trọng đưa S3 trở thành nền tảng dữ liệu toàn diện, hỗ trợ người dùng làm việc hiệu quả mà không phải lo ngại về cách dữ liệu được lưu trữ bên dưới.

“Chúng ta đang ở ngưỡng cửa của thế hệ ứng dụng dữ liệu mới, nơi dữ liệu tồn tại lâu dài và được truy cập theo những cách đa dạng phù hợp với mỗi nhiệm vụ khác nhau. S3 Files đóng vai trò then chốt trong việc hiện thực hóa tầm nhìn đó.”

Sunflowers

---

Tham khảo:
https://www.allthingsdistributed.com/2026/04/s3-files-and-the-changing-face-of-s3.html