Amazon Cách Mạng Hạ Tâm Dữ Liệu Với Thiết Kế Mạng 'Bán Ngẫu Nhiên' RNG

Amazon vừa tiết lộ một bước đột phá đáng kể trong thiết kế mạng và đã âm thầm triển khai công nghệ mới này tại các trung tâm dữ liệu kể từ cuối năm ngoái. Công ty cho biết họ đã tăng tốc độ dữ liệu một cách đáng kể đồng thời giảm thiểu mức tiêu thụ năng lượng, tạo ra lợi thế cạnh tranh trong cuộc đua xây dựng hệ thống đám mây ngày càng nhanh chóng.

Công nghệ mới này dựa trên một thiết kế "bán ngẫu nhiên" (quasi-random), kết hợp các yếu tố của mạng dữ liệu có cấu trúc truyền thống với những ưu điểm về hiệu suất của các kiến trúc ngẫu nhiên hơn. Các nhà nghiên cứu đã khám phá mạng ngẫu nhiên trong nhiều thập kỷ, nhưng chưa ai có thể mở rộng quy mô công nghệ này thành công cho đến nay. Amazon tin rằng họ đã tìm ra lời giải cho bài toán khó này.

Hệ thống server tại trung tâm dữ liệu

RNG: Làm phẳng mạng lưới

Một nhóm kỹ sư và nhà nghiên cứu tại Amazon Web Services (AWS) đã làm việc trên vấn đề mạng ngẫu nhiên này từ năm 2023. Amazon cũng thiết kế một thiết bị mới cho trung tâm dữ liệu có tên ShuffleBox, thiết bị này tự động xáo trộn các dây cáp cần thiết cho loại mạng này.

"Bằng cách làm phẳng mạng lưới về cơ bản, chúng tôi đã loại bỏ các nút thắt cổ chai đi kèm với các thiết kế mạng truyền thống", Matt Rehder, phó president Kỹ thuật Mạng AWS, chia sẻ trong một cuộc phỏng vấn. "Chúng tôi nghĩ rằng mình là đơn vị duy nhất làm được điều này ở quy mô lớn."

Amazon đã công bố chi tiết về thiết kế mạng mới trong một bài báo có tiêu đề "RNG: Flat Datacenter Networks at Scale" (Mạng trung tâm dữ liệu phẳng ở quy mô lớn). RNG là viết tắt của "resilient network graphs" (đồ thị mạng linh hoạt), không hoàn toàn có cấu trúc cũng không hoàn toàn ngẫu nhiên.

Đáng chú ý, nhóm đứng sau RNG không tập trung vào AI tạo sinh (Generative AI) cho đột phá này. Mục tiêu là làm cho kiến trúc trung tâm dữ liệu hàng ngày của công ty hiệu quả hơn. "RNG rất phù hợp với nhu cầu cốt lõi của chúng tôi, nhưng các mẫu dữ liệu huấn luyện AI được phối hợp và điều phối tập trung nhiều hơn, nên chúng không xấp xỉ một đồ thị ngẫu nhiên", Rehder giải thích.

Vượt qua giới hạn của Fat-tree

Từ giữa những năm 1980, các mạng truyền thông—from từ viễn thông đến trung tâm dữ liệu—được thiết kế chủ yếu với topology "fat-tree". Cấu trúc này bao gồm hai hoặc ba lớp dọc của bộ chuyển mạch và bộ định tuyến. Chúng được kết nối bởi các "nút" lớn ở phía trên cấu trúc, nơi có nhiều bộ định tuyến cùng loại, và các nhánh mỏng hơn về phía dưới. Nói một cách đơn giản, trong mạng fat-tree, dữ liệu di chuyển lên và xuống chồng. Băng thông tăng lên gần phần trên của cấu trúc giúp loại bỏ các nút thắt cổ chai.

Minh họa thiết kế đồ thị mạng ngẫu nhiên

Tuy nhiên, thiết kế fat-tree dù đáng tin cậy nhưng lại cứng nhắc, kém hiệu quả và yêu cầu hệ thống dây cáp phức tạp. Nếu bạn từng bước vào một trung tâm dữ liệu, bạn có thể đã thấy những tổ dây cáp màu sắc rối rắm. Việc đấu nối dây cáp là một trong những chi phí lớn nhất trong mạng, và các trung tâm dữ liệu toàn cầu của Amazon hiện được kết nối với 20 triệu km cáp quang—tương đương khoảng cách đi từ Trái Đất lên Mặt Trăng và trở lại 25 lần.

Vào năm 2012, khi nhu cầu về dịch vụ điện toán đám mây bùng nổ, một nhóm các nhà nghiên cứu tại Đại học Illinois Urbana-Champaign đã giới thiệu một khái niệm gọi là Jellyfish. Họ đề xuất một "kết nối mạng dung lượng cao áp dụng topology đồ thị ngẫu nhiên, tự nhiên cho phép mở rộng từng bước". Họ tin rằng cách tiếp cận ngẫu nhiên này có thể hiệu quả và có khả năng mở rộng hơn so với mạng fat-tree.

Tuy nhiên, Jellyfish cũng mang lại những thách thức mới về bố trí, định tuyến dữ liệu và đấu nối dây cáp. Định tuyến trong đồ thị ngẫu nhiên phức tạp hơn vì có nhiều đường đi đa dạng hơn mà dữ liệu có thể lấy từ nguồn đến đích.

"Ôm lấy sự hỗn loạn"

Trong khi đó, Amazon đang tìm kiếm "chén thánh" trong thiết kế mạng. Trong một thế giới lý tưởng, mạng dữ liệu sẽ phẳng, hiệu quả, linh hoạt với lỗi phần cứng, đủ ngẫu nhiên để tối đa hóa hiệu suất và có khả năng mở rộng.

Giacomo Bernardi, một trong những tác giả chính của bài báo mới, ban đầu đã bị ám ảnh bởi việc lát gạch Penrose (Penrose tiling)—một loại lát không tuần hoàn. Ông tự hỏi liệu Amazon có thể sử dụng một cấu trúc tương tự để tạo ra một "lưới" phẳng bằng cách tuân theo một mô hình lặp lại hay không. Tuy nhiên, mô phỏng cho thấy mạng dữ liệu này không đáng tin cậy.

Bernardi nhận ra họ đạt được kết quả tốt hơn khi thay thế các phần có cấu trúc hơn của thiết kế mạng bằng sự ngẫu nhiên. "Chúng tôi 'ôm lấy sự hỗn loạn' và áp dụng cách tiếp cận bán ngẫu nhiên", Bernardi nói.

Một thành phần quan trọng của thiết kế này là ShuffleBox, một thiết bị quang học mới do Amazon phát triển để trộn các kết nối giữa các bộ định tuyến nội bộ. Rehder cho biết thiết kế RNG của Amazon đã làm cho các trung tâm dữ liệu của công ty hiệu quả và linh hoạt hơn.

So với mạng truyền thống, Amazon tuyên bố RNG sử dụng ít hơn 69% bộ định tuyến và bộ chuyển mạch, cung cấp thông lượng dữ liệu cao hơn 33%, cắt giảm mức tiêu thụ điện năng của mạng lên tới 40% và giảm chi phí vận hành 27%.

Phiên bản đầu tiên của RNG được triển khai tại một trung tâm dữ liệu ở Dublin vào năm 2024. Sau đó, Amazon mở rộng công nghệ này sang các trung tâm dữ liệu ở Đức và Tây Ban Nha. Công ty cho biết hiện nay, hầu hết các trung tâm dữ liệu mới được xây dựng đều được trang bị giao thức mạng RNG.