Delos Data mang đến giải pháp "đường tắt" giúp startup chip AI đạt quy mô rack

Việc cạnh tranh với AMD và Nvidia về mặt thiết kế chip vốn đã là một thách thức lớn đối với các startup. Sự trỗi dậy của các kiến trúc quy mô rack (rack-scale architectures) lại càng làm cho cuộc đua này trở nên khó khăn hơn, khi các công ty không chỉ phải đầu tư vào thiết kế chip mà còn phải giải quyết các vấn đề về cơ khí, nhiệt và nguồn điện để đóng gói hàng chục bộ tăng tốc AI vào một rack duy nhất hoạt động như một GPU khổng lồ.

Tại Computex tuần trước, Delos Data, một startup được tài trợ bởi các cựu giám đốc điều hành của Intel và Barefoot Networks, đã trình làng một nền tảng máy chủ mô-đun nhằm cung cấp một "đường tắt" giúp các startup sản xuất chip đạt được quy mô rack.

Thiết kế tham chiếu của Delos Data với 36 cổng OSFP ở mặt trước

Thách thức về mạng trong kiến trúc Rack-scale

Một trong những trở ngại lớn nhất khi chuyển sang kiến trúc quy mô rack thực sự là lượng kết nối mạng khổng lồ cần được kích hoạt ngay trong hệ thống. Một nút HGX tiêu chuẩn với 8 GPU thường chỉ cần một hoặc hai cổng mạng cho mỗi GPU. Tuy nhiên, so sánh với hệ thống GB300 NVL72 của Nvidia, mỗi GPU lại cần tới 18 cổng 400 Gbps.

Trong khi Nvidia và AMD đã phát triển các rack tùy chỉnh với các backplane, nguồn điện và làm mát được tích hợp, Delos lại chọn cách tiếp cận tương đối đơn giản hơn. Họ thiết kế một khung máy chủ (chassis) mà ít nhất về mặt trước, trông giống như một switch mạng hơn là một máy chủ GPU truyền thống.

Thiết kế mô-đun và linh hoạt

Hệ thống của Delos Data sở hữu 36 cổng OSFP, mỗi cổng có khả năng xử lý băng thông 1,6 Tbps. Cấu hình này bao gồm chín cổng cho mỗi trong số bốn socket OAM (Open Accelerator Module) nằm ở trung tâm của hệ thống. OAM là một socket mở phổ biến được sử dụng cho các bộ tăng tốc hiệu suất cao, yêu cầu băng thông kết nối và nguồn điện lớn hơn so với các thẻ PCIe tiêu chuẩn.

Với giả định sử dụng SerDes 200 Gbps, hệ thống đạt được tốc độ kết nối 3,6 TB/s cho mỗi chip, tương đương với GPU Rubin mới nhất của Nvidia. OSFP có nghĩa là khách hàng có thể sử dụng các cáp DAC hoặc transceiver cắm sẵn tiêu chuẩn, cũng như các switch tùy thuộc vào quy mô miền mở rộng (scale-up domain) mà họ mong muốn.

Mặc dù OSFP thường liên quan đến Ethernet, người dùng có thể chạy bất kỳ giao thức nào qua chúng, bao gồm UALink, Ultra Ethernet, PCIe hoặc các giao thức khác. Từ góc độ triển khai, các hệ thống này sẽ được kết nối dây giống như bất kỳ hệ thống siêu quy mô (hyperscale) nào khác, nhưng với mật độ cao hơn nhiều.

Khả năng mở rộng và phần mềm điều phối

Delos không phải là lựa chọn duy nhất cho các startup chip đang tìm kiếm thiết kế tham chiếu để mở rộng quy mô. Ví dụ, AWS dường như đang tái sử dụng dạng factor MGX của Nvidia cho các hệ thống rack Trainium 3 của mình, trong khi rack Helios của AMD hiện là một tiêu chuẩn OCP. Cả hai thiết kế này về lý thuyết đều dễ bảo trì hơn, nhưng Delos lập luận rằng thiết kế mô-đun của họ mang lại sự linh hoạt lớn hơn.

"Nó làm cho mọi thứ linh hoạt hơn một chút, có thể bạn muốn một miền mở rộng quy mô là 100 hoặc có thể chỉ là 1," CTO Dan Daly chia sẻ với The Register. "Nó chỉ phụ thuộc vào số lượng cáp bạn muốn cắm vào. Điều này cũng cho phép bạn cắm vào các loại switch khác nhau... có thể là các switch đơn giản hơn, thậm chí là cả công tắc mạch quang (OCS)."

Sử dụng các switch gói tin hiện có từ Broadcom hoặc Marvell, thiết kế như vậy có thể hỗ trợ từ 512 đến 1.024 bộ tăng tốc trong một lớp fabric (lớp kết nối) duy nhất, tùy thuộc vào việc bạn sử dụng SerDes 200 Gbps hay 100 Gbps. Với các lớp fabric đa tầng, OCS và/hoặc cấu trúc torus 2D/3D, miền tính toán có thể mở rộng xa hơn nữa, tất cả đều sử dụng các linh phẩm ngoài kệ (off-the-shelf).

Tuy nhiên, việc giữ cho mọi thứ đơn giản với OSFP cũng có nghĩa là mức tiêu thụ điện năng có thể trở thành vấn đề đối với các miền tính toán lớn yêu cầu quang học cắm sẵn (pluggable optics). Thực tế, đây là lý do Nvidia mất nhiều thời gian để chấp nhận mở rộng quy mô quang học, vì dù đồng dây (copper) không có phạm vi hoạt động xa, nhưng nó chỉ tiêu thụ một phần nhỏ điện năng so với quang học.

CEO của Delos, Ed Doe, cho biết công ty đang khám phá các phiên bản hệ thống sẽ sử dụng quang học gần gói (near package) hoặc quang học tích hợp gói (co-packaged optics) kết nối ra các đầu nối kiểu MPO thay vì OSFP.

Startup này không chỉ tập trung vào phần cứng. Delos đã phát triển một nền tảng phần mềm điều phối được thiết kế để tạo điều kiện thuận lợi cho việc cấu hình và giám sát các switched fabrics hoặc lưới mạng này, cho phép định tuyến lại lưu lượng một cách động trong trường hợp liên kết bị lỗi. Tại Computex, nền tảng phần mềm này, được Delos đặt tên là "Nonstop AI network", đã được trưng bày, cho phép người tham dự ngắt kết nối các liên kết ngẫu nhiên và thấy mạng phản hồi cũng như tự động sửa lỗi.