Hạ tầng AI thế hệ mới có thể phụ thuộc vào sự trở lại của tổng đài điện thoại

Các startup quang tử như iPronics đang gọi vốn hàng trăm triệu USD để phát triển bộ chuyển mạch quang học (Optical Circuit Switch - OCS) nhanh hơn, mật độ cao hơn và giá thành rẻ hơn. Công nghệ này được ví như "tổng đài điện thoại hiện đại" cho trung tâm dữ liệu, hứa hẹn giải quyết bài toán kết nối cho các cụm GPU hàng nghìn con chip.

Nếu bạn nghĩ 72 GPU mỗi rack là quá dày đặc, thì các thiết kế thế hệ mới từ Nvidia và các hãng khác sẽ nhồi nhét hàng trăm, thậm chí hàng nghìn bộ tăng tốc vào một hệ thống khổng lồ duy nhất. Điều đó đòi hỏi một hệ thống quang học phức tạp và công nghệ gợi nhớ đến tổng đài điện thoại cổ điển.

Bối cảnh đầu tư mạnh mẽ vào quang tử

Thực tế này đã thúc đẩy làn sóng đầu tư vào mọi thứ từ startup quang tử đến các nhà sản xuất thiết bị quang học và sợi quang lâu đời. Hồi tháng 3, Nvidia đã rót 6 tỷ USD (2 tỷ USD mỗi công ty) vào Coherent, Lumentum và Marvell để thúc đẩy công nghệ quang học của họ.

Một phần trong số này hỗ trợ phát triển công nghệ chuyển mạch mạch quang (OCS). Hôm thứ Tư, Nvidia cùng Maverick Silicon và Light Street Capital chi thêm 125 triệu USD để hỗ trợ phát triển công nghệ OCS thế hệ thứ hai của iPronics.

Hình ảnh minh họa về bộ chuyển mạch quang

Vì sao chuyển mạch gói khi có thể chuyển mạch ánh sáng?

Bộ chuyển mạch mạch quang chỉ đúng nghĩa là "switch" theo nghĩa đen. Không giống ASIC Broadcom Tomahawk hay Marvell Teralynx, thiết bị OCS không thể chuyển mạch gói. Các thiết bị quang-điện này là phiên bản hiện đại của tổng đài điện thoại. Nhưng thay vì nhân viên trực tổng đài nối dây thủ công, một bộ truyền động tốc độ cao sử dụng gương siêu nhỏ, bộ truyền động áp điện, màn hình LCD hoặc công nghệ khác sẽ cấu hình lại mạng chỉ trong tích tắc.

OCS không quá phổ biến trong các hệ thống GPU hiện đại, nhưng đã được dùng trong các cụm AI từ khá lâu. Cụ thể, Google đã sử dụng OCS trong các cụm TPU của mình nhiều năm nay.

Theo truyền thống, các pod TPU của Google sử dụng cấu trúc liên kết hình xuyến 2D hoặc 3D, nơi các bộ tăng tốc giao tiếp trong một mạng lưới lớn, thay vì dựa vào kiến trúc chuyển mạch gói. Bù lại, mạng lưới có độ trễ giữa các chip cao hơn và kém linh hoạt hơn. Muốn thêm, bớt hay thay thế một bộ tăng tốc hỏng, ai đó hoặc thứ gì đó phải cấu hình lại mạng.

Với Google, công cụ đó chính là chuyển mạch mạch quang. Lưu lượng từ các cụm TPU được truyền qua các thiết bị OCS, cho phép gã khổng lồ công nghệ thay đổi kích thước pod theo yêu cầu hoặc thay nóng các bộ tăng tốc lỗi gần như tức thời. OCS được xem là lý do Google có thể vận hành một số miền tính toán đơn lẻ lớn nhất ngành.

Khắc phục nhược điểm của OCS hiện tại

Các thiết bị OCS hiện có không hoàn hảo. Nhiều thiết bị sử dụng công nghệ MEMS (hệ thống vi cơ điện tử) để điều chỉnh kết nối bằng cách di chuyển gương siêu nhỏ. Phương pháp này hiệu quả nhưng tốc độ không cao — thời gian cấu hình khoảng 100 ms. Ngoài ra, OCS thường cồng kềnh vì cơ chế phức tạp và đầu nối nhiều chân.

Startup quang tử iPronics muốn giải quyết những hạn chế này bằng "OCS thế hệ thứ hai" — thiết kế dựa trên silicon photonics không có bộ phận chuyển động, thay thế hệ thống MEMS và LCD.

Công ty tuyên bố công nghệ của họ đạt thời gian cấu hình dưới 1 ms, mở ra khả năng thay đổi cấu trúc mạng giữa chừng khi đang chạy khối lượng công việc bằng cách "ẩn" độ trễ trong các chu kỳ tính toán. iPronics cũng cho biết mật độ cổng cao hơn hẳn thiết kế OCS thế hệ đầu. Ví dụ, sản phẩm iPronics One hỗ trợ 32 cổng mỗi chip.

Hiện công ty đang phát triển chip 72 và 144 cổng. Vì chip dùng silicon photonics nên có thể thu nhỏ đáng kể. iPronics dự đoán có thể đóng gói tới 720 cặp cổng trong một đơn vị rack. Trong khi đó, các thiết bị OCS có độ radix cao hiện tại như sản phẩm 300 cổng của Coherent thường chiếm 8 đơn vị rack hoặc hơn.

Vị trí của OCS trong mạng AI rộng lớn hơn

Ngay cả với độ trễ dưới mili giây, OCS vẫn hoạt động tốt nhất trong môi trường nơi các đường truyền không thay đổi quá thường xuyên. Điều này khác biệt hoàn toàn với cách tiếp cận của hầu hết hệ thống rack hiện đại như Nvidia NVL72 hay AMD Helios — vốn ưu tiên kết nối all-to-all một bước nhảy và đa dạng đường truyền tối đa.

Nhưng hai cách tiếp cận này không loại trừ nhau. iPronics chưa sẵn sàng chia sẻ cấu trúc liên kết cụ thể khách hàng đang dùng, nhưng có một số trường hợp sử dụng tiềm năng, bao gồm môi trường kết hợp mạng lưới với kiến trúc chuyển mạch.

Nhớ lại khi Nvidia công bố nền tảng tính toán quy mô rack đầu tiên vào năm 2024, CEO Jensen Huang mô tả hệ thống 72 GPU là một bộ tăng tốc khổng lồ. Điều này đạt được nhờ 18 chip chuyển mạch NVLink siêu tốc kết nối all-to-all, giúp mọi GPU chỉ cách nhau một bước nhảy. Kiến trúc này nghe có vẻ khó kết hợp với OCS, nhưng hoàn toàn khả thi — dùng chuyển mạch gói qua đồng trong rack và mạng lưới OCS cho kết nối giữa các rack.

Trường hợp sử dụng khả dĩ hơn là kiểm soát các cụm LPU khổng lồ mà Nvidia đang quảng bá. Với mỗi nghìn tỷ tham số, Nvidia cần 8 rack LPX với hơn 2.000 bộ tăng tốc. Vì các chip này chủ yếu dùng pipeline parallelism, dữ liệu được xử lý tuần tự qua từng chip, nên chúng là ứng viên lý tưởng cho cấu trúc mạng lưới điều phối bằng OCS — giúp việc thay đổi kích thước cụm cho các mô hình khác nhau trở nên dễ dàng hơn nhiều với các neocloud như Nebius.

Nhu cầu kết nối sợi quang mật độ cao

Kết nối tất cả các hệ thống này sẽ cần rất nhiều sợi quang. Startup Mixx Technologies vừa công bố đầu nối mới có khả năng kết nối hàng chục nghìn sợi quang vào một rack duy nhất.

Đầu nối SxC của Mixx bao gồm 64 sợi, trong khi MPO thường chỉ dừng ở 8–24 sợi. Với SxC, hãng ước tính có thể đóng gói 384 cổng 64-sợi vào một đơn vị rack OCP, đủ cho 614 TB/s băng thông tổng hợp nếu dùng SerDes 400 Gbps — một con số đáng kinh ngạc cho hạ tầng AI tương lai.