AMD tung ra GPU MI350P: Giải pháp AI "dễ thở" cho doanh nghiệp với thiết kế PCIe

AMD tung ra GPU MI350P: Giải pháp AI "dễ thở" cho doanh nghiệp với thiết kế PCIe

AMD đang hy vọng chiếm lĩnh lòng tin của các khách hàng doanh nghiệp trong lĩnh vực AI với một card GPU trung tâm dữ liệu (datacenter) mới có giá thành phải chăng hơn và có thể lắp đặt vào các máy chủ làm mát bằng khí thông thường.

Được công bố vào thứ Năm, MI350P là bộ tăng tốc Instinct đầu tiên của AMD sử dụng giao thức PCIe kể từ khi MI210 ra mắt vào năm 2022. Trước đây, những GPU mạnh nhất của AMD chỉ được bán theo bộ 8 và sử dụng các mô-đun OAM (socketed), không tương thích với hầu hết các nền tảng máy chủ hiện có.

Thiết kế linh hoạt và thông số kỹ thuật

So với các giải pháp trước đó, MI350P có thể gắn vào hầu hết mọi thiết kế máy chủ rack 19 inch tiêu chuẩn ("pizza box") miễn là cung cấp đủ nguồn điện và luồng khí. Điều này giúp việc bán hàng cho các doanh nghiệp mới bắt đầu tìm hiểu hệ thống AI tại chỗ (on-prem) trở nên dễ dàng hơn rất nhiều.

Card tiêu thụ điện 600 watt này, chiếm hai khe (dual-slot), về cơ bản là phiên bản được cắt đôi của MI350X. Điều này có nghĩa là GPU dựa trên kiến trúc CNDA này sở hữu sức mạnh tính toán 4,6 petaFLOPS cho định dạng FP4 và 144 GB VRAM được phân bổ trên bốn chồng bộ nhớ HBM3e, mang lại băng thông bộ nhớ đáng nể là 4 TB/s.

AMD hỗ trợ cấu hình từ một đến tám card MI350P. Tuy nhiên, việc thiếu các kết nối tốc độ cao trên các card này có nghĩa là giao tiếp giữa các chip sẽ bị giới hạn ở tốc độ PCIe 5.0 (128 GB/s), có thể hạn chế tiềm năng của nó khi xử lý các mô hình lớn.

So sánh với đối thủ Nvidia

AMD chưa chia sẻ giá cụ thể cho các card này, nhưng ít nhất trên giấy tờ, MI350P có vị thế tốt để cạnh tranh với Nvidia H200 NVL hoặc card PCIe RTX Pro 6000 Blackwell.

So với H200 (141 GB), MI350P hứa hẹn hiệu năng đỉnh cao cao hơn khoảng 38% ở định dạng FP8, đồng thời nhỉnh hơn một chút về dung lượng VRAM. Tuy nhiên, H200 vẫn vượt trội hơn về băng thông bộ nhớ. Với sáu chồng bộ nhớ HBM3e so với bốn của MI350P, bộ nhớ của card gần hai năm tuổi này vẫn nhanh hơn khoảng 20%.

Hơn nữa, Nvidia H200 hỗ trợ kết nối chip-to-chip tốc độ cao qua NVLink, trong khi MI350P không sử dụng công nghệ kết nối Infinity Fabric tương đương của AMD.

Tuy nhiên, tất cả những điều trên đều phụ thuộc vào việc liệu bạn có thể tìm thấy H200 NVL trên thị trường hay không. Kể từ mùa hè năm ngoái, Nvidia đã đẩy mạnh các card máy chủ RTX Pro 6000 cho khách hàng doanh nghiệp. Đây là bộ tăng tốc mạnh nhất dựa trên kiến trúc Blackwell của Nvidia dưới dạng PCIe.

So với RTX Pro 6000, giá của MI350P sẽ là yếu tố quan trọng hơn hiệu năng. Các phiên bản workstation của RTX Pro thường có giá từ 8.000 đến 10.000 USD mỗi chiếc, khiến nó trở thành một trong những GPU cấp datacenter giá rẻ hơn của Nvidia. Tùy thuộc vào mức giá định ra, AMD có thể sẽ phải nỗ lực rất nhiều để cạnh tranh.

Dù vậy, MI350P vẫn có thông số kỹ thuật tốt hơn, mang lại hiệu năng đỉnh cao cao hơn 2,3 lần, băng thông bộ nhớ lớn hơn 2,5 lần và VRAM nhiều hơn 50% so với RTX Pro.

Hiệu năng thực tế so với lý thuyết

Tất cả những phân tích trên đều giả định dựa trên FLOPS đỉnh và băng thông bộ nhớ tối đa, điều hiếm khi thực tế trong môi trường làm việc. Các tensor được sử dụng bởi khối lượng công việc AI hiếm khi có hình dạng lý tưởng để khai thác tối đa số lượng FLOPS của một chip.

AMD dường như hiểu rằng FLOPS đỉnh không thực sự chuyển đổi sạch sẽ thành hiệu năng thực tế. Trong tài liệu tiếp thị, AMD đã so sánh hiệu năng lý thuyết của MI350P với hiệu năng thực tế được cung cấp (Delivered).

Việc Nvidia và các hãng khác áp dụng các thực hành tương tự về tuyên bố hiệu năng bộ tăng tốc sẽ là điều rất đáng mong đợi, mặc dù việc khiến mọi người đồng ý về cách đo lường tốt nhất có thể không dễ dàng gì.

Tương lai với nền tảng Helios

Sự ra mắt của MI350P diễn ra khi AMD chuẩn bị giải quyết một phân khúc rất khác và có lẽ lợi nhuận cao hơn với nền tảng tính toán quy mô rack đầu tiên, có mã danh là Helios.

Hệ thống này dự kiến ra mắt vào nửa sau năm nay, chủ yếu nhắm đến các triển khai quy mô lớn của hyperscaler và neocloud. Hệ thống này đóng gói 72 GPU MI455X hoàn toàn mới vào một rack OCP kép rộng, hoạt động như một bộ tăng tốc khổng lồ.

Nền tảng này sẽ là lần đầu tiên AMD thử thách trực tiếp các rack NVL72 của Nvidia, vốn ra mắt cùng thế hệ Blackwell gần hai năm trước.