Siêu máy tính tiếp theo của Mỹ có thể sử dụng chip "đặc biệt" thay vì GPU

Trong số những siêu máy tính mạnh nhất thế giới hiện nay, chín trong số mười hệ thống đều sử dụng GPU. Tuy nhiên, xu hướng này có thể sớm thay đổi. Khi các nhà sản xuất chip như Nvidia ưu tiên sức mạnh tính toán cho AI (AI FLOPS) hơn là các phép tính dấu chấm động siêu chính xác dùng trong khoa học, các Phòng thí nghiệm Quốc gia của Mỹ đang chuyển hướng sang các kiến trúc chip mới để đáp ứng nhu cầu tính toán FP64.

Một trong những ứng cử viên sáng giá nhất là Maverick-2 của NextSilicon, một bộ vi xử lý luồng dữ liệu (dataflow processor) được thiết kế riêng cho toán học dấu chấm động 64-bit – loại toán học thống trị các mô phỏng quan trọng nhất của Bộ Năng lượng Mỹ.

Siêu máy tính Spectra và sự thay đổi kiến trúc

Mặc dù tên gọi là Bộ Năng lượng, cơ quan này quản lý nhiều vấn đề hơn là chỉ lưới điện quốc gia. Họ vận hành những siêu máy tính lớn nhất thế giới để mô phỏng vật lý vũ khí hạt nhân, phòng vệ sinh học y học và an toàn công cộng. Gần đây, Phòng thí nghiệm Quốc gia Sandia đã hợp tác với Penguin Solutions và NextSilicon để xây dựng siêu máy tính Spectra mới.

So với các hệ thống exascale như Frontier hay El Capitan, Spectra khá nhỏ gọn với chỉ 64 nút và 128 bộ tăng tốc có thể cấu hình thời gian chạy của NextSilicon. Tuy nhiên, quy mô không phải là mục tiêu ở đây. Spectra là một bệ thử cho Maverick-2. Tuần này, Sandia đã xác nhận hệ thống đáp ứng mọi yêu cầu chấp nhận, mở đường cho việc triển khai chip này trong các hệ thống lớn hơn trong tương lai.

Không phải một GPU thông thường

Dù có một số điểm tương đồng với Nvidia B200, Maverick-2 là một "quái vật" hoàn toàn khác. Thay vì sử dụng kiến trúc tính toán von Neumann tiêu chuẩn làm nền tảng cho hầu hết CPU và GPU hiện nay, chip của NextSilicon sử dụng kiến trúc luồng dữ liệu có thể cấu hình lại.

Hai đế tính toán của bộ vi xử lý bao gồm một lưới các đơn vị logic số học (ALU) kết nối với nhau dưới dạng đồ thị. Mỗi đơn vị được cấu hình tại thời gian chạy để thực hiện một thao tác cụ thể, будь đó là cộng, nhân hay một phép toán logic khác.

Điểm mấu chốt của chip này là khả năng chồng chéo luồng dữ liệu và tính toán. Ngay khi dữ liệu đến được đơn vị tiếp theo trong đường ống, nó sẽ được tính toán ngay lập tức mà không cần chờ các thao tác tải-lưu (load-store) di chuyển dữ liệu xung quanh.

Theo NextSilicon, điều này cải thiện đáng kể hiệu suất và hiệu quả của chip trong các khối lượng công việc thực tế.

Thách thức về lập trình

Kiến trúc luồng dữ liệu không phải là mới, nhưng hầu hết các thiết kế hiện nay từ Groq, Cerebras hay SambaNova đều nhắm vào AI suy luận hoặc huấn luyện. NextSilicon là một trong số ít công ty tập trung vào tính toán hiệu năng cao (HPC).

Tuy nhiên, lập trình cho kiến trúc này cực kỳ khó khăn, đó là lý do các startup khác thường cung cấp dịch vụ được quản lý thay vì bán máy chủ vật lý. Thay vì cố gắng chuyển đổi khối lượng công việc để chạy trên chip của mình, NextSilicon đã xây dựng một trình biên dịch cho phép chạy bất kỳ mã nguồn C, Python, Fortran hay CUDA hiện có nào trên chip của họ.

Trình biên dịch này hoạt động bằng cách chạy khối lượng công việc ban đầu trên CPU, sau đó nắm bắt đồ thị tính toán, ánh xạ nó lên các chip và tối ưu hóa để tối đa hóa hiệu suất. Với Spectra, Sandia đã xác nhận hiệu quả của linh kiện này trên ba khối lượng công việc chính: điểm chuẩn HPCG, bộ kiểm tra động lực học phân tử LAMMPS và bộ mô phỏng Monte Carlo Sparta.

AI đang thay đổi GPU

Sự tập trung của NextSilicon vào HPC đối lập hoàn toàn với thế hệ GPU tiếp theo của Nvidia. GPU Rubin sắp ra mắt của họ hứa hẹn băng thông bộ nhớ khổng lồ và lên tới 50 petaFLOPS tính toán FP4, rất phù hợp cho AI nhưng lại hạn chế cho tính toán khoa học FP64 truyền thống.

Mặc dù tính toán FP64 vẫn phù hợp với nhiều khối lượng công việc khoa học hiện có, nhưng tất cả sức mạnh AI FLOPS đó lại đánh đổi bằng hiệu suất phần cứng vector và ma trận FP64. Rubin chỉ đạt tối đa 33 teraFLOPS, chậm hơn cả GPU H100 gần bốn tuổi của Nvidia.

Tuy nhiên, Nvidia đang sử dụng một phương pháp gây tranh cãi là mô phỏng FP64 bằng các kiểu dữ liệu độ chính xác thấp hơn để đạt hiệu năng ma trận lên tới 200 teraFLOPS. Mặc dù phương pháp này đã cho thấy hứa hẹn trong một số khối lượng công việc HPC, nhưng trong các tác vụ nặng về vector như động lực học tính toán, nó mang lại rất ít lợi ích. Coincidentally, đây chính là loại khối lượng công việc mà NextSilicon đang tập trung.

NextSilicon tuyên bố một chip Maverick-2 đơn lẻ có thể cung cấp khoảng 600 gigaFLOPS tính toán FP64 trong bài kiểm tra HPCG, tương đương với các GPU hàng đầu nhưng chỉ tiêu thụ một nửa năng lượng.

Trong khi đó, AMD cũng đang tiếp cận vấn đề khác biệt với dòng MI455X và MI430X, trong đó phiên bản MI430X được thiết kế riêng cho HPC với khả năng đạt tới 200 teraFLOPS FP64.

Ai cần GPU chứ?

Các startup chip như NextSilicon vẫn cần chứng minh khả năng mở rộng quy mô của mình. Tuy nhiên, qua Đại Tây Dương, Trung Quốc đã chứng minh rằng họ không cần GPU để cạnh tranh với các siêu máy tính tốt nhất của phương Tây trong lĩnh vực tính toán khoa học.

Trung Quốc có lịch sử xây dựng các chip tùy chỉnh (boutique silicon) để nâng cao năng lực siêu máy tính quốc gia, một phần do các hạn chế thương mại của Mỹ. Các hệ thống như Sunway TaihuLight hay Tianhe 2A đều sử dụng bộ vi xử lý tùy chỉnh riêng. Gần đây, siêu máy tính LineShine được cho là sử dụng 47.000 CPU tùy chỉnh để đạt hiệu năng 2 exaFLOPS FP64.

Tại Mỹ, thách thức lớn hơn có thể là cạnh tranh với các cổ đông của các nhà thiết kế chip. AI đã biến Nvidia trở thành công ty giá trị nhất thế giới, trong khi HPC vẫn là một thị trường ngách nhưng quan trọng.