Giải mã phần cứng AMD: Mô hình chính xác cho Matrix Cores

Trong thế giới tính toán hiệu năng cao (HPC) và trí tuệ nhân tạo, GPU đóng vai trò then chốt nhờ khả năng xử lý song song khối lượng lớn phép nhân ma trận. Tuy nhiên, một nghiên cứu mới đây đăng tải trên arXiv đã chỉ ra rằng các bộ nhân ma trận (matrix multiplier) trên GPU hiện đại, bao gồm cả dòng AMD Instinct, không tuân thủ tiêu chuẩn dấu phẩy động IEEE 754. Điều này đặt ra bài toán lớn về tính tái lập (reproducibility) của kết quả tính toán.

Vấn đề: Khi phần cứng không còn "chuẩn"

Các bộ nhân ma trận trên GPU ngày nay được thiết kế để tối ưu tốc độ thay vì tuân thủ nghiêm ngặt các quy tắc số học dấu phẩy động. Theo nhóm tác giả Faizan A Khattak, Mantas Mikaitis và Carlo J. Graziani, các đặc tính của bộ nhân ma trận khác biệt giữa các nhà sản xuất, và thậm chí khác nhau giữa các kiến trúc của cùng một nhà sản xuất.

Những khác biệt này bao gồm:

• Độ rộng bộ tích lũy (accumulator width) — quyết định số bit dùng để lưu trữ kết quả trung gian
• Hành vi làm tròn (rounding behaviour)
• Điểm chuẩn hóa (normalisation points)
• Logic tràn trên/tràn dưới trung gian (intermediate underflow and overflow logic)
• Cách xử lý số dưới chuẩn (subnormals) và các đầu vào đặc biệt

Hệ quả là kết quả của cùng một phép nhân ma trận nhỏ có thể khác nhau giữa các thiết bị, và không thể khắc phục bằng phần mềm thông thường. Tệ hơn, tài liệu kỹ thuật của nhà sản xuất không mô tả chi tiết các đặc tính này, khiến việc lý giải nguyên nhân sai lệch trở nên cực kỳ khó khăn.

Đây là vấn đề đặc biệt nghiêm trọng trong các lĩnh vực đòi hỏi độ chính xác cao như mô phỏng khoa học, tài chính định lượng hay huấn luyện mô hình AI quy mô lớn.

Phương pháp: Ba thế hệ kiến trúc AMD

Nhóm nghiên cứu đã tiến hành khảo sát và mô hình hóa hành vi số học của bộ nhân ma trận trên ba kiến trúc GPU AMD:

• CDNA 1 — trên GPU MI100
• CDNA 2 — trên GPU MI210/250
• CDNA 3 — trên GPU MI300A/300X

Các nhà nghiên cứu đã thiết kế các vector kiểm thử chuyên biệt nhắm vào từng đặc tính số học, áp dụng cho mọi định dạng đầu vào được hỗ trợ. Mỗi vector được xây dựng dựa trên lập luận toán học chặt chẽ, cho phép suy luận một đặc tính số học cụ thể từ kết quả đầu ra của thiết bị.

Sau đó, họ phát triển các mô hình phần mềm dựa trên MATLAB cho từng kiến trúc, sử dụng kỹ thuật tinh chỉnh lặp được phát triển trước đó: kiểm thử ngẫu nhiên, tinh chỉnh mô hình, lặp lại cho đến khi mô hình khớp hoàn toàn với phần cứng.

Để xác thực, nhóm đã chạy bộ kiểm thử ngẫu nhiên gồm 10 triệu tập vector đầu vào — một con số đủ lớn để đảm bảo mô hình đạt độ chính xác đến từng bit (bit-level reproducibility).

Ứng dụng: So sánh AMD Matrix Cores và NVIDIA Tensor Cores

Như một minh chứng cho tiềm năng của các mô hình này, nhóm nghiên cứu đã triển khai hai ứng dụng số học thực nghiệm để định lượng sự khác biệt về độ chính xác ở cấp độ ứng dụng giữa Matrix Cores của AMD và Tensor Cores của NVIDIA.

Kết quả này không chỉ mang ý nghĩa học thuật. Với cộng đồng nghiên cứu và doanh nghiệp Việt Nam đang ngày càng sử dụng GPU AMD Instinct cho các cụm tính toán hiệu năng cao hoặc huấn luyện mô hình AI, việc hiểu rõ đặc tính số học của phần cứng giúp đưa ra quyết định lựa chọn nền tảng chính xác hơn, đồng thời có cơ sở để đánh giá sai số trong các pipeline tính toán quan trọng.

Ý nghĩa dài hạn

Công trình này tiếp nối nỗ lực của cộng đồng khoa học trong việc công khai hóa và chuẩn hóa hành vi số học của phần cứng tăng tốc. Khi các mô hình mô phỏng chính xác đến từng bit được chia sẻ công khai, nhà phát triển có thể:

• Dự đoán sai số trước khi chạy trên phần cứng thực tế
• Mô phỏng kết quả GPU ngay trên CPU mà không cần phần cứng chuyên dụng
• Đặt nền tảng cho các tiêu chuẩn số học mới phù hợp với tăng tốc phần cứng

Với sự bùng nổ của AI và nhu cầu tính toán hiệu năng cao ngày càng tăng, những nghiên cứu như thế này là bước đi thiết yếu để thu hẹp khoảng cách giữa hiệu năng phần cứng và độ tin cậy khoa học.

Nghiên cứu được đăng tải trên arXiv với mã arXiv:2609.14845, thuộc lĩnh vực Kiến trúc Phần cứng (cs.AR) và Phần mềm Toán học (cs.MS).