Nghiên cứu từ Đại học Giao thông Thượng Hải giới thiệu FIBER, kiến trúc GPU mới mở rộng mô hình SIMT bằng cách tách luồng thực thi khỏi quyền sở hữu thanh ghi riêng, cho phép điều phối dữ liệu linh hoạt ở cấp thanh ghi. Kiến trúc này đạt hiệu suất tăng tới 2,25 lần trong bối cảnh suy luận LLM thực tế, giải quyết các nút thắt về song song cố định và lập lịch thô trên các GPU hiện đại như Ampere, Hopper và Blackwell.

FIBER: Mô hình thực thi GPU tách rời thanh ghi giúp tăng tốc 2,25 lần cho tác vụ AI trên Tensor Core

Một nghiên cứu mới từ các nhà khoa học máy tính Trung Quốc vừa công bố trên arXiv đã đề xuất FIBER, một kiến trúc GPU đột phá nhằm giải quyết các nút thắt hiệu suất trong việc vận hành Tensor Core — đơn vị tính toán chuyên dụng đang là trái tim của các tác vụ AI hiện đại. Bằng cách tách rời luồng thực thi khỏi quyền sở hữu thanh ghi riêng tư, FIBER hứa hẹn mang lại tốc độ xử lý nhanh hơn đáng kể cho các khối lượng công việc trí tuệ nhân tạo phức tạp.

Tóm tắt nội dung: FIBER mở rộng mô hình SIMT (Single Instruction, Multiple Thread) truyền thống của GPU bằng cách giới thiệu khái niệm fiber — một đơn vị thực thi cơ bản không gắn với thanh ghi riêng mà truy cập qua một không gian chia sẻ. Kiến trúc này cho phép song song hóa động, lập lịch luồng dữ liệu ở cấp thanh ghi và cung cấp giải pháp cung cấp toán hạng không dự phòng. Khi áp dụng vào các kịch bản suy luận LLM thực tế, FIBER đạt mức tăng tốc 2,25 lần trên GPU Ampere, 1,8 lần trên Hopper và 2,09 lần trên Blackwell.

Bối cảnh: Áp lực ngày càng lớn lên GPU hiện đại

Trong vài năm gần đây, GPU đã tích hợp ngày càng nhiều Tensor Core — phần cứng chuyên xử lý phép nhân ma trận — vào chuỗi thực thi. Tổng thông lượng tensor tiếp tục tăng trưởng nhờ sự phát triển của nguồn cung cấp toán hạng, từ cơ chế dựa trên thanh ghi trong kiến trúc Ampere đến cơ chế dựa trên bộ nhớ không dự phòng trong Hopper và Blackwell.

Tuy nhiên, việc điều phối toàn bộ đường ống tính toán tensor cho các khối lượng công việc AI hiện đại vẫn là một thách thức lớn. Nhóm nghiên cứu đã xác định hai nút thắt cơ bản:

Song song cố định (fixed parallelism): Mô hình hiện tại không thể linh hoạt điều chỉnh mức độ song song theo nhu cầu thực tế của từng giai đoạn tính toán.
Lập lịch thô (coarse-grained scheduling): Việc phân bổ tài nguyên ở mức độ lớn khiến GPU khó xử lý hiệu quả các khối lượng công việc AI đan xen giữa các phép toán GEMM (phép nhân ma trận tổng quát) và nhiều phép toán phi-GEMM khác nhau.

FIBER: Kiến trúc mới với khái niệm "fiber"

Để giải quyết những vấn đề trên, nhóm tác giả đề xuất FIBER — một kiến trúc mở rộng mô hình SIMT của GPU. Điểm mấu chốt nằm ở việc giới thiệu khái niệm fiber, một đơn vị thực thi cơ bản thay thế cho luồng (thread) truyền thống:

Fiber được tách rời khỏi quyền sở hữu thanh ghi riêng tư.
Nó chỉ mang theo trạng thái điều khiển tối thiểu.
Truy cập thanh ghi của SM (Streaming Multiprocessor) thông qua một góc nhìn chia sẻ (shared view).

"Điều này cho phép mở rộng song song động, lập lịch luồng dữ liệu ở cấp độ hạt mịn (fine-grained) và cung cấp một giải pháp thay thế không dự phòng cho việc cung cấp toán hạng ma trận." — Trích tóm tắt nghiên cứu.

Ba trụ cột kỹ thuật chính

Để hiện thực hóa ý tưởng, nhóm nghiên cứu đã phải can thiệp sâu vào cả ba tầng của hệ thống:

Mở rộng ISA (Tập lệnh kiến trúc): Bổ sung cơ chế định địa chỉ thanh ghi chia sẻ — cho phép các fiber truy cập thanh ghi thông qua không gian dùng chung thay vì sở hữu độc quyền.
Vi kiến trúc (Microarchitecture): Thiết kế cơ chế cung cấp toán hạng không xung đột (conflict-free operand delivery) để nhiều fiber có thể đồng thời đọc và ghi dữ liệu mà không cạnh tranh tài nguyên.
Trình biên dịch: Phát triển phương pháp ánh xạ chương trình dựa trên fiber để tự động chuyển đổi mã nguồn sang mô hình thực thi mới.

Kết quả ấn tượng trên các thế hệ GPU khác nhau

Trong bối cảnh thử nghiệm điển hình về suy luận LLM với độ chính xác hỗn hợp (mixed-precision), FIBER đạt được những con số đáng chú ý:

2,25 lần tăng tốc đầu cuối trên GPU Ampere (so với 1,15 lần nếu chỉ tính riêng phần tính toán FP16 gốc).
1,8 lần tăng tốc trên kiến trúc Hopper.
2,09 lần tăng tốc trên kiến trúc Blackwell.
Mức tăng tốc ở cấp độ kernel có thể lên tới 2,49 lần.

Đáng chú ý, mức tăng tốc 2,25 lần trên Ampere bao gồm cả lợi ích từ việc tối ưu hóa các phép toán phi-GEMM — một phần thường bị bỏ qua trong các nghiên cứu tập trung hoàn toàn vào phép nhân ma trận.

Ý nghĩa đối với cộng đồng nghiên cứu và phát triển

Nghiên cứu này mang lại những góc nhìn mới về cách tối ưu hóa GPU cho AI:

Giảm sự phụ thuộc vào thanh ghi riêng: Mô hình fiber có thể giúp các nhà phát triển tận dụng tốt hơn tài nguyên phần cứng mà không bị giới hạn bởi số thanh ghi vật lý trên mỗi luồng.
Hỗ trợ khối lượng công việc không thuần GEMM: Các ứng dụng AI thực tế luôn đan xen nhiều loại phép toán; việc có một kiến trúc điều phối linh hoạt là rất quan trọng.
Tiềm năng áp dụng rộng rãi: Kiến trúc đề xuất tương thích với nhiều thế hệ GPU hiện có, từ Ampere đến Blackwell, không yêu cầu thay đổi quá căn bản về phần cứng.

Mặc dù vẫn còn ở giai đoạn nghiên cứu học thuật, FIBER mở ra hướng đi tiềm năng cho các nhà sản xuất chip như NVIDIA trong việc thiết kế thế hệ GPU tiếp theo — nơi mà việc tách rời luồng thực thi khỏi thanh ghi có thể trở thành tiêu chuẩn mới để thúc đẩy hiệu suất AI lên một tầm cao mới.