GPU đọc bộ nhớ thế nào: giải mã đường đi của lệnh nạp

22 tháng 8, 2026·3 phút đọc

Một bài phân tích kỹ thuật đi ngược từ mã SASS của lệnh nạp bộ nhớ toàn cục trên RTX 4090 để tìm ra cách GPU chọn bộ nhớ đệm, phân vùng bộ nhớ và ngân hàng DRAM. Tác giả dùng thí nghiệm đo thời gian thay cho tài liệu của NVIDIA, vốn không công bố chi tiết ở mức này.

GPU đọc bộ nhớ thế nào: giải mã đường đi của lệnh nạp

Phần lớn chi tiết về đường đi của một lệnh nạp bộ nhớ trong GPU không được NVIDIA công bố. Bài viết trên blog Doubleword chọn cách đo trực tiếp trên phần cứng để lấp khoảng trống đó, cụ thể là một card RTX 4090.

Tác giả Fergus Finn tiếp nối bài trước về kernel cộng vector. Lần này ông bám theo lệnh nạp bộ nhớ toàn cục trong mã SASS, lần lượt qua bộ nhớ đệm L1, L2, bảng trang, TLB và cuối cùng là các chip DRAM.

Phương pháp: đo thời gian thay vì đọc tài liệu

Toàn bộ kết quả đến từ thí nghiệm định thời. Kỹ thuật chính là dựng tập trục xuất (eviction set): nạp một nhóm con trỏ rồi rút dần từng phần tử, quan sát độ trễ. Khi độ trễ tụt xuống mức truy cập L1, nghĩa là nhóm vừa rút không còn gây xung đột.

Từ đó xác định được L1 có 8 đường (way), mỗi đường chia thành các sector 32 byte. Một lệnh nạp chỉ yêu cầu đúng những sector mà các lane trong warp chạm tới, không làm tròn lên cả dòng.

L1 dùng địa chỉ ảo cho cả chỉ mục lẫn thẻ (tag). Tác giả chứng minh bằng cách ánh xạ cùng một vùng nhớ vật lý vào hai địa chỉ ảo khác nhau.

Phân vùng bộ nhớ L2 và hàm băm địa chỉ

Khó hơn là xác định cách địa chỉ được gán vào từng phân vùng của L2. Tác giả tìm ra một hàm dựa trên các bit chẵn lẻ của địa chỉ và một phép chia lấy dư cho 3 và cho 9.

Hàm này chọn bộ điều khiển bộ nhớ (controller) trước, sau đó chọn phân vùng cụ thể trong bộ điều khiển đó. Kết quả kiểm chứng rất rõ: nạp 8.192 dòng L2 từ đúng các phân vùng dự đoán chậm hơn khoảng 36 lần so với nạp trải đều.

Card 4090 có 12 bộ điều khiển, tương ứng bus 384 bit. Mỗi bộ điều khiển gắn với 4 phân vùng trên chip AD102 đầy đủ, nhưng chỉ còn 3 phân vùng hoạt động trên 4090 vì một phân vùng bị vô hiệu hóa.

Mỗi phân vùng L2 có 16 đường và dùng địa chỉ vật lý cho cả chỉ mục lẫn thẻ. Tác giả xác nhận điều này bằng cách so sánh ngưỡng tràn L2 của một vùng nhớ thường và một vùng nhớ được ánh xạ hai lần.

Bảng trang, TLB và DRAM

GPU dùng trang nhớ 2 MiB. Công cụ nvdebug có thể đọc trực tiếp bảng trang từ máy chủ, cho thấy mọi bộ cấp phát thiết bị đều kết thúc ở một mục bảng trang 2 MiB.

TLB hoàn toàn kết hợp (fully associative), giữ 16 mục, dùng chung cho các warp trong một SM và thay thế theo kiểu ít dùng gần đây nhất (LRU). Truy cập 16 trang tốn khoảng 127 ns, sang trang thứ 17 là bắt đầu xung đột.

Ở tầng DRAM, tác giả đo được hàng nhớ (row) dài 1 KiB, tức 32 cột mỗi cột 32 byte. Mở một hàng mới tốn khoảng 15 lần so với đọc tiếp trong hàng đang mở.

Góc nhìn

Những con số như 16 mục TLB hay 8 đường L1 không chỉ để thỏa trí tò mò. Chúng giải thích vì sao một kernel có cùng số phép tính nhưng cách bố trí dữ liệu khác nhau lại chênh nhau hàng chục lần hiệu năng.

Với người viết CUDA tại Việt Nam, bài học thực dụng là căn chỉnh dữ liệu theo sector và tránh để các luồng dồn vào cùng một phân vùng L2. Khi tối ưu mà không có công cụ đo đạc thì rất dễ sửa sai chỗ.

Cách làm này cũng cho thấy một hướng học phần cứng không cần tài liệu nội bộ: đặt câu hỏi, dựng thí nghiệm, rồi kiểm chứng bằng chính độ trễ đo được.

Nguồn: blog.doubleword.ai (bài gốc ngày 21 tháng 8, 2026) · Quy trình biên tập

Chia sẻ:FacebookX