meshoptimizer xử lý hàng tỷ tam giác trong vài phút

Công nghệ22 tháng 8, 2026·7 phút đọc

Tác giả thư viện meshoptimizer trình bày quá trình tối ưu để xử lý cảnh Zorah 36 GB của NVIDIA, từ 30 phút xuống còn khoảng 3 phút. Các cải tiến gồm sửa cấp phát bộ nhớ theo đỉnh, sắp xếp lưới theo số tam giác, dùng SIMD và bộ nhớ đệm theo luồng.

meshoptimizer xử lý hàng tỷ tam giác trong vài phút

Đầu năm 2025, NVIDIA giới thiệu công nghệ dò tia RTX Mega Geometry cùng bản demo Zorah. Demo này phát hành dưới dạng cảnh Unreal Engine khoảng 100 GB, chỉ mở được trong nhánh NvRTX. Đến đầu tháng 9, NVIDIA cập nhật mẫu mã nguồn mở vk_lod_clusters, kèm cảnh Zorah dưới dạng tệp glTF nặng 36 GB.

Arseny Kapoulkine, tác giả thư viện xử lý hình học meshoptimizer, đã dùng chính tệp này để thử nghiệm cấu trúc LOD phân cấp theo cụm (clustered LOD). Kết quả ban đầu rất chậm, và bài viết ghi lại từng bước tối ưu để đưa thời gian xử lý xuống khoảng 3 phút.

Bài toán đặt ra

Cảnh Zorah chỉ chứa hình học, phần lớn lưới chỉ có tọa độ đỉnh, không có pháp tuyến hay thuộc tính khác. Đưa tệp vào Blender mất khoảng 10 phút rồi hết bộ nhớ. Unreal Engine còn nhanh hơn theo nghĩa xấu: hết bộ nhớ và sập sau chưa đầy 5 phút.

Phương án khả thi là chạy mã mẫu của NVIDIA để sinh cấu trúc cụm. Nhưng chạy với 16 luồng cũng hết bộ nhớ. Tác giả phải hạ xuống 8 luồng, tốn hơn 180 GB RAM và khoảng 30 phút.

Cấu trúc mà Nanite và các công cụ tương tự dùng là đồ thị có hướng không chu trình (DAG) gồm các cụm tam giác. Mỗi cụm chứa tối đa khoảng 128 tam giác, đại diện cho một mảng nhỏ của lưới ở một mức chi tiết. Khi chạy, hệ thống thay cụm bằng một cụm thô hơn nếu sai số hình ảnh dưới 1 điểm ảnh.

Quy trình gồm ba bước: chia lưới thành cụm, gộp các cụm lân cận thành nhóm rồi đơn giản hóa từng nhóm, sau đó lặp lại đến khi không còn cụm nào hợp lệ.

Sửa lỗi cấp phát theo số đỉnh

Trình phân tích Superluminal cho thấy hàm memset chiếm thời gian bất thường. Nguyên nhân là bộ chia cụm dùng mảng đánh dấu theo chỉ số đỉnh để biết đỉnh nào đã thuộc cụm hiện tại. Cách này nhanh khi lưới ít đỉnh, nhưng rất tốn khi chia nhỏ lặp lại một lưới 30 triệu tam giác.

Bộ đơn giản hóa cũng dính lỗi tương tự ở mức nhẹ hơn: khởi tạo mảng bit cho toàn bộ đỉnh dù chỉ dùng một tập con. Trước đó tác giả chỉ thử với lưới lớn nhất 6 triệu tam giác, nhỏ hơn cả một bậc so với lưới đơn lẻ trong cảnh này.

Cách sửa là chỉ khởi tạo những phần tử mảng mà bộ đệm chỉ số thực sự dùng, khi phát hiện trường hợp thưa (số chỉ số nhỏ hơn số đỉnh). Kết quả: bản tối ưu cho dựng hình (rasterization) còn 3 phút 31 giây, bản tối ưu cho dò tia còn 3 phút 57 giây.

Cân bằng tải giữa các luồng

Dùng lệnh /usr/bin/time -v cho thấy mức sử dụng CPU chỉ khoảng 1240-1260%, tức là mới dùng hơn 12 luồng. Nguyên nhân là phân bố tam giác rất lệch: vài lưới có hàng chục triệu tam giác, phần lớn còn lại nhỏ hơn nhiều.

Nếu lưới lớn được đưa vào hàng đợi muộn, các luồng khác phải chờ. Biểu đồ cho thấy một lưới lớn mất khoảng 48 giây chỉ để dựng cụm cho tầng đầu tiên của DAG.

Cách xử lý đơn giản: sắp xếp lưới theo số tam giác giảm dần, để lưới nặng nhất chạy trước. Lưới nhỏ sau đó lấp các khoảng trống ở cuối. Mức sử dụng CPU tăng lên 1574%, thời gian còn 2 phút 56 giây cho bản dựng hình và 3 phút 07 giây cho bản dò tia.

Tác giả cũng đề cập cách giới hạn bộ nhớ bằng std::atomic hoặc semaphore đếm, dùng khi máy chỉ có 40 GB RAM. Với cảnh này, giới hạn được đặt trên 60 GB.

Tăng tốc phần dò tia

Với bản tối ưu cho dò tia, hàm meshopt_buildMeshletsSpatial chiếm hai phần ba thời gian chạy. Lõi của nó gần giống bộ dựng BVH kiểu quét (sweep BVH): mỗi tầng cần tìm mặt phẳng chia tốt nhất, dựa trên chi phí tính từ diện tích hộp bao.

Tác giả thử giảm lượng bộ nhớ mỗi hộp bao tham chiếu nhưng không hiệu quả. Cách hiệu quả là chuyển hàm boxMerge sang SIMD, cụ thể là SSE2, với 20 dòng mã cho mỗi kiến trúc. Phần NEON cũng được làm tương tự cho máy chủ ARM hoặc máy Mac.

Kết quả: từ 3 phút 07 giây xuống 2 phút 51 giây, nhanh thêm khoảng 9%. Tác giả ghi chú trên Apple M4, thay đổi tương tự cho tốc độ nhanh gấp hơn 2 lần riêng ở bước chia cụm.

Tiếp theo là sắp xếp tam giác theo thứ tự không gian Morton bằng hàm meshopt_spatialSortTriangles. Thứ tự bộ nhớ mạch lạc hơn giúp các tầng đầu của đệ quy truy cập bộ đệm tốt hơn. Chỉ thêm một dòng mã, thời gian còn 2 phút 44 giây.

Bộ nhớ đệm cấp phát theo luồng

Trên Linux, thỉnh thoảng biểu đồ sử dụng luồng có điểm đỏ, tức luồng đang chờ luồng khác cấp phát bộ nhớ. Trên Windows, tình hình tệ hơn nhiều. Các khối lớn được cấp qua VirtualAlloc, chi phí ban đầu cao, và nhiều luồng tranh nhau một mutex của heap.

Giải pháp là dùng vùng nhớ riêng cho từng luồng (thread-local arena): cấp trước một khối khoảng 128 MB, cấp phát kiểu bump, nếu không đủ thì quay về malloc. Khi giải phóng, kiểm tra con trỏ có thuộc vùng của luồng không.

meshoptimizer cho phép ghi đè toàn bộ hàm cấp phát và bảo đảm thứ tự gọi kiểu ngăn xếp, nên cách này dễ triển khai. Trên Linux còn khoảng 2 phút 35 giây. Trên Windows, từ 4 phút 20 giây xuống 2 phút 38 giây, ngang với Linux.

Tính chung, tốc độ nhanh hơn khoảng 3,5 lần so với mốc ban đầu, và nhanh hơn nhiều so với 30 phút lúc đầu.

Đưa vào thực tế

Phần lớn cải tiến đã được gộp vào mã mẫu, nay phát hành dưới dạng thư viện siêu nhỏ một tệp tiêu đề tên clusterlod.h trong kho meshoptimizer. Mã theo giấy phép MIT, dễ sửa và dễ tích hợp nguyên trạng.

Mẫu vk_lod_clusters của NVIDIA đã tích hợp mã này như một tùy chọn, bật bằng tham số --nvclusterlod 0. Nhánh trong kho NVIDIA còn thêm chế độ song song nội bộ, tức dùng nhiều luồng để dựng DAG từ một lưới lớn duy nhất. Cách này không cần cho cảnh Zorah, nhưng hữu ích khi một lưới quá lớn.

Với dữ liệu do clusterlod.h sinh ra, cảnh Zorah chạy trong mẫu vk_lod_clusters với bể hình học khoảng 2 GB, đạt 26 ms khi dò tia và 16 ms khi dựng hình, trên GPU GeForce 3050. Đây là card lấy điện trực tiếp từ khe cắm mainboard, không cần dây nguồn phụ.

Trong vk_lod_clusters, quy trình có thêm bước tuần tự hóa dữ liệu nên chậm hơn: khoảng 3 phút 20 giây, tạo tệp bộ nhớ đệm 62 GB. Tác giả ghi chú gần 10 giây trong đó là thời gian Linux mở tệp để ghi.

Vẫn còn việc để làm. Mã chưa có cấu trúc tăng tốc phân cấp riêng để nhanh chóng xác định tập cụm cần hiển thị. Thuật toán gộp cụm mặc định chỉ gộp các cụm kề nhau về mặt tô-pô, đôi khi sinh ra DAG có quá nhiều gốc. Tác giả cho biết lỗi này đã được sửa trong meshopt_partitionClusters ngay sau khi bài viết đăng.

Góc nhìn

Với lập trình viên đồ họa và kỹ sư làm công cụ nội dung, bài viết này là ví dụ rõ cho việc tối ưu dựa trên số đo thay vì phỏng đoán. Ba nút thắt lớn nhất đều nằm ở những chỗ dễ bỏ qua: khởi tạo mảng theo kích thước toàn lưới, thứ tự đưa việc vào nhóm luồng, và cách cấp phát bộ nhớ khi chạy đa luồng.

Các kỹ thuật ở đây không riêng gì dò tia. Bộ nhớ đệm cấp phát theo luồng và việc sắp xếp việc theo chi phí đều dùng được cho bất kỳ đường ống xử lý nội dung nào chạy nhiều luồng. Nhóm nào đang xử lý tài nguyên lớn trên máy trạm nên thử trước khi tính đến việc nâng cấp RAM.

Một điểm đáng lưu ý là thư viện đã sắp lên phiên bản 1.0. Việc bộ nhớ đệm theo luồng chưa vào bản này cho thấy các dự án mã nguồn mở lớn cũng phải cân nhắc giữa tiến độ và độ ổn định của giao diện.

Nguồn: zeux.io · Quy trình biên tập

Chia sẻ:FacebookX