Tối ưu meshoptimizer: Xử lý hàng tỷ đỉnh tam giác chỉ trong vài phút

Bài viết này phân tích hành trình tối ưu hóa thư viện meshoptimizer để xử lý cảnh Zorah – một mô hình đồ họa khổng lồ chứa hàng tỷ tam giác, giúp giảm thời gian xử lý từ 30 phút xuống chỉ còn khoảng 3 phút. Tác giả đã kết hợp nhiều kỹ thuật từ sắp xếp công việc thông minh, tối ưu hóa SIMD, đến quản lý bộ nhớ hiệu quả, mang lại hiệu suất vượt trội cho các pipeline đồ họa hiện đại.

Giới thiệu về Zorah và RTX Mega Geometry

Đầu năm 2025, NVIDIA công bố công nghệ dò tia mới mang tên RTX Mega Geometry cùng với demo ấn tượng là cảnh Zorah. Bản demo này được phân phối dưới dạng một scene Unreal Engine khoảng 100 GB, chỉ có thể mở trong nhánh đặc biệt NvRTX của Engine. Công nghệ này kết hợp clustered raytracing với pipeline LOD cụm của Nanite, cho phép phát trực tuyến và hiển thị một scene có độ chi tiết cực cao với đầy đủ tính năng dò tia mà không cần dùng đến lưới proxy thay thế mà Unreal Engine thường tạo ra cho việc dò tia.

Bài toán xử lý dữ liệu khổng lồ

Khi NVIDIA phát hành bản cập nhật cho mẫu mã nguồn mở vk_lod_clusters với cảnh Zorah dưới dạng tệp glTF, tác giả bài viết – người phát triển thư viện meshoptimizer – đã nhận ra một thách thức lớn: làm thế nào để xử lý một tệp glTF nặng tới 36 GB chỉ chứa dữ liệu hình học?

Thử nghiệm ban đầu cho thấy quá trình xử lý với 8 luồng (threads) tiêu tốn hơn 180 GB RAM và mất tới 30 phút để hoàn thành. Việc nhập tệp này vào Blender khiến máy hết bộ nhớ chỉ sau 10 phút, trong khi Unreal Engine tệ hơn khi crash chỉ sau 5 phút trên hệ thống có 192 GB RAM.

Các kỹ thuật tối ưu chính

1. Tái cấu trúc mã nguồn

Công việc đầu tiên là chuyển đổi mã demo thành thư viện có thể tái sử dụng với giao diện sạch sẽ. Điều này không chỉ giúp loại bỏ các bản sao STL không cần thiết mà còn cho phép xử lý riêng biệt các thuộc tính đỉnh (vertex attributes) – cảnh Zorah chủ yếu sử dụng lưới chỉ có vị trí, vì vậy không cần xử lý normal hay các thuộc tính khác.

2. Khắc phục vấn đề khởi tạo mảng

Một vấn đề quan trọng được phát hiện qua profiling là việc khởi tạo mảng đánh dấu đỉnh bằng memset tiêu tốn rất nhiều thời gian khi xử lý các tập hợp con của một lưới có 30 triệu tam giác. Giải pháp đưa ra là chỉ khởi tạo các phần tử mảng được sử dụng bởi index buffer khi phát hiện truy cập thưa thớt. Kết quả giảm từ 9 phút 20 giây xuống còn 3 phút 31 giây cho phiên bản rasterization.

3. Sắp xếp công việc theo kích thước

Phân tích kỹ hơn cho thấy sự mất cân bằng nghiêm trọng giữa các luồng xử lý – một số lưới lớn bị xếp sau dẫn đến thời gian chờ đợi. Giải pháp đơn giản nhưng hiệu quả là sắp xếp các lưới theo số lượng tam giác giảm dần, đảm bảo các tác vụ nặng nhất được xử lý trước tiên. Kết quả cải thiện từ 3 phút 07 giây xuống còn 2 phút 56 giây với mức sử dụng CPU tăng từ 1240% lên 1574%.

4. Tối ưu hóa SIMD cho bộ clusterizer không gian

Con số đáng chú ý: chuyển đổi hàm boxMerge sang SSE2 mang lại hiệu suất tăng gấp đôi cho riêng bước clusterization trên Apple M4, trong khi trên x64 con số này thấp hơn nhưng vẫn đáng kể.

Việc sử dụng SIMD để tính toán hộp giới hạn (bounding box) với các lệnh MINPS/MAXPS giúp giảm từ 3 phút 07 giây xuống còn 2 phút 51 giây – mức cải thiện 9% tổng thể.

5. Sắp xếp tam giác theo thứ tự Morton

Một kỹ thuật bổ sung là sử dụng thứ tự Morton (Morton order) để sắp xếp tam giác theo không gian, cải thiện tính cục bộ bộ nhớ cache. Chỉ với một dòng mã bổ sung, hiệu suất tiếp tục tăng thêm 5%.

6. Xử lý phân bổ bộ nhớ đa luồng

Vấn đề cuối cùng nằm ở việc phân bổ bộ nhớ khi nhiều luồng hoạt động đồng thời. Giải pháp sử dụng arena bộ nhớ mỗi luồng (thread-local arena) với cơ chế bump allocator đã giúp cân bằng hiệu suất giữa Linux và Windows. Đáng chú ý, trên Windows thời gian xử lý giảm từ 4 phút 20 giây xuống chỉ còn 2 phút 38 giây.

Kết quả đạt được

• Linux: 2 phút 35 giây (tốc độ nhanh gấp 3.5 lần so với ban đầu, và nhanh hơn khoảng 12 lần so với 30 phút trước khi tối ưu)
• Windows: 2 phút 38 giây sau khi áp dụng thread cache
• Bộ nhớ: giảm từ hơn 180 GB xuống còn khoảng 45 GB cho phiên bản raytracing

Ứng dụng trong vk_lod_clusters của NVIDIA

Điều thú vị là mã nguồn từ các tối ưu này đã được tích hợp vào mẫu vk_lod_clusters của NVIDIA như một tùy chọn. Khả năng xử lý hiệu quả một scene khổng lồ chỉ trong vài phút mở ra tiềm năng lớn cho việc phát triển game engine và ứng dụng đồ họa tại Việt Nam, nơi các studio indie thường gặp khó khăn với pipeline xử lý dữ liệu lớn trên phần cứng tầm trung.

Kết luận

Mặc dù một số cải tiến như SIMD và sắp xếp Morton có thể chưa cần thiết cho tất cả các dự án, nhưng sự kết hợp giữa tối ưu mã nguồn, quản lý bộ nhớ và chiến lược lập lịch thông minh đã tạo ra một bước nhảy vọt về hiệu suất. Đối với các nhà phát triển đồ họa Việt Nam, đây là một minh chứng rõ ràng rằng việc tối ưu sâu có thể biến những tác vụ tưởng chừng bất khả thi thành hiện thực ngay cả trên phần cứng phổ thông.