REST3D: Tái tạo cảnh 3D ổn định vật lý từ một bức ảnh duy nhất

REST3D: Tái tạo cảnh 3D ổn định vật lý từ một bức ảnh duy nhất

Khả năng tái tạo các cảnh 3D ổn định về mặt vật lý chỉ từ một ảnh RGB duy nhất đang mở ra những cơ hội lớn, cho phép chuyển đổi những bức ảnh bình thường thành tài sản kỹ thuật số sẵn sàng cho mô phỏng. Điều này đặc biệt hữu ích cho các ứng dụng như tương tác đắm chìm (immersive interaction) và sáng tạo nội dung số.

Tuy nhiên, các phương pháp tái tạo từ ảnh đơn hiện tại thường gặp hạn chế trong việc nắm bắt cấu trúc vật lý thực của cảnh. Kết quả là chúng thường tạo ra các mô hình có hình học hợp lý nhưng lại không nhất quán về mặt vật lý, dẫn đến các hiện tượng như vật thể lơ lửng hoặc xuyên qua nhau. Những lỗi này khiến cảnh vật trở nên không ổn định khi đưa vào mô phỏng vật lý.

Các phương pháp tạo cảnh có điều kiện theo hình ảnh (image-conditioned) đã cải thiện tính hợp lý về vật lý, nhưng chúng thường dựa quá nhiều vào các giả định trước (priors) về cảnh. Điều này dẫn đến sự sắp xếp vật thể có vẻ hợp lý nhưng lại không chính xác và không khớp với ảnh đầu vào.

Để giải quyết vấn đề này, chúng tôi giới thiệu REST3D, một khung khổ tái tạo từ ảnh đơn có khả năng tái tạo lại các cảnh 3D ổn định về mặt vật lý (REconstruct physically STable 3D). Phương pháp này tích hợp sự hiểu biết về cảnh vật lý với quá trình tinh chỉnh có ràng buộc vật lý.

Cách thức hoạt động

Đầu tiên, REST3D giới thiệu một kỹ thuật hiểu biết cảnh vật lý dạng tác tử (agentic physical scene understanding). Kỹ thuật này xây dựng một biểu diễn dạng cây cảnh (scene-tree representation), nắm bắt trạng thái vật lý của các vật thể và mối quan hệ giữa chúng dựa trên góc độ hỗ trợ trọng lực. Điều này cung cấp một cấu trúc tiên quyết cho quá trình tái tạo.

Tận dụng cấu trúc này, hệ thống khởi tạo cảnh bằng cách sử dụng các mô hình chuyển đổi ảnh sang 3D. Sau đó, quá trình căn chỉnh được hướng dẫn bởi cây cảnh và tối ưu hóa dưới các ràng buộc vật lý để giải quyết các vi phạm vật lý, đồng thời vẫn giữ được tính nhất quán về mặt thị giác với ảnh đầu vào.

Kết quả và Ứng dụng

Các thí nghiệm cho thấy phương pháp của chúng tôi giảm thiểu đáng kể các lỗi vật lý và cải thiện độ ổn định của mô phỏng trên cả tập dữ liệu tổng hợp và thực tế, trong khi vẫn duy trì chất lượng tái tạo cao.

Chúng tôi cũng đã chứng minh các cảnh được tái tạo trong hệ thống tương tác thực tế ảo (VR) dựa trên sự tương tác giữa người và vật thể. Người dùng có thể tương tác tự nhiên với các vật thể ảo ổn định thông qua các thao tác tay.

Trong các bài kiểm tra trên môi trường mô phỏng Isaac Gym, các cảnh được tái tạo bởi REST3D ở trạng thái sẵn sàng cho mô phỏng và nhanh chóng ổn định sau khi áp dụng trọng lực. Ngược lại, các phương pháp cơ sở (baseline) thường gặp phải tình trạng vật thể xuyên nhau, dẫn đến việc chúng bị tách ra một cách dữ dội và trở nên mất ổn định khi mô phỏng.

Công nghệ này hứa hẹn sẽ là bước đệm quan trọng để nâng cao chất lượng của các trải nghiệm thực tế ảo và metaverse trong tương lai.