Apple SHARP chạy trực tiếp trên trình duyệt: Biến ảnh 2D thành 3D ngay tại máy tính

Một dự án mã nguồn mở mới mang tên ml-sharp-web đang thu hút sự chú ý của cộng đồng công nghệ nhờ khả năng chạy mô hình Apple SHARP trực tiếp trên trình duyệt web. Thay vì phụ thuộc vào các máy chủ mạnh mẽ hay GPU đắt đỏ, dự án này tận dụng ONNX Runtime Web để thực hiện suy luận (inference) ngay trên trình duyệt của người dùng.

GIF minh họa quá trình tạo Gaussian Splat

Tính năng chính của ml-sharp-web

Về cơ bản, đây là một trình tạo Gaussian Splat dựa trên trình duyệt, được xây dựng dựa trên nền tảng Apple SHARP. Người dùng có thể thực hiện quy trình làm việc hoàn chỉnh mà không cần cài đặt phần mềm phức tạp:

• Tải lên một hình ảnh duy nhất.
• Tạo Gaussian splats trực tiếp trong trình duyệt.
• Xem trước kết quả 3D ngay lập tức.
• Tải xuống tệp .ply để sử dụng trong các ứng dụng 3D khác.

Công nghệ và kiến trúc

Điểm ấn tượng nhất của dự án là cách nó xử lý mô hình AI nặng nề. Mô hình SHARP khi xuất sang định dạng ONNX có dung lượng khá lớn (khoảng 2,4 GB). Để xử lý vấn đề này, tác giả đã sử dụng:

• React + TypeScript: Xây dựng giao diện người dùng.
• ONNX Runtime Web: Chạy suy luận mô hình thông qua Web Worker.
• WASM (WebAssembly): Tối ưu hóa hiệu suất chạy trên trình duyệt.
• GaussianSplats3D: Thư viện để hiển thị kết quả 3D ngay trên trang web.

Quy trình xử lý bao gồm việc chuyển đổi dữ liệu từ NDC (Normalized Device Coordinates) sang metric gaussian và ghi tệp PLY ngay phía client.

Yêu cầu hệ thống và lưu ý

Vì toàn bộ quá trình xử lý diễn ra trên trình duyệt, người dùng cần có một máy tính hiện đại với đủ dung lượng RAM để tải mô hình. Các trình duyệt được khuyến nghị là Chrome hoặc Edge trên máy tính để bàn để hỗ trợ tốt nhất cho WebGPU và WASM.

Ngoài ra, người dùng cần lưu ý về giấy phép sử dụng. Mã nguồn của Apple SHARP và các trọng số (weights) của mô hình có các giấy phép riêng biệt. Việc sử dụng checkpoint/weights do Apple phát hành phải tuân thủ các hạn chế về mục đích nghiên cứu.

Cách cài đặt nhanh

Để trải nghiệm dự án này, bạn cần cài đặt Bun và thực hiện các lệnh sau:

1. Cài đặt các thư viện phụ thuộc:

   bun install

2. Khởi động ứng dụng:

   bun dev

3. Mở địa chỉ (thường là http://localhost:5173) và bắt đầu tải ảnh để tạo 3D.

Đây là một bước tiến thú vị trong việc đưa các mô hình AI tạo sinh 3D phức tạp đến gần hơn với người dùng phổ thông thông qua công nghệ web hiện đại.