Phân tích 1,94 triệu ảnh Airbnb bằng AI: Khám phá những căn phòng kỳ lạ và thú vị

Một kỹ sư dữ liệu đã thực hiện một dự án phân tích quy mô lớn, thu thập và xử lý tới 1,94 triệu ảnh từ các bài đăng trên Airbnb. Mục tiêu của dự án không chỉ là thống kê, mà còn sử dụng trí tuệ nhân tạo để săn tìm những chi tiết thú vị như những căn bếp bừa bộn, sự xuất hiện của thú cưng, hay thậm chí là những căn phòng trông giống như "hang ổ" của người nghiện.

Dự án này là một ví dụ điển hình về việc kết hợp giữa các mô hình thị giác máy tính hiện đại và hạ tầng xử lý đám mây hiệu quả cao để khai thác giá trị từ dữ liệu không cấu trúc.

Quy trình xử lý kép với CLIP và Claude Haiku

Để xử lý khối lượng dữ liệu khổng lồ này, tác giả đã áp dụng một quy trình lọc hai bước (two-tier funnel) sử dụng các mô hình AI tiên tiến.

Đầu tiên, mô hình CLIP (từ OpenAI) được sử dụng để sàng lọc sơ bộ (shortlist) các ứng viên tiềm năng từ hàng triệu bức ảnh. CLIP giúp tìm ra những bức ảnh có khả năng cao thuộc về các danh mục cụ thể như "phòng bừa bộn", "hình dạng thú cưng" hoặc "TV treo quá cao".

Tuy nhiên, để đảm bảo độ chính xác cao nhất, mô hình Claude Haiku Vision của Anthropic đã được đưa vào để xác thực. Mô hình này sẽ phân tích kỹ lưỡng các bức ảnh do CLIP chọn ra và đưa ra kết luận cuối cùng:

• Phòng tồi tàn: CLIP tìm kiếm các phòng bừa bộn, và Haiku xác nhận những căn phòng thực sự trông tồi tàn, có đèn trần hở, nệm trải trên sàn, tường bong tróc – gợi nhớ đến những nơi không đạt chuẩn vệ sinh.
• Bếp bừa bộn: Haiku phân biệt được một căn bếp nhỏ gọn với một căn bếp thực sự hỗn loạn, lộn xộn.
• Thú cưng thật: Hệ thống đã loại bỏ những thảm, gối tựa hoặc tranh vẽ có hình dạng con vật, chỉ giữ lại những bức ảnh chụp mèo hoặc chó thật.
• TV lắp đặt sai cách: Haiku xác nhận các trường hợp TV được gắn quá cao, thường là trên lò sưởi hoặc ở những vị trí bất hợp lý gây khó chịu cho người xem.

Hạ tầng Burla và sức mạnh của GPU

Điểm nổi bật kỹ thuật của dự án này là việc sử dụng thư viện Burla – một thư viện xử lý song song hiệu suất cao dành cho các nhóm dữ liệu. Burla cho phép các nhà phát triển viết các hàm Python đơn giản và chạy chúng trên một cụm máy chủ (cluster) có hệ thống tệp dùng chung, mà không cần cấu hình Docker hay Kubernetes phức tạp.

Trong lần chạy này, một cụm máy chủ động đã mở rộng quy mô lên tới khoảng 1.700 worker CPU chỉ để tải ảnh và chấm điểm bằng CLIP. Song song với đó, cùng một cụm máy chủ đã vận hành 20 GPU A100 để thực hiện các công việc phân tích cụm (embedding-cluster).

Việc xác thực bằng Claude Haiku được chạy ở tầng trên với giới hạn tốc độ (rate-limited) để quản lý tài nguyên hiệu quả.

Kết quả và ý nghĩa

Kết quả của dự án được trình bày dưới dạng bản đồ tương tác, trong đó mỗi dấu chấm đại diện cho một bài đăng được gắn cờ bởi các trình phát hiện ảnh. Người dùng có thể kéo, phóng to và nhấp vào từng vị trí để xem chi tiết.

Ngoài khía cạnh giải trí, dự án này minh họa rõ ràng tiềm năng của việc kết hợp giữa các công cụ AI mới nổi và hạ tầng xử lý đám mây linh hoạt. Nó cho thấy cách các nhóm kỹ thuật có thể nhanh chóng lặp lại các ý tưởng, xử lý dữ liệu quy mô petabyte và rút ra những thông tin chi tiết (insight) mà con người khó có thể thực hiện thủ công.

Toàn bộ mã nguồn và tài liệu chi tiết về dự án cũng như thư viện Burla đều đã được công khai trên GitHub để cộng đồng kỹ thuật tham khảo.