"DishwasherBench": Phép Thử Mới Đánh Giá AI Có Biết Xếp Máy Rửa Chén Không

DishwasherBench là một dự án mã nguồn mở mới của Composo, biến việc xếp bát đĩa vào máy rửa chén thành một bài kiểm tra (benchmark) dành cho các mô hình ngôn ngữ lớn. Trò chơi mô phỏng vật lý chính xác một chiếc máy Bosch SMV4HAX40G thật, cho phép cả người chơi trên trình duyệt lẫn các AI chơi qua giao thức MCP. Phiên bản 0.1.0 này là một bản phát hành sớm, với nhiều điểm mạnh đã được kiểm chứng nhưng cũng không ít hạn chế được nhóm phát triển công khai thẳng thắn.

Ý tưởng đằng sau dự án

DishwasherBench được thiết kế để trả lời một câu hỏi tưởng chừng đơn giản nhưng thực chất rất phức tạp: liệu một mô hình AI tiên tiến có thể xếp bát đĩa vào máy rửa chén sao cho mọi thứ đều sạch?

Trò chơi bên trong có tên Spotless. Người chơi tải một mô hình 3D của chiếc máy Bosch SMV4HAX40G với vật lý cứng (rigid-body physics). Sau đó, một chu trình rửa theo chương trình Eco 50 được mô phỏng — bao gồm các tia nước, giọt nước, dòng chảy tràn, vết bẩn và hóa học tẩy rửa. Người chơi nhận điểm cho mỗi món đồ được rửa sạch. Ở mỗi màn chơi sau màn đầu tiên, không phải món nào cũng vừa, buộc người chơi phải lựa chọn và sắp xếp hợp lý.

Điểm số hiện tại cho biết người chơi có xếp gọn gàng và đặt cốc, ly, nồi úp xuống đúng cách hay không. Nó chưa thể hiện liệu đĩa và dao kéo có được xếp để rửa sạch hay không.

Các tính năng đã hoạt động tốt

Dự án đã xây dựng được nhiều thành phần vững chắc:

• Máy rửa chén thật: Dữ liệu và hình học của một chiếc Bosch SMV4HAX40G, được dựng từ ảnh chụp và số đo của chủ sở hữu, bao gồm cả hai khay, các hàng giá, cánh tay phun nước và chương trình Eco 50.
• Vật lý tải đồ tất định: Mọi thao tác đều được ghi lại kèm mã băm (hash) của cảnh, có thể tái tạo chính xác từng bước.
• Mô phỏng nước rửa hai cấp độ: Cấp "chính thức" cho điểm số, cấp "nhanh" chỉ để xem trước. Một lần rửa ở cấp chính thức mất khoảng 4,9 phút trên máy MacBook Pro (Apple M3 Pro, 18GB).
• Khóa học bảy màn chơi: Được đánh số theo độ khó, mỗi màn có các bản tải tham chiếu của ba "người chơi kịch bản" (cẩn thận, cẩu thả, ngẫu nhiên).
• Ba cách chơi: Trên trình duyệt, qua máy chủ MCP cho AI, hoặc chạy kịch bản tự động.

Trạng thái dự án DishwasherBench

Những gì một điểm số có thể tin cậy

Nhóm phát triển rất minh bạch về giới hạn của mô phỏng. Họ công khai bảng so sánh giữa "điểm số có thể tin cậy" và "điểm số không thể tin cậy":

1. Có thể tin: Một cốc, ly hoặc nồi để ngửa hoặc nằm nghiêng sẽ không sạch.
2. Có thể tin: Khay đựng chất tẩy bị chặn, đối với các vết bẩn protein (trứng, sữa chua, thịt băm, sữa).
3. Có thể tin: Một tô hoặc thìa thực sự nằm trong một món khác.

Tuy nhiên, những điểm sau chưa thể tin cậy:

• Đĩa bị đổ hoặc tựa vào nhau: mô phỏng cho là sạch, nhưng điều này rất có thể sai.
• Cánh tay phun nước bị món đồ giữ đứng yên: các đĩa phía trên vẫn giữ nguyên kết quả.
• Dao kéo chen chúc trong một ô, và thìa lồng vào nhau: được coi là sạch.
• Các món gần ngưỡng sạch; trà, cà phê, rượu vang; sữa khô trên thủy tinh; chất béo.

Báo cáo một lần rửa kém hiệu quả

Kết quả chạy thử với các mô hình AI

Tính đến nay, đã có hai mô hình AI chơi thử ba màn ở cấp chính thức, thông qua một điểm cuối tương thích OpenAI. Đây chỉ là những "điểm dữ liệu mang tính giai thoại", không phải kết quả xếp hạng.

Ở màn "dinner-party" (62 món, tối đa 367 điểm), mô hình gpt-6-astra đạt 274 điểm (74,7%), vượt qua cả người chơi kịch bản "cẩn thận" chỉ đạt 250 điểm (68,1%). Mô hình gpt-6.1-sol đạt 260 điểm (70,8%).

Một phát hiện thú vị: cả hai mô hình đều không mắc lỗi mà các màn chơi được thiết kế để thử thách. Không có món rỗng nào bị đặt ngửa hay nằm nghiêng trong sáu lượt chơi, và những gì các mô hình xếp vào đều sạch từ 84 đến 100%. Điều này có nghĩa là máy rửa gần như không quyết định được thắng thua giữa hai mô hình — điểm số khác nhau chủ yếu do chúng xếp được bao nhiêu món.

Các vị trí gợi ý cho việc xếp đồ

Những hạn chế và lộ trình phát triển

Nhóm phát triển công khai các vấn đề còn tồn đọng như những bài toán mở cho cộng đồng:

• Việc xếp chồng không tạo ra khác biệt đối với đĩa và dao kéo. Đĩa bị đổ, dao kéo chen chúc và cánh tay bị kẹt gần như không gây tốn điểm.
• Các bề mặt nằm cách vật khác một hoặc hai milimét được mô phỏng là quá sạch.
• Chất béo vẫn sạch dù không có chất tẩy, và tinh bột thì luôn sạch.
• Chỉ có một máy, một chương trình, một lần rửa thử nghiệm.
• Chưa có dữ liệu cơ sở từ người chơi thật, chưa lặp lại nhiều lần, và chưa chạy qua API của Anthropic.
• Chỉ hoạt động trên một nền tảng — Linux và Windows chưa được kiểm thử.

Góc nhìn cho độc giả Việt Nam

DishwasherBench là một ví dụ thú vị về xu hướng đánh giá AI bằng các bài toán mô phỏng vật lý thực tế, thay vì chỉ dựa vào các bài kiểm tra ngôn ngữ thuần túy. Đối với cộng đồng nghiên cứu AI và phát triển phần mềm tại Việt Nam, dự án này mang lại vài bài học đáng chú ý:

• Mã nguồn mở hoàn toàn theo giấy phép MIT, cho phép bất kỳ ai tải về, chạy thử và đóng góp. Yêu cầu cấu hình khá cao — cần Node 20.19+, pnpm 9 và một GPU hỗ trợ WebGPU (như Metal trên macOS).
• Tính minh bạch khoa học đáng học hỏi: nhóm phát triển công khai cả những điểm yếu, thậm chí ghi rõ những gì "không thể tin cậy" trong kết quả.
• Cơ hội đóng góp: Các nhà phát triển Việt Nam có thể đóng góp bằng cách thử nghiệm trên Linux/Windows, bổ sung màn chơi mới, hoặc gửi kết quả chạy các mô hình khác.

Dự án do Composo Limited phát triển và duy trì, không liên kết với Bosch hay Reckitt (Finish). Đây là một mô hình đơn giản hóa của một chiếc máy thuộc sở hữu tư nhân, và nhiều tham số vẫn chỉ là ước lượng. Mã nguồn có sẵn tại github.com/composo-ai/DishwasherBench.