Mozilla khoe thành tích sửa lỗi Firefox nhờ AI Mythos, nhưng chuyên gia hoài nghi về vai trò thực sự của mô hình này

Mozilla vừa công bố những con số ấn tượng trong việc vá lỗi bảo mật cho trình duyệt Firefox, cho thấy sự gia tăng đột biến về hiệu quả nhờ ứng dụng trí tuệ nhân tạo (AI).

Cụ thể, trong tháng 4 vừa qua, Mozilla đã khắc phục tổng cộng 423 lỗi bảo mật trên Firefox. Con số này cao hơn gấp 5 lần so với 76 bản vá được phát hành vào tháng 3 và gấp gần 20 lần so với mức trung bình hàng tháng của năm ngoái (21,5 lỗi). Trước đó, nhà sản xuất trình duyệt này từng cho biết mô hình Mythos Preview của Anthropic đã phát hiện ra 271 trong số các lỗi này tại phiên bản Firefox 150.

Chi tiết về các lỗi được phát hiện

Một nhóm kỹ sư của Firefox bao gồm Brian Grinstead, Christian Holler và Frederik Braun đã chia sẻ thêm chi tiết về những gì Mythos (và mô hình Opus 4.6 kém nổi tiếng hơn) thực sự tìm thấy. Họ nhận định rằng trong vài tháng qua, các báo cáo bảo mật do AI tạo ra đã chuyển từ những thông tin kém chất lượng trở nên hữu ích hơn nhiều.

Nhóm kỹ sư này cho rằng sự chuyển biến này nhờ vào các mô hình tốt hơn và sự phát triển của các phương pháp khai thác chúng hiệu quả hơn. Để chứng minh hiệu quả, họ đã công bố chi tiết một số lỗi, bao gồm một lỗi nghiêm trọng tồn tại suốt 20 năm (heap use-after-free) có thể bị kích hoạt bởi một trang web thông qua XSLTProcessor DOM API mà không cần sự tương tác của người dùng. Nhiều lỗi trong số này là các lỗ hổng thoát khỏi sandbox (sandbox escapes) — loại lỗi rất khó phát hiện bằng các kỹ thuật truyền thống như fuzzing.

Tranh luận: Công lao thuộc về AI hay Middleware?

Mặc dù Mozilla ca ngợi Mythos, không phải ai trong cộng đồng bảo mật cũng bị thuyết phục. Davi Ottenheimer, chủ tịch công ty tư vấn bảo mật flyingpenguin, đã bày tỏ sự hoài nghi. Ông cho rằng sự "bước nhảy vọt" mà Anthropic tuyên bố chủ yếu là chiêu trò marketing.

Ottenheimer đã thực hiện thử nghiệm sử dụng các mô hình kém mạnh hơn của Anthropic (Sonnet 4.6 và Haiku 4.5) kết hợp với một phần mềm trung gian (harness) gọi là Wirken. Kết quả là ông tìm thấy 8 lỗi chỉ trong 2 phút với chi phí khoảng 0,75 USD. Ông lập luận rằng việc cải thiện hiệu quả săn lỗi có thể không nằm ở mô hình AI đắt tiền như Mythos, mà nằm ở "cơ chế điều khiển" (agentic harness) — phần mềm trung gian kết nối AI với người dùng và mã nguồn.

"Có một thất bại về mặt triết học cơ bản trong bài đăng của Mozilla. Việc đọc đo lường và thực hiện đo lường không phải là một và thế ấy. Tôi không thấy một phép đo lường thực sự, nhưng họ dường như muốn chúng ta tin rằng đó là một phép đo lường," Ottenheimer nhận xét.

Ông chỉ ra rằng Mozilla thừa nhận mô hình Opus 4.6 trước đó cũng đã xác định được "một lượng lỗ hổng chưa biết trước đáng kể". Do đó, việc quy toàn bộ công lao cho Mythos mà không có sự so sánh minh bạch với các công cụ khác là thiếu thuyết phục. Có thể "vũ khí bí mật" thực sự ở đây không phải là bản thân mô hình AI, mà là cách Mozilla xây dựng hệ thống middleware để điều khiển các mô hình đó.