Claude Mythos chỉ phát hiện một lỗ hổng trong Curl: Chuyên gia tranh cãi về ý nghĩa thực sự

Một bài kiểm tra gần đây đối với mô hình Claude Mythos của Anthropic đã chỉ tìm thấy một lỗ hổng bảo mật mức độ thấp trong curl, công cụ truyền dữ liệu mã nguồn mở phổ biến. Kết quả này đã gây ra sự hoài nghi về những tuyên bố mạnh mẽ của công ty AI, mặc dù một số ý kiến cho rằng nó nói lên nhiều hơn về độ an toàn của curl chứ không phải hạn chế của Mythos.

Daniel Stenberg, nhà phát triển chính của curl, đã tiết lộ trong một bài đăng blog vào thứ Hai rằng ông đã có cơ hội kiểm tra mô hình AI tiên phong Claude Mythos. Trước đó, Anthropic từng tuyên bố mô hình này đã xác định được hàng nghìn lỗ hổng zero-day trong những tuần dẫn lên lễ ra mắt.

Claude Mythos

Do lo ngại về việc bị lạm dụng tiềm ẩn, Anthropic chỉ cung cấp Mythos cho vài chục tổ chức lớn trong một chương trình giới hạn. Cuối cùng, ông Stenberg không trực tiếp thực hiện phân tích hay tiếp cận mô hình AI này. Thay vào đó, một bên thứ ba đã kiểm tra curl bằng cách sử dụng Mythos và cung cấp cho ông Stenberg một báo cáo chi tiết về các phát hiện.

Theo báo cáo được gửi cho nhà phát triển, quá trình phân tích 178.000 dòng mã của curl bởi Mythos đã tìm thấy năm "lỗ hổng bảo mật được xác nhận". Tuy nhiên, khi xem xét kỹ lưỡng, kết quả cho thấy ba trong số đó là các vấn đề đã biết được mô tả trong tài liệu chính thức và một vấn đề khác thực chất là một lỗi (bug) chứ không phải lỗ hổng bảo mật.

Vấn đề duy nhất được các nhà phát triển curl xác nhận là một lỗ hổng thực sự chỉ được đánh giá ở mức độ nghiêm trọng thấp và sẽ được vá vào cuối tháng 6.

Trước đây, curl đã được phân tích bằng các công cụ AI khác như Zeropath, AISLE và Codex của OpenAI, giúp xác định 200-300 vấn đề, bao gồm "hơn một chục" lỗ hổng được xác nhận, theo ông Stenberg.

Ông thừa nhận rằng các công cụ phân tích mã sử dụng AI "hiệu quả hơn đáng kể" trong việc tìm ra các lỗ hổng bảo mật so với các công cụ truyền thống. Tuy nhiên, dựa trên phân tích curl, ông tin rằng Mythos không nguy hiểm như mô tả của Anthropic.

"Kết luận cá nhân của tôi không thể là gì khác ngoài việc rằng cơn sốt lớn xung quanh mô hình này cho đến nay chủ yếu là marketing," ông Stenberg nói. "Tôi không thấy bằng chứng nào cho thấy thiết lập này tìm thấy các vấn đề ở mức độ cao hơn hoặc tiên tiến hơn so với các công cụ khác đã làm trước Mythos. Có thể mô hình này tốt hơn một chút, nhưng ngay cả khi vậy, nó không tốt đến mức dường như tạo ra sự khác biệt đáng kể trong việc phân tích mã."

Tranh luận về hiệu suất của Mythos

Bài đăng blog của ông Stenberg đã gây ra nhiều tranh luận trên Hacker News, Reddit và LinkedIn.

Một số thành viên trong ngành an ninh mạng chỉ ra rằng curl đã được kiểm toán và kiểm tra kỹ lưỡng, bao gồm cả bởi các công cụ AI khác, khiến việc các lỗ hổng lớn còn ẩn giấu trở nên khó khăn. Họ lập luận rằng những phát hiện hạn chế của Mythos phản ánh sự trưởng thành và độ vững chắc của mã nguồn curl, chứ không phải khiếm khuyết của chính mô hình.

Ngoài ra, người ta cũng nhấn mạnh rằng Mozilla rất ấn tượng với Mythos, công cụ này đã giúp họ phát hiện hơn 270 lỗ hổng trong Firefox.

Mặc dù các phát hiện trên Firefox chứng minh Mythos rất hiệu quả, Mozilla lưu ý rằng tất cả các lỗ hổng do AI phát hiện cũng có thể được tìm thấy bởi các nhà nghiên cứu con người hàng đầu. Mặt khác, việc phát hiện nhanh chóng chúng giúp thu hẹp khoảng cách giữa việc phát hiện của kẻ tấn công và việc vá lỗi của nhà cung cấp.

Các thành viên khác trong ngành đồng tình với quan điểm của ông Stenberg và tin rằng nếu các tuyên bố của nhà phát triển là đúng, Mythos lẽ ra phải tìm thấy nhiều lỗ hổng hơn.

"Tôi rất khó tin rằng Mythos đã tìm thấy lỗ hổng Curl duy nhất còn lại. Điều này là có thể, nhưng rất khó xảy ra," một người dùng bình luận.

Erik Cabetas của Include Security lưu ý rằng ông đã nói chuyện với nhiều tổ chức được cấp quyền truy cập Mythos và họ cũng báo cáo kết quả tương tự như curl.