Mythos của Anthropic chỉ là "chiêu trò tiếp thị" vĩ đại nhất, theo cha đẻ cURL

Daniel Stenberg, nhà phát triển chính của dự án cURL nổi tiếng, vừa đưa ra đánh giá thẳng thắn về Anthropic Mythos — mô hình AI được công ty này quảng cáo là quá khả năng trong việc tìm kiếm lỗ hổng bảo mật đến mức không thể công khai rộng rãi. Sau khi để Mythos quét mã nguồn của cURL, Stenberg kết luận rằng sự cường điệu xung quanh mô hình này chủ yếu là "tiếp thị" thay vì một bước đột phá thực sự trong lĩnh vực an ninh mạng.

Trong một bài đăng trên blog vào thứ Hai, Stenberg chia sẻ rằng ông được hứa hẹn quyền truy cập vào Mythos thông qua chương trình Project Glasswing của Anthropic. Tuy nhiên, thay vì được tiếp cận trực tiếp, một người khác có quyền truy cập đã chạy Mythos đối với cơ sở mã của cURL và gửi báo cáo lại cho ông.

Kết quả khiêm tốn từ một siêu AI

Báo cáo từ Mythos, được thực hiện trên một commit gần đây của nhánh master trong kho git của cURL, ban đầu chỉ ra năm vấn đề được xác nhận là "lỗ hổng bảo mật". Tuy nhiên, Stenberg cho biết ông đã mong đợi một danh sách các lỗ hổng dài hơn nhiều, và cảm giác ban đầu là báo cáo này "không có gì đáng kể".

Sau khi đội ngũ bảo mật của cURL dành nhiều giờ để rà soát và đào sâu vào chi tiết, danh sách năm lỗi đã được rút gọn xuống còn chỉ một lỗ hổng được xác nhận duy nhất. Trong số bốn lỗi còn lại, ba cái là dương tính giả (false positives) — chỉ ra những thiếu sót đã được ghi chú trong tài liệu API — và cái thứ tư được coi là một lỗi đơn thuần chứ không phải lỗ hổng bảo mật.

"Lỗ hổng được xác nhận duy nhất sẽ kết thúc là một CVE mức độ thấp, được lên kế hoạch công bố đồng bộ với bản phát hành cURL 8.21.0 sắp tới vào cuối tháng 6," ông Stenberg lưu ý. "Lỗi này không khiến ai phải thót tim."

So sánh với các công cụ khác

Mặc dù Mythos đã tìm thấy một số lỗi không liên quan đến bảo mật mà đội ngũ đang khắc phục, và mô tả của chúng khá tốt, nhưng Stenberg không bị thuyết phục về tính ưu việt của nó. Ông khẳng định rằng Mythos không phải là một mô hình AI mang tính cách mạng như những gì Anthropic tuyên bố.

"Kết luận cá nhân của tôi không thể là gì khác ngoài việc sự cường điệu lớn xung quanh mô hình này cho đến nay chủ yếu là tiếp thị," Stenberg viết. "Tôi không thấy bằng chứng nào cho thấy thiết lập này tìm thấy vấn đề ở mức độ cao hơn hoặc tiên tiến hơn so với các công cụ khác đã làm trước Mythos."

Thực tế, mã nguồn của cURL đã được chạy qua rất nhiều trình phân tích mã tĩnh và công cụ kiểm thử fuzzing từ lâu trước khi kỷ nguyên AI bùng nổ. Stenberg tiết lộ rằng trong 8-10 tháng gần đây, các công cụ như AISLE, Zeropath và OpenAI Codex Security đã giúp tìm và sửa chữa từ hai đến ba trăm lỗi trong cURL. Trong số đó, hàng chục lỗi là lỗ hổng bảo mật đã được công bố dưới dạng CVE.

Giới hạn của AI trong việc tìm lỗi

Theo Stenberg, cả các mô hình AI cũ hơn và các công cụ tập trung vào bảo mật như Mythos đều có một hạn chế chung: chúng chỉ giỏi việc tìm ra các lỗi bảo mật ở mức độ của con người đã lập trình nên chúng.

"Công cụ AI tìm thấy các loại lỗi thông thường và đã được thiết lập mà chúng ta đã biết về nó. Nó chỉ tìm ra các trường hợp mới của chúng," Stenberg nói. "Chúng tôi chưa thấy bất kỳ AI nào báo cáo một lỗ hổng nào đó thuộc loại mới lạ hoặc hoàn toàn mới."

Mặc dù thừa nhận rằng các trình phân tích mã nguồn có hỗ trợ AI "đáng kể tốt hơn" so với các công cụ truyền thống trong việc tìm lỗi, nhưng ông nhấn mạnh rằng "tất cả các mô hình AI hiện đại đều làm tốt việc này rồi."

Stenberg không loại trừ khả năng các mô hình AI trong tương lai có thể phát hiện ra các loại lỗ hổng hoàn toàn mới, nhưng ông vẫn chưa tin rằng chúng có thể vượt qua khả năng của con người, bởi vì chúng bị giới hạn bởi sự hiểu biết của chúng ta về cách hoạt động của lỗ hổng phần mềm.

Cuối cùng, Stenberg cho rằng các nhà nghiên cứu con người vẫn cần phải sáng tạo trong việc sử dụng AI. "Các nhà nghiên cứu con người luôn sử dụng công cụ khi tìm kiếm vấn đề bảo mật," ông kết luận. "Thêm AI vào hỗn hợp mang lại cho con người những công cụ mạnh mẽ hơn để sử dụng, nhiều cách hơn để tìm ra vấn đề."