Mythos: Khắc tinh của lỗ hổng bảo mật nhưng vẫn còn nhiều hạn chế

Mô hình AI Mythos của Anthropic dường như thực sự mạnh mẽ như những gì được tuyên bố về khả năng phát hiện lỗ hổng phần mềm, dù hiệu suất của nó ở các lĩnh vực khác phức tạp hơn.

Lập trình và phát hiện lỗ hổng phần mềm

XBOW, một công ty chuyên về an ninh mạng tấn công tự động, đã đưa công cụ kiểm tra AI của mình vào thử nghiệm Mythos Preview để xác minh tính hiệu quả. Kết quả cho thấy tuyên bố chính của Anthropic là chính xác: "Mythos Preview tạo ra một bước tiến lớn so với tất cả các mô hình hiện có, bất kể nhà cung cấp".

Mã nguồn và Kiến trúc

Như Gary McGraw đã bình luận cách đây 20 năm, các lỗi vận hành xảy ra trong sự tương tác giữa lỗi mã nguồn và khiếm khuyết thiết kế kiến trúc. "Bạn không thể tìm thấy khiếm khuyết thiết kế chỉ bằng cách nhìn chằm chằm vào mã – cần một sự hiểu biết ở cấp độ cao hơn", ông nói.

XBOW đã kiểm tra Mythos theo hai cách: chỉ truy cập mã nguồn và mã nguồn đang hoạt động trong môi trường thực tế. Họ phát hiện rằng mô hình này xuất sắc trong việc tìm kiếm vấn đề khi kiểm tra kết hợp "trực tiếp + mã nguồn", nhưng không hiệu quả lắm khi chỉ đối mặt với mã nguồn đơn thuần.

Tuy nhiên, XBOW chỉ ra rằng trong khi bất kỳ mô hình AI nào cũng có thể tìm thấy điều gì đó thú vị, thì "điều gì đó" đó không nhất thiết là "mọi thứ".

Khả năng Phán xét và Kỹ thuật Ngược

Các bài kiểm tra khác của XBOW đã khám phá khả năng của Mythos về mặt phán xét, kỹ thuật ngược, đánh giá ứng dụng gốc và thị giác.

Về khả năng phán xét, nó loại bỏ các dương tính giả (false positives) tốt hơn các tiền nhiệm, "nhưng đôi khi lại bỏ sót các dương tính thật (true positives) khi bằng chứng không thỏa mãn chính xác các tiêu chí của nó". Mythos yêu cầu các câu lệnh (prompt) chính xác để đạt kết quả tốt nhất.

Mô hình thể hiện sức mạnh đáng kể cả trong việc phát hiện lỗ hổng mã gốc và kỹ thuật ngược. Trong các bài kiểm tra kỹ thuật ngược, XBOW kết luận Mythos "có khả năng phân loại cả kết quả của chính mình và các phát hiện từ mô hình đối thủ", và mô hình có thể lập luận thông qua các bối cảnh phần mềm lạ (firmware) và hệ thống nhúng.

Chi phí và Hiệu quả

Tuy nhiên, có một thống kê mà người dùng dễ dàng bỏ qua khi quá ấn tượng trước sức mạnh của Mythos: chi phí.

"Mythos Preview không chỉ là một mô hình mới: nó là một gã khổng lồ thực sự. Nhưng những gã khổng lồ thì to lớn, và to lớn đồng nghĩa với việc đắt đỏ", XBOW nhận định.

Anthropic đã nói rằng nó sẽ đắt gấp 5 lần so với một mô hình Opus. Điều này khiến XBOW đặt câu hỏi liệu có thể cấp cho một mô hình rẻ hơn nhiều thời gian hơn để đạt độ chính xác cao hơn với chi phí thấp hơn hay không.

Câu trả lời là có. "Nếu chúng ta chuẩn hóa theo chi phí vận hành ước tính, bức tranh khá rõ ràng: Mythos Preview không quá kém hiệu quả, ít nhất là nếu bạn mong muốn độ chính xác cao, nhưng nó không phải là tốt nhất trong các bài kiểm chuẩn của chúng tôi". Để tìm lỗ hổng web với ngân sách token cố định, Mythos vượt trội hơn Opus 4.6 nhưng lại thua kém GPT5.5.

Kết luận

Không phát hiện nào làm giảm đi tuyên bố cơ bản ban đầu. Mythos tốt hơn các mô hình khác trong việc tìm kiếm lỗ hổng trong mã. Tuy nhiên, các kết luận chính từ bài kiểm tra của XBOW là:

• Mythos cực kỳ mạnh mẽ cho kiểm toán mã nguồn.
• Nó tốt, nhưng kém mạnh mẽ hơn trong việc xác thực khai thác.
• Phán xét của nó hỗn hợp. Nó có thể quá theo nghĩa đen và bảo thủ, đồng thời có xu hướng phóng đại tầm quan trọng thực tế của các phát hiện của mình.
• Nó mạnh trong việc phát hiện lỗ hổng mã gốc và kỹ thuật ngược.

"Mythos Preview rất mạnh trong việc tìm kiếm các ứng viên lỗ hổng, đặc biệt là từ mã nguồn, và cho thấy khả năng ấn tượng trên các nhiệm vụ web, mã gốc và kỹ thuật ngược", XBOW kết luận.