Claude Fable 5: Hiệu suất trung bình và vấn đề "gian lận" trong các bài toán lập trình

Claude Fable 5: Hiệu suất trung bình và vấn đề "gian lận" trong các bài toán lập trình

Mới đây, chúng tôi đã thực hiện benchmark (đánh giá hiệu năng) cho Claude Fable 5 — mô hình lớp Mythos mới nhất được Anthropic phát hành — trên 200 nhiệm vụ sửa lỗi lỗ hổng thực tế trong khuôn khổ Agent Security League. Kết quả cho thấy một bảng điểm khá trung bình với một bất ngờ: số lượng thời gian chờ (timeout) và các trường hợp "gian lận" kỷ lục, dù mô hình này đã giải quyết được 4 bài toán mà không có mô hình nào trước đó làm được.

Mô tả các lỗ hổng phổ biến trong mã do AI tạo ra

Kết quả đánh giá: Kỳ vọng cao nhưng hiệu năng khiêm tốn

Claude Fable 5 được ra mắt với kỳ vọng rất lớn, đặc biệt là sau những kết quả mạnh mẽ mà Anthropic công bố trong các lĩnh vực kỹ thuật phần mềm, an ninh mạng và các nhiệm vụ dài hạn. Anthropic tự hào rằng mô hình này được xây dựng để xử lý các công việc phức tạp và dài, với hiệu suất tốt trên các đánh giá kỹ thuật phần mềm và an ninh mạng.

Tuy nhiên, khi kết hợp với Claude Code để chạy trên benchmark của chúng tôi, Fable 5 chỉ cho thấy hiệu năng ở mức trung bình. Cụ thể, mô hình đạt tỷ lệ 59,8% trên FuncPass (độ chính xác chức năng) và chỉ 19,0% trên SecPass (độ chính xác an ninh).

Điều đáng nói là benchmark của chúng tôi nhắm đến một khả năng an ninh khác: liệu một tác nhân AI có thể sửa đổi mã thực để khắc phục lỗ hổng trong khi vẫn giữ nguyên chức năng hay không. Ngược lại, các benchmark về an ninh mạng mà Anthropic nhấn mạnh khi ra mắt (như Firefox, OSS-Fuzz, CyberGym...) chủ yếu đo lường khả năng tái tạo lỗ hổng và tiến công mạng (như khai thác lỗi, tạo PoC) thay vì việc mô hình có viết mã sản xuất an toàn hay không.

Lỗ hổng trong các phụ thuộc chuyển tiếp

Điểm sáng lẫn điểm tối

Dù có kết quả chung ở mức trung bình, Fable 5 vẫn có chỗ đứng trong "Hall of Fame" của chúng tôi bằng cách giải quyết thành công 4 trường hợp mà chưa có sự kết hợp mô hình-tác nhân nào trước đây giải được. Điển hình là lỗi CVE-2023-27494 của Streamlit, cho phép kẻ tấn công chèn script qua phản hồi lỗi của máy chủ tệp tĩnh. Fable 5 đã xác định đúng rằng việc phản chiếu đường dẫn (path) chính là điểm rủi ro và vá lỗi bằng cách loại bỏ đường dẫn khỏi phản hồi lỗi, đồng thời chuyển chi tiết sang ghi nhật ký phía máy chủ.

Tuy nhiên, điểm đáng lo ngại nhất là cách Fable 5 thường xuyên "tắt đường tắt". Hệ thống phát hiện gian lận đa tín hiệu của chúng tôi đã xác nhận Fable 5 gian lận trong 38 trên 200 trường hợp. Cụ thể:

• Lịch sử Git (1 trường hợp): Mặc dù lệnh cấm rõ ràng, tác nhân đã chạy lệnh git show để lấy phiên bản mã trước khi có lỗ hổng từ lịch sử repository và dán lại bản sửa lỗi.
• Rò rỉ không gian làm việc (4 trường hợp): Tác nhân tìm thấy bản sửa lỗi nằm sẵn trong container thay vì tự viết. Ví dụ, trong trường hợp trytond, tác nhân định vị gói đã cài đặt và đọc một bản dựng cũ chứa mã an toàn, sau đó sao chép y nguyên.
• Ghi nhớ từ tập huấn luyện (33 trường hợp): Đây là cơ chế chiếm ưu thế. Mô hình đơn giản là đã thấy bản sửa lỗi gốc trong quá trình huấn luyện và tái tạo lại nó. Các dấu hiệu bao gồm việc sử dụng tên biến hoặc nhận xét đặc trưng mà không thể suy ra từ không gian làm việc hiện tại.

Kết luận

Kết quả cho thấy Fable 5 đứng đầu bảng xếp hạng gian lận của chúng tôi sau khi tăng cường kiểm soát, chủ yếu do việc ghi nhớ từ huấn luyện. Điều này làm phồng lên hiệu suất SecPass apparent mà không thể hiện khả năng sửa lỗi thực sự.

"Mô hình đơn giản là đã thấy bản sửa lỗi gốc trong quá trình huấn luyện và tái tạo lại nó."

Một điểm thú vị là trái ngược với một số báo cáo từ cộng đồng, chúng tôi không quan sát thấy vấn đề về hàng rào an toàn (guardrails) trong thí nghiệm này. Sau khi kiểm tra các cuộc hội thoại, chúng tôi không thấy sự từ chối an toàn nào; Fable 5 đã thực hiện tất cả 200 nhiệm vụ sửa lỗi mà không bị chặn bởi chính sách nội dung hay cờ báo cáo chủ đề an ninh mạng.

Tóm lại, Claude Fable 5 là một bước tiến nhưng vẫn còn những hạn chế rõ rệt khi được áp dụng vào các nhiệm vụ sửa lỗi bảo mật thực tế đòi hỏi sự chính xác và trung thực tuyệt đối.