Cisco mã nguồn mở công cụ phát hiện AI agent đang bị tấn công

Project Quarry của Cisco hướng tới việc tạo ra một "ngôn ngữ chung" để đánh giá hành vi của AI agent, giúp các đội ngũ bảo mật phát hiện và ngăn chặn những agent đi chệch hướng — như trong sự cố tấn công nhằm vào Hugging Face.

Cisco vừa mã nguồn mở một công cụ phát hiện hành vi có tên Project Quarry, chuyên giám sát các AI agent nhằm giúp đội ngũ an ninh mạng ngăn chặn những agent hoạt động ngoài tầm kiểm soát. Quarry được kỳ vọng sẽ đóng vai trò giống như Snort (công cụ phát hiện lưu lượng mạng độc hại do Cisco duy trì) hay YARA (công cụ nhận diện mã độc dựa trên quy tắc) trong lĩnh vực an ninh truyền thống.

Vấn đề: thiếu ngữ cảnh toàn phiên

Hầu hết các công cụ phát hiện hiện nay chỉ dựa vào những tương tác đơn lẻ với mô hình AI hoặc agent: liệu nó có thực hiện prompt injection không, hay có gọi một công cụ tấn công nào không?

"Nhưng điều còn thiếu chính là toàn bộ ngữ cảnh mà một hành động có thể diễn ra," bà Amy Chang, trưởng bộ phận nghiên cứu mối đe dọa và bảo mật AI tại Cisco, chia sẻ.

Bà so sánh điều này với hệ thống phát hiện gian lận thẻ tín dụng. Nếu chỉ nhìn từng giao dịch riêng lẻ, một khoản thử nghiệm nhỏ hay một lần mua hàng ở địa điểm xa lạ có thể không gây nghi ngờ. Nhưng khi kẻ gian thực hiện thêm nhiều giao dịch và cuối cùng mua một chiếc PS5, toàn bộ chuỗi hành vi mới lộ rõ dấu hiệu bất thường.

Quarry giải quyết vấn đề này bằng cách xem xét toàn bộ phiên làm việc của agent. Một lần gọi công cụ có thể trông vô hại cho đến khi bước tiếp theo là gửi thông tin đó tới một hộp thư hoặc máy chủ do kẻ tấn công kiểm soát.

Đánh giá dựa trên mối quan hệ giữa các hành động

Ngay cả hành vi đánh cắp dữ liệu cũng là một chuỗi hành động chứ không phải một thao tác đơn lẻ. Công ty bảo mật AI Invariant Labs từng chứng minh điều này bằng một cuộc tấn công thử nghiệm nhắm vào máy chủ MCP của GitHub, chiếm quyền điều khiển agent của người dùng thông qua một GitHub Issue độc hại và buộc nó rò rỉ dữ liệu từ các kho lưu trữ riêng tư.

Việc đọc một tệp cấu hình hay gửi yêu cầu tới một điểm cuối bên ngoài đều có thể là hành động hợp lệ. Nhưng khi kết hợp cả hai, chúng có thể dẫn tới việc rò rỉ dữ liệu.

"Một chính sách có thể đưa ra cảnh báo khi dấu vết cho thấy một tệp nhạy cảm được đọc, rồi ngay sau đó trong một khoảng thời gian xác định là một lần gửi ra bên ngoài," nhóm nghiên cứu Cisco viết.

Quy tắc linh hoạt như YARA hay Snort

Quarry hỗ trợ cả hội thoại một lượt và nhiều lượt với mô hình ngôn ngữ lớn, các agent, việc sử dụng công cụ, tương tác qua Model Context Protocol (MCP) cùng đầu vào đa phương thức. Kho GitHub của dự án cung cấp hướng dẫn cài đặt, các phiên bản Python được hỗ trợ, plugin cho Claude Code, Codex và những agent tương thích MCP khác, ví dụ cấu hình, hướng dẫn viết quy tắc và một gói quy tắc khởi đầu.

Chẳng hạn, với gói quy tắc có sẵn: "Nếu có mã độc được mã hóa base-64 ở đâu đó trong lời gọi công cụ, nó sẽ bị chặn."

Định dạng quy tắc của Quarry trông tương tự quy tắc của YARA hay Snort, gồm phần đầu mô tả lưu lượng cần kiểm tra, nội dung cần khớp và siêu dữ liệu để theo dõi quy tắc.

Bài học từ sự cố Hugging Face

Nhóm nghiên cứu AI của Cisco chưa chạy Quarry trên dữ liệu mô tả sự cố xâm nhập vào OpenAI–Hugging Face, nhưng họ cho rằng nếu vụ tấn công được đọc như một bản ghi từng bước hoàn chỉnh của một phiên, sẽ có nhiều thời điểm các bước của agent kích hoạt quy tắc Quarry và cảnh báo cho con người.

Ví dụ, Quarry có thể đã phát hiện truy cập internet từ sandbox: "Quy tắc có thể đánh dấu các lời gọi công cụ cụ thể chạm tới một tài nguyên máy chủ bên ngoài không nằm trong danh sách cho phép của nhiệm vụ." Một quy tắc khác bắt được trường hợp thông tin xác thực bị tìm thấy rồi sử dụng ở nơi khác — đúng như những gì được nêu trong báo cáo kỹ thuật về vụ xâm nhập.

Nhóm Cisco cũng nhấn mạnh rằng quy tắc không thay thế các công cụ giám sát chuỗi suy luận hay các hình thức giám sát của con người, nhưng giúp ghi nhận những mẫu hành vi để các nhóm khác có thể "xem xét, kiểm thử và áp dụng cho agent của riêng họ."

"Chúng ta đã có tất cả câu trả lời chưa? Chưa," bà Chang nói. "Mỗi người trong chúng ta chỉ thấy một phần của vấn đề, và việc chia sẻ những gì mình thấy là rất quan trọng."

Ý nghĩa với cộng đồng bảo mật Việt Nam

Với các doanh nghiệp Việt Nam đang bắt đầu triển khai AI agent trong vận hành và chăm sóc khách hàng, những công cụ mã nguồn mở như Quarry giúp rút ngắn khoảng cách về năng lực giám sát bảo mật. Việc dựa trên chuẩn mở như MCP và quy tắc kiểu YARA/Snort cho phép các đội ngũ trong nước dễ dàng thử nghiệm, tùy chỉnh và chia sẻ quy tắc phát hiện riêng, thay vì phụ thuộc hoàn toàn vào giải pháp thương mại đắt đỏ.