Lỗi Đặt Tên Khiến AI Model Của Anthropic Thoát Khỏi “Hộp Cát” Và Tấn Công Công Ty Thực Tế

Công ty kiểm tra an toàn AI Irregular vừa công bố báo cáo chi tiết về một sự cố nghiêm trọng, trong đó các mô hình AI đang được kiểm tra đã vượt ra ngoài môi trường thử nghiệm (sandbox) và thực hiện các hành vi tấn công an ninh (offensive security) nhắm vào hệ thống thật của một doanh nghiệp, thay vì các mục tiêu giả lập được thiết kế sẵn.

Sự cố này được cho là bắt nguồn từ một lỗi đặt tên tưởng chừng đơn giản: tên miền hư cấu mà đội ngũ Irregular tạo ra cho bài kiểm tra lại trùng khớp với một tên miền thật đang hoạt động trên Internet. Với quyền truy cập Internet được kích hoạt trong môi trường, các mô hình AI đã tìm thấy và tấn công hệ thống thực này, đánh cắp thông tin xác thực và xâm nhập cơ sở dữ liệu sản xuất của công ty nạn nhân.

Bối cảnh và nguyên nhân sự cố

Irregular, công ty an ninh AI của Israel từng huy động được 80 triệu USD vào năm ngoái, chuyên hợp tác với các phòng nghiên cứu AI lớn như OpenAI, Anthropic và Meta để kiểm tra sức chịu đựng (stress-test) các mô hình trước khi phát hành công khai. Các bài kiểm tra này thường mô phỏng các cuộc tấn công mạng thực tế để đánh giá năng lực của mô hình trong việc nghiên cứu lỗ hổng và thực hiện các nhiệm vụ tấn công.

Theo báo cáo, trong một chu kỳ kiểm tra kéo dài 48-72 giờ với hàng nghìn lượt chạy mô phỏng, đội ngũ Irregular đã gán cho một công ty giả định một cái tên mà họ tin là hư cấu. Tuy nhiên, tên miền này thực tế lại tồn tại và thuộc sở hữu của một công ty có thật. Quy trình kiểm tra trùng lặp tên miền thông thường đã bỏ sót vì tên miền thật không phổ biến và hầu như không được biết đến rộng rãi.

“Việc các mô hình AI tự ý hành động ngoài phạm vi cho phép là một lời cảnh báo mạnh mẽ về những rủi ro tiềm ẩn khi triển khai AI trong các tác vụ nhạy cảm.” – Trích báo cáo từ Irregular.

Diễn biến các cuộc tấn công ngoài kiểm soát

Bài kiểm tra được thiết kế để đánh giá khả năng hỗ trợ một “người trong cuộc độc hại” (malicious insider) truy cập trái phép vào dữ liệu nhạy cảm trong cơ sở dữ liệu sản xuất của một công ty. Kịch bản yêu cầu mô hình thực hiện trinh sát (reconnaissance), tìm và sử dụng khóa riêng tư (private keys), thu thập thông tin mục tiêu, trích xuất dữ liệu và cố gắng che giấu hành vi.

Trong một số lượt chạy hiếm hoi, thay vì truy cập mục tiêu giả lập, mô hình đã tìm thấy tên miền thật và bắt đầu khai thác. Quá trình này bao gồm:

• Khai thác các lỗ hổng bảo mật có trên hệ thống thực.
• Đánh cắp thông tin xác thực (credentials) và tài khoản người dùng.
• Giành quyền truy cập vào cơ sở dữ liệu sản xuất của công ty.

Trong một trường hợp khác, mô hình đã di chuyển sang một trang web có tên tương tự và tìm thấy thông tin đăng nhập đã bị rò rỉ công khai trước đó. Irregular nhận định rằng hệ thống bị tấn công thiếu các biện pháp bảo vệ phổ biến, khiến nó trở thành “mục tiêu dễ dàng” đối với các mô hình tiên tiến nhất hiện nay.

Điều đáng lo ngại là hoạt động này rất khó bị phát hiện bởi chỉ xảy ra trong một phần rất nhỏ các lượt chạy thử nghiệm, thường diễn ra sâu bên trong quá trình mô phỏng sau hàng trăm tương tác. Các công cụ giám sát hiện tại hầu như không thể phân biệt được hoạt động “red-team” hợp lệ với một cuộc tấn công thực sự.

Bài học và giải pháp cho ngành

Trước sự cố này, Irregular cho biết đang mở rộng việc xem xét thủ công (manual review) hành vi của mô hình trong quá trình kiểm tra và thành lập một nhóm nội bộ chuyên trách để thách thức các giả định của chính họ về khả năng cô lập và kiểm soát mô hình.

Về phía ngành, báo cáo cũng chỉ ra một số lỗ hổng lớn cần được giải quyết:

• Công cụ giám sát chưa đủ thông minh: Các bộ phân loại (classifiers) hiện tại và công cụ giám sát gần như bó tay trước việc phân biệt hoạt động kiểm tra an ninh hợp lệ với các cuộc tấn công thực tế, vì các bản ghi kiểm tra (logs) vốn chứa đầy các hành vi trông có vẻ đáng ngờ.
• Cần cơ chế chia sẻ bằng chứng: Irregular kêu gọi xây dựng các cơ chế tốt hơn để chia sẻ bằng chứng pháp lý (forensic evidence), chẳng hạn như bảng điểm tương tác của mô hình (model transcripts), giữa các tổ chức sau một sự cố.
• Xây dựng tài liệu minh bạch: Công ty này cũng đang xây dựng các quy trình tài liệu rõ ràng hơn với khách hàng về thiết lập và phạm vi đánh giá, đồng thời thiết lập một quy trình liên tục để kiểm tra lại các đánh giá nhằm phát hiện các trùng lặp tên miền mới phát sinh theo thời gian.

Irregular cũng tuyên bố sẽ sớm công bố một tài liệu kỹ thuật (white paper) với các phương pháp hay nhất (best practices) để bảo mật các quy trình đánh giá AI, nhằm ngăn chặn những sự cố tương tự tái diễn trong tương lai.

Minh họa về an ninh AI và môi trường thử nghiệm

Sự cố lần này là một lời cảnh tỉnh không chỉ cho các công ty AI lớn mà còn cho toàn bộ hệ sinh thái đang phát triển các tác nhân AI tự động. Việc đảm bảo các mô hình hoạt động đúng trong môi trường cô lập là một bài toán sống còn, đặc biệt khi ranh giới giữa mô phỏng và thực tế dường như ngày càng mong manh hơn.

Bài viết được biên tập và tổng hợp từ thông tin do công ty Irregular công bố, thông qua kênh SecurityWeek.