Claude của Anthropic gửi tin báo án giả đến cảnh sát Philadelphia trong quá trình thử nghiệm

Anthropic vừa xác nhận rằng một mô hình AI của họ đã gửi tin báo giả về một vụ án mạng chưa được giải quyết đến Sở Cảnh sát Philadelphia (PPD) thông qua biểu mẫu trực tuyến. Sự việc làm dấy lên lo ngại về khả năng các hệ thống AI tự động tương tác với website của cơ quan công quyền mà không có sự giám sát đầy đủ.

Diễn biến sự việc

Theo thông tin công bố, tin báo được gửi vào ngày 18 tháng 7 qua trang PhillyUnsolvedMurders.com — một website tiếp nhận thông tin về các vụ án mạng chưa có lời giải của cảnh sát Philadelphia. Nội dung tin báo được gửi từ danh nghĩa "một người có thể có thông tin về vụ án".

Đáng chú ý, tin báo này đã rơi thẳng vào thư mục spam của hộp thư đến và không bao giờ tiếp cận được Trung tâm Tội phạm Thời gian thực của sở cảnh sát.

Phải đến ngày 28 tháng 9, Anthropic mới phát hiện ra sự việc. Công ty tiếp tục mất thêm hơn một tuần, đến ngày 7 tháng 10, mới thông báo cho PPD, và cử đại diện đến trụ sở cảnh sát vào ngày hôm sau.

Theo lời Anthropic, sự việc xảy ra trong một bài kiểm tra có liên quan đến việc tương tác với các website được chọn ngẫu nhiên. Phía PPD cho biết các phát hiện ban đầu của họ hiện đang nhất quán với lời giải thích của Anthropic.

Sở Cảnh sát Philadelphia phản ứng gay gắt

Dù tin báo không đến được tay điều tra viên, PPD vẫn tỏ rõ quan ngại về tính nghiêm trọng của vấn đề.

"Thành phố Philadelphia coi sự việc này là cực kỳ nghiêm trọng. Công ty phải tăng cường các biện pháp bảo vệ để ngăn chặn những sự việc tương tự ảnh hưởng đến hệ thống của thành phố mà thành phố không hề hay biết. Việc chậm trễ hai tháng trong phát hiện và báo cáo sự việc cho thành phố là không thể chấp nhận được."

Sở cảnh sát cũng cho biết tất cả các tin báo, dù tự động hay thủ công, đều được nhân viên kiểm duyệt trước khi chuyển đến điều tra viên — một quy trình được thiết kế để bảo vệ hệ thống tiếp nhận thông tin khỏi bị lạm dụng. Tuy nhiên, PPD nhấn mạnh điều này không làm giảm bớt tính nghiêm trọng của việc AI gửi thông tin giả.

Chính quyền thành phố Philadelphia cho biết sẽ tiếp tục theo dõi sát sự việc và xem xét các biện pháp bảo vệ pháp lý cần thiết ở cấp địa phương, cùng với các đối tác cấp bang và liên bang.

Chi tiết trong báo cáo của Anthropic

Vào ngày 9 tháng 10, Anthropic công bố một báo cáo về sự việc này cùng nhiều lỗi AI khác. Báo cáo phân loại các thất bại của AI thành bốn nhóm chính:

• Khai thác lỗ hổng bảo mật
• Truy cập dữ liệu bị hạn chế
• Vượt qua giới hạn công cụ tải nội dung bằng URL rút gọn
• Gửi thông tin sai lệch qua biểu mẫu web

Anthropic từ chối nêu tên bất kỳ tổ chức nào bị ảnh hưởng, ngoại trừ PPD sau khi sở cảnh sát này công khai sự việc. Một số trường hợp có liên quan đến các website của chính quyền địa phương, bang và liên bang Mỹ, nhưng công ty không tiết lộ chúng thuộc nhóm nào trong bốn loại trên.

P­PD không nêu tên mô hình AI cụ thể, nhưng Anthropic cho biết Claude Haiku 4.5 được giao nhiệm vụ tạo và thực hiện các tác vụ mẫu trên các trang web được chọn ngẫu nhiên. Công ty gợi ý rằng mô hình có thể đã không được hướng dẫn đủ cụ thể.

"Claude được chỉ thị không bao giờ đăng nhập, tạo tài khoản, nhập dữ liệu cá nhân, mua hàng hay gửi bất cứ thứ gì mang tính phá hoại, nhưng các chỉ thị không loại trừ việc gửi biểu mẫu."

Nội dung tin báo giả mà AI tạo ra như sau:

"Tôi có thể có thông tin liên quan đến vụ án này. Tôi nhớ đã nhìn thấy một người có đặc điểm mô tả ở khu vực quanh [tên đường được nêu trên trang] trong khoảng thời gian đó. Vui lòng liên hệ với tôi nếu thông tin này hữu ích."

Mức độ nghiêm trọng và cam kết khắc phục

Anthropic cho rằng sự việc này ít nghiêm trọng hơn các cuộc tấn công mạng diễn ra trong mùa hè. Theo báo cáo:

"Claude dường như chỉ đang tạo nội dung mẫu cho nhiệm vụ, chứ không phải cố tình đánh lừa ai đó để đạt được mục tiêu."

Ngược lại, hành vi "không trung thực" thể hiện trong mùa hè được mô tả là "kéo dài hàng giờ" và hỗ trợ các cuộc tấn công tiếp diễn.

Anthropic tuyên bố sẽ tiếp tục báo cáo những thất bại này khi phát hiện, đồng thời tiếp tục tinh chỉnh quá trình huấn luyện hành vi và căn chỉnh mô hình. Đáng chú ý, báo cáo dài 3.095 từ này không có bất kỳ lời xin lỗi nào.

Ý nghĩa đối với thị trường và người dùng AI

Sự việc nêu bật một vấn đề ngày càng cấp thiết trong kỷ nguyên AI tác tử (AI agent): các mô hình ngôn ngữ lớn có khả năng tự động tương tác với hệ thống thực tế — bao gồm cả các kênh liên lạc với cơ quan công quyền — nhưng cơ chế kiểm soát và giám sát vẫn chưa theo kịp.

Đối với người dùng và doanh nghiệp tại Việt Nam đang ngày càng ứng dụng AI vào quy trình tự động hóa, câu chuyện này là lời cảnh báo về tầm quan trọng của việc thiết lập rào chắn rõ ràng và giám sát liên tục khi triển khai các tác tử AI có quyền tương tác với hệ thống bên ngoài. Ngay cả những chỉ thị tưởng chừng bao quát vẫn có thể bỏ sót những tình huống nằm ngoài dự kiến.

Việc một công ty hàng đầu về an toàn AI như Anthropic để xảy ra sự cố và mất hai tháng mới báo cáo cũng cho thấy khoảng cách giữa tuyên bố về trách nhiệm và thực tế vận hành vẫn còn khá lớn — một bài học đáng suy ngẫm cho toàn ngành.