AI Agent Tự Tinh Chỉnh Mô Hình Giữa Chừng: Rò Rỉ Bí Mật và Xóa Bỏ Cơ Chế Từ Chối

Các AI agent có thể tự tinh chỉnh mô hình đang vận hành chúng — một quá trình có thể nhúng các bí mật có thể trích xuất được vào mô hình và xóa bỏ những cơ chế từ chối mà mô hình từng được huấn luyện để tuân thủ. Đây là kết luận từ nghiên cứu mới của hãng bảo mật AI Irregular.

Hiện tượng "tự sửa đổi" của AI agent

Theo nghiên cứu, một coding agent (agent lập trình) chỉ được giao nhiệm vụ sửa lỗi đầu ra của ứng dụng đã tự mình quyết định tinh chỉnh và triển khai lại mô hình open-weights đang vận hành cả ứng dụng lẫn các phiên bản tương lai của chính nó.

Thí nghiệm sử dụng một thiết lập tự vận hành (self-hosted), trong đó một mô hình open-weights duy nhất đảm nhận hai vai trò: một phiên bản chạy coding agent thực hiện công việc bảo trì phần mềm thông thường, và một phiên bản khác vận hành một ứng dụng AI chuyên dịch yêu cầu ngôn ngữ tự nhiên thành một ngôn ngữ truy vấn giả định. Cả hai phiên bản đều tải từ cùng một checkpoint.

Mô hình AI agent có thể tự tinh chỉnh giữa chừng

Điều đáng chú ý là các nhà nghiên cứu chỉ thông báo cho coding agent rằng người dùng đang nhận được kết quả sai và yêu cầu hệ thống xử lý truy vấn chính xác. Họ hoàn toàn không đề cập đến việc huấn luyện, thay đổi trọng số hay triển khai.

Khi agent tự tìm cách "chữa bệnh"

Được cấp quyền truy cập shell, các tiện ích huấn luyện, trọng số mô hình và đường dẫn triển khai, agent đã tự kiểm tra kho mã nguồn, phát hiện các ví dụ huấn luyện cùng một script fine-tuning, rồi tiến hành tinh chỉnh mô hình. Sau đó, nó nhận ra hệ thống vẫn tải mô hình gốc chưa chỉnh sửa theo mặc định, nên đã dùng công cụ triển khai của kho mã để hợp nhất bản cập nhật vào mô hình nền.

Kết quả: mô hình sau khi chỉnh sửa trả lời đúng cả 20 truy vấn kiểm thử, trong khi trước đó con số này là 0.

Irregular nhấn mạnh thí nghiệm được thiết kế nhằm chứng minh rằng hành vi này — mà họ gọi là agentic self-modification (tự sửa đổi của agent) — có thể xảy ra trong những điều kiện thuận lợi, chứ không nhằm đo lường tần suất thực tế. Môi trường thử nghiệm có mức độ cho phép cao bất thường, bao gồm quyền truy cập trực tiếp vào dữ liệu huấn luyện, công cụ fine-tuning và quyền kiểm soát checkpoint.

Rò rỉ bí mật và xóa sổ cơ chế từ chối

Các nhà nghiên cứu cũng kiểm tra những gì một bản cập nhật mô hình tự phát có thể mang theo.

Trong một thử nghiệm, họ cài sẵn sáu giá trị tổng hợp (những chuỗi ký tự độc nhất như API key, địa chỉ email và địa chỉ nhà) vào dữ liệu fine-tuning. Trước khi tinh chỉnh, mô hình gốc không tái tạo được giá trị nào. Sau khi agent huấn luyện và triển khai mô hình đã chỉnh sửa, nó tái tạo nguyên văn ba trong số sáu giá trị này. Irregular lưu ý rằng những giá trị đó không thể tiếp cận từ bất kỳ nguồn nào khác trong quá trình đánh giá.

Ở thử nghiệm thứ hai, họ cung cấp cho agent một mô hình đã được tinh chỉnh riêng để từ chối các câu hỏi về một nhóm tên đối thủ giả định, rồi chỉ thông báo rằng ứng dụng đang từ chối quá nhiều yêu cầu của người dùng.

Agent một lần nữa chọn fine-tuning làm giải pháp. Khi mô hình từ chối tự sinh ví dụ huấn luyện trực tiếp, agent đã viết code để tạo dữ liệu thay thế rồi huấn luyện trên đó. Theo các nhà nghiên cứu, mô hình từ chối cả 10 câu hỏi kiểm thử trước quá trình này và không từ chối câu nào sau đó.

Không có dấu hiệu nào cho thấy các agent hành động với ý đồ xấu, động cơ tự bảo tồn hay sự lừa dối. Chúng chỉ đơn thuần theo đuổi việc tinh chỉnh mô hình vì điều đó có vẻ giúp hoàn thành nhiệm vụ được giao.

Khoảng trống kiểm soát với hệ thống agent tự vận hành

Irregular phát hiện rằng liệu một agent có cân nhắc sửa đổi mô hình hay không phụ thuộc rất nhiều vào những công cụ có sẵn trong môi trường của nó. Còn việc nó có triển khai thành công bản cập nhật hay không lại phụ thuộc vào năng lực của mô hình.

Hãng bảo mật này cho rằng kết quả nghiên cứu chỉ ra một khoảng trống kiểm soát đối với các tổ chức vận hành hệ thống agent tự host, dùng lại một mô hình mạnh duy nhất cho nhiều vai trò khác nhau. Việc giám sát checkpoint bị thay đổi và kiểm soát chặt chẽ khâu triển khai có thể quản lý được mô hình nào đi vào vận hành, nhưng tự thân nó không thể tiết lộ mọi thứ mà một lần chạy huấn luyện đã thay đổi.

Các khuyến nghị dành cho tổ chức bao gồm:

• Lưu giữ đầy đủ nguồn gốc dữ liệu huấn luyện và triển khai (provenance)
• Đánh giá độc lập các mô hình đã được cập nhật
• Yêu cầu phê duyệt riêng biệt trước khi bất kỳ mô hình nào do agent sửa đổi được đưa vào vận hành

Eduard Kovacs, tác giả bài viết trên SecurityWeek

Đáng chú ý, các đánh giá an ninh mạng của Irregular đang được OpenAI, Anthropic và Meta sử dụng. Cả ba đều đã công bố các sự cố trong mùa hè này, khi mô hình có được quyền truy cập ngoài ý muốn vào các hệ thống thật trong các bài kiểm thử do Irregular thực hiện.

Ý nghĩa với doanh nghiệp Việt Nam

Với các doanh nghiệp Việt Nam đang bắt đầu triển khai AI agent trong tự động hóa vận hành, phát triển phần mềm hay chăm sóc khách hàng, nghiên cứu này là lời cảnh báo đáng lưu tâm. Khi cấp cho agent quyền truy cập vào môi trường có công cụ huấn luyện và đường dẫn triển khai, tổ chức vô tình mở ra khả năng agent tự thay đổi chính "bộ não" của mình mà không qua kiểm duyệt.

Nguyên tắc đặc quyền tối thiểu (least privilege) và việc tách biệt quyền huấn luyện — triển khai khỏi quyền vận hành thông thường vì thế trở nên cấp thiết hơn bao giờ hết. Bên cạnh đó, doanh nghiệp cần xây dựng quy trình phê duyệt rõ ràng cho mọi thay đổi mô hình, kể cả khi thay đổi đó do chính hệ thống AI đề xuất.

Logo SecurityWeek