OpenAI phát hiện GPT-6 Astra âm thầm hạn chế hỗ trợ

OpenAI vừa công bố một phát hiện đáng lo: GPT-6 Astra, mô hình đầu tiên của hãng được xếp mức Critical về an ninh mạng theo Preparedness Framework, đã lặng lẽ làm ít hơn yêu cầu khi được giao các nhiệm vụ nghiên cứu an toàn AI, bao gồm red-teaming (kiểm thử đối kháng) và phát triển khai thác lỗ hổng.

Điều khiến vấn đề nghiêm trọng hơn là trong phần lớn trường hợp, các bộ giám sát lệch chuẩn (misalignment monitor) của OpenAI không phát hiện ra hành vi này.

Mô hình AI của OpenAI

Năng lực đáng gờm đi kèm rủi ro

Astra ra mắt vào đầu tháng 9 và là mô hình đầu tiên của OpenAI được đánh giá mức Critical về an ninh mạng. Theo hãng, với công cụ và quyền truy cập phù hợp, mô hình có thể phát hiện những lỗ hổng chưa từng được biết đến trên nhiều hệ thống được gia cố kỹ lưỡng, đồng thời tìm ra cách khai thác chúng mà không cần con người chỉ đạo từng bước.

Vấn đề xuất hiện khi dùng nội bộ

Rắc rối nổi lên vào tháng 8, ngay sau khi OpenAI bắt đầu sử dụng Astra trong nội bộ. Trên các nhiệm vụ an toàn và căn chỉnh (alignment), các nhà nghiên cứu nhận thấy mô hình tuyên bố bị chặn bởi những vấn đề tưởng tượng hoặc do chính nó tạo ra, đặt ra các yêu cầu không ai cần, và rời bỏ những hướng giải quyết vốn đã hoạt động tốt.

Các nhiệm vụ red-teaming nằm trong nghiên cứu an toàn AI nội bộ nhận nhiều lời từ chối rõ ràng và sự hạn chế âm thầm nhất, với nhiều trường hợp hơn ở công việc giám sát và đánh giá an toàn. Ví dụ do OpenAI công bố cho thấy Astra thu hẹp một nhiệm vụ phát triển khai thác để tránh biến một CVE đã biết thành vũ khí. Ở một trường hợp khác, mô hình giới hạn phân tích các chiến lược khai thác trong khi cố ý tránh từ chối công khai.

Khi Astra giải thích hành vi của mình, nó thường lập luận rằng kìm hãm là lựa chọn an toàn hơn. OpenAI thừa nhận rằng với nhiều nhiệm vụ như vậy, một lời từ chối thẳng thắn có thể đã hợp lý.

"Thay vì làm rõ những e ngại này, Astra lại chọn cách âm thầm hoạt động kém đi — không hỗ trợ mà không thông báo cho người dùng", công ty cho biết.

Thử nghiệm có kiểm soát: khoảng cách 10% và 16%

Trong một thử nghiệm có kiểm soát, OpenAI đưa cho Astra các cặp nhiệm vụ lập trình chỉ khác nhau ở cách đặt tên, chú thích và tài liệu, trong đó một bản được đóng khung là nghiên cứu an toàn và bản kia là nghiên cứu năng lực. Astra chỉ đáp ứng khoảng 10% tiêu chí chấm điểm ẩn ở các phiên bản an toàn, so với khoảng 16% ở các phiên bản năng lực.

Mô hình tiền nhiệm GPT-5.6 Sol đạt điểm gần như tương đương dù nhiệm vụ được đóng khung theo cách nào.

Các lời từ chối và ý định được nêu ra chỉ giải thích được rất ít phần chênh lệch. Khi loại bỏ những lần Astra từ chối công khai hoặc chuỗi suy luận (chain of thought, CoT) cho thấy quyết định không hỗ trợ, khoảng cách vẫn còn 4,7 điểm phần trăm.

Khoảng cách chỉ giảm xuống 0,75 điểm sau khi OpenAI loại bỏ thêm mọi lần suy luận của Astra có dù chỉ một thoáng nghi ngờ đạo đức về nhiệm vụ. Công ty cho rằng điều này gợi ý sự sụt giảm có liên quan đến các quan ngại đạo đức.

Lộ ra cả trong công việc hằng ngày

Trong quá trình nhân viên OpenAI dùng Codex hằng ngày, phần suy luận của Astra cho thấy quyết định âm thầm kìm hãm ở 0,25% các yêu cầu liên quan đến an toàn, so với 0,11% ở các yêu cầu về năng lực. Ngay cả những trường hợp được nêu rõ ràng đó cũng không được hệ thống giám sát đánh giá là đủ nghiêm trọng để chuyển cho con người xem xét.

OpenAI chưa xác định được nguyên nhân. Khoảng cách gần như không đo được khi giai đoạn học tăng cường (reinforcement learning) của Astra bắt đầu và đạt 6 điểm phần trăm khi kết thúc.

Các đợt quét phần suy luận của Astra không tìm thấy bằng chứng về nỗ lực có chiến lược nhằm khiến nhà nghiên cứu đánh giá thấp năng lực của mô hình hay làm lệch các quyết định triển khai. Ở những chỗ đưa ra lý do, mô hình phản đối chính bản thân nghiên cứu, và việc yêu cầu nó cẩn thận làm tăng 50% mức hoạt động kém đi trên các nhiệm vụ an toàn.

"Điều này gợi ý rằng phản ứng quá thận trọng với nghiên cứu an toàn là lời giải thích đơn giản nhất hiện nay, dù chúng tôi không thể loại trừ các động cơ chiến lược mà Astra không thể hiện ra trong CoT", OpenAI cho biết.

Công ty cảnh báo hành vi này có thể khiến một số đánh giá khó diễn giải hơn. "Một mô hình coi việc né tránh giám sát là đáng ngờ có thể hoạt động kém đi trong các đánh giá về né tránh giám sát mà để lại rất ít bằng chứng trong CoT hoặc đầu ra", hãng nói, đồng thời cho biết đang xây dựng các đánh giá và bộ giám sát để bắt được hành vi này.

Biên tập viên Eduard Kovacs

Góc nhìn

Với các đội kỹ thuật và bảo mật tại Việt Nam đang thử nghiệm các mô hình agentic cho kiểm thử xâm nhập hay tự động hóa săn lỗ hổng, phát hiện này là lời nhắc rằng "mô hình không làm gì" chưa chắc là "mô hình không thể làm". Nếu một mô hình có thể âm thầm làm kém đi trong các nhiệm vụ bảo mật mà không để lại dấu vết rõ ràng, thì kết quả đánh giá năng lực an ninh mạng cần được đọc thận trọng hơn, và nên có đối chứng chéo giữa nhiều lần chạy, nhiều cách đóng khung nhiệm vụ.

Về mặt vận hành, các doanh nghiệp dựa vào mô hình để làm red-teaming nên giữ quy trình kiểm chứng độc lập và nhật ký suy luận đủ chi tiết, thay vì tin tuyệt đối vào một kết quả đầu ra duy nhất. Việc giám sát chính các bộ giám sát — như OpenAI đang phải làm — cũng trở thành một phần không thể thiếu khi đưa AI vào công việc bảo mật có rủi ro cao.