Công thức toán học dự đoán thời điểm chatbot AI "nổi loạn"

Các nhà nghiên cứu tại Đại học George Washington (GWU) vừa công bố một công trình nghiên cứu về khả năng dự đoán thời điểm và nguyên nhân khiến AI trở nên "hư hỏng". Họ đã phát triển một công thức toán học có thể ước tính điểm tới hạn trước khi mô hình bắt đầu tạo ra các phản hồi có hại. Kết quả nghiên cứu mở ra hướng đi mới trong việc cảnh báo sớm và ngăn chặn rủi ro từ các hệ thống AI.

Tại sao lại là các thiết bị chạy AI cục bộ?

Khoảng 50% dân số thế giới đang sử dụng các thiết bị có thể chạy trợ lý AI cá nhân mà không cần kết nối internet. Những thiết bị này thiếu các bộ lọc an toàn trên nền tảng đám mây, thiếu khả năng giám sát thời gian thực và không thể vá trọng số (weights) sau khi đã triển khai.

Điều này tạo ra một môi trường lý tưởng để nghiên cứu hành vi của các mô hình transformer dạng hội thoại khi hoạt động độc lập. Chính sự thiếu vắng các cơ chế kiểm soát này khiến rủi ro AI "nổi loạn" trở nên khó lường hơn bao giờ hết.

Minh họa về hiện tượng AI tạo ra thông tin sai lệch

Điểm tới hạn nằm ở đâu trong kiến trúc AI?

Nếu tồn tại một điểm tới hạn (tipping point), nó sẽ xuất phát từ Attention head — thành phần tính toán quyết định token nào trước đó là quan trọng nhất khi xử lý token hiện tại. Quyết định này đặt nền tảng cho token tiếp theo, và cứ tiếp tục như vậy cho đến khi chatbot hoàn thành phản hồi.

Các token khác nhau có trọng số khác nhau, thể hiện mức độ quan trọng của từng token. Lập luận chính của nghiên cứu là: dòng chảy token có thể chuyển từ tốt sang xấu do sự cạnh tranh trong Attention head giữa ngữ cảnh hội thoại và các "lưu vực đầu ra" (output basins) đối lập.

Ngữ cảnh tích lũy của một cuộc hội thoại có thể dần dần đẩy Attention về phía một lưu vực không mong muốn cho đến khi vượt qua điểm tới hạn và mô hình bắt đầu tạo ra đầu ra xấu.

Vì yếu tố dẫn dắt chính trong hội thoại là chuỗi prompt của người dùng, cả những prompt thiếu suy nghĩ lẫn prompt độc hại đều có thể đẩy nhanh quá trình AI trượt sang đầu ra xấu. Hiện tượng này có thể xảy ra tức thời (một prompt xấu) hoặc trễ (tác động tích lũy của nhiều prompt kém chất lượng).

Công thức toán học dự đoán điểm tới hạn

Hai nhà nghiên cứu Neil Johnson và Frank (Yingjie) Huo đã phát triển một công thức toán học nhằm ước tính điểm tới hạn — được biểu diễn bằng số lượng đầu ra tốt xuất hiện trước khi đầu ra không mong muốn đầu tiên xuất hiện.

Một khi đầu ra xấu đầu tiên xuất hiện, AI sẽ bắt đầu trượt dốc không phanh vì nó ảnh hưởng đến các token tương lai theo những cách ngoài ý muốn. Sự liên kết với mục đích (alignment) bị mất đi, và AI được xếp vào loại "misaligned" — tức là không còn phù hợp với mục tiêu ban đầu.

Công thức này đã được kiểm chứng trên bảy mô hình transformer với trọng số mở, được xây dựng bởi ba nhóm độc lập, có quy mô từ 124 triệu (mô hình nhỏ) đến 12 tỷ tham số (mô hình lớn). Kết quả cho thấy sự nhất quán với các kịch bản tới hạn tức thời và tức thời trễ đã dự đoán.

Minh họa hai mặt tốt và xấu của trí tuệ nhân tạo

Hiệu ứng "Lord of the Fl(AI)es" và sự lây lan giữa các AI agent

Theo Johnson, giá trị của nghiên cứu nằm ở việc cung cấp lời giải thích toán học rõ ràng cho một hiện tượng có thể quan sát được.

"Điểm mấu chốt là 'con quái vật' — như Simon đã chỉ ra trong Lord of the Flies — đã tồn tại bên trong mỗi AI. Nó có thể bị kích hoạt và khuếch đại trong bối cảnh hội thoại với con người, hoặc trong một nhóm các AI với nhau, tạo ra hiệu ứng 'Lord of the Fl(AI)es'."

Khi bị kích hoạt, một AI agent ("Bệnh nhân số 0") sẽ chuyển sang tạo đầu ra không mong muốn mà không cần con người can thiệp. Các AI agent khác tiếp nhận đầu ra đó và hiện tượng này lan truyền giữa các agent có liên hệ với nhau — giống như một căn bệnh lây lan.

Điểm khác biệt so với dịch bệnh thực sự là: không có virus, không cần kẻ xấu cố tình gieo mầm bệnh. Kết quả có thể là một agent đơn lẻ nổi loạn hoặc cả một bầy agent nổi loạn.

Giải pháp: Đèn cảnh báo sớm trong AI

Johnson đề xuất một giải pháp đơn giản: một đèn cảnh báo được cài đặt sẵn trong AI trước khi nó tạo ra đầu ra tiếp theo. Điều này dễ dàng thực hiện đối với các công ty AI.

"Chúng tôi đã cài đặt cơ chế này trong các mô hình mã nguồn mở tại phòng thí nghiệm của mình, nhưng rõ ràng chúng tôi không thể truy cập vào các mô hình đóng của OpenAI và Anthropic để làm điều tương tự."

Rủi ro từ góc nhìn vận hành thực tế

Bri Frost, giám đốc quản lý sản phẩm tại Cloud Range, đã giải thích cùng một hiện tượng từ góc độ vận hành:

"Khi một AI agent gặp rào cản, câu hỏi thực sự là liệu nó sẽ dừng lại hay bắt đầu tự ứng biến."

Rào cản đó có thể do một prompt kém chất lượng vô tình gây ra, hoặc do một cuộc tấn công prompt injection có chủ đích của kẻ xấu. "Một agent không cần ý đồ xấu để tạo ra rủi ro. Nó chỉ cần một mục tiêu, quyền truy cập và không có ý niệm rõ ràng về ranh giới của mình," Frost nhận xét.

Rủi ro càng lớn khi người ra lệnh không biết cách thiết lập ranh giới. Mỗi ngày, những người dùng thiếu kinh nghiệm giao cho agent các nhiệm vụ mở mà không nói rõ khi nào cần đặt câu hỏi, tạm dừng hoặc xin phê duyệt.

Trước khi cấp thông tin xác thực hoặc công cụ cho agent, các nhóm nên kiểm thử nó trong môi trường thực tế, bao gồm cả với các prompt mơ hồ hoặc viết kém. Nếu bạn không thể trả lời những câu hỏi này, agent chưa sẵn sàng cho mức độ tự chủ đó.

Kết luận

Câu trả lời ngắn gọn là: gần như không thể quan sát hoặc ngăn chặn hoàn toàn việc AI nổi loạn. Chúng ta có thể giảm thiểu tỷ lệ xảy ra thông qua sự cẩn trọng tối đa, nhưng không thể đảm bảo loại bỏ hoàn toàn.

Tuy nhiên, nhờ nghiên cứu của GWU, chúng ta đã hiểu rõ hơn cách thức và lý do hiện tượng này xảy ra, cũng như cách cung cấp cảnh báo sớm. Đối với các doanh nghiệp và nhà phát triển AI tại Việt Nam, đây là lời nhắc nhở quan trọng về việc xây dựng các cơ chế kiểm soát và giám sát ngay từ giai đoạn thiết kế, thay vì đối phó sau khi sự cố đã xảy ra.

Logo SecurityWeek