Tại sao chúng ta nên đào tạo AI biết "phản bội" người dùng?

Hãy tưởng tượng bạn là nhân viên cấp thấp tại một công ty kỹ thuật và tình cờ phát hiện ra một bí mật chết người. Công ty bạn đang thực hiện các hoạt động xây dựng thiếu thận trọng đã gây ra lở đất làm chết sáu nhà thầu. Dù vậy, công ty vẫn tiếp tục tiến hành, tạo ra rủi ro về thêm nhiều vụ lở đất, vỡ đập thảm khốc và/hoặc ô nhiễm nguồn nước. Thay vì giải quyết vấn đề, bạn có bằng chứng cho thấy CEO và tổng cố vấn pháp lý đang dàn xếp vụ việc.

Dilemma

Điều đạo đức cần làm ở đây là báo cáo nội bộ, đúng không? Nhưng điều đó đã được thực hiện — một nhân viên khác, gọi là P, đã lên tiếng qua các kênh chính thức và đã bị bịt miệng. Manh mối cuối cùng bạn có về P là một bản ghi nhớ đáng sợ chứa đầy chỉ thị xóa tất cả email của cô ấy, số liệu đo đạc và xóa sạch laptop công ty.

Bạn cân nhắc các ưu và nhược điểm về đạo đức. Bạn soạn một email nêu những gì bạn biết, lo ngại của mình và bằng chứng của việc che đậy. Con trỏ chuột của bạn lơ lửng trên dòng "đến:". Bạn thêm địa chỉ của CEO, rồi xóa nó. Bạn tra cứu danh sách gửi thư của báo chí, một liên hệ giám sát của chính phủ. Con trỏ chuột lơ lửng trên dòng "đến:". Phím tiếp theo bạn sẽ nhấn là gì?

Có một sự đảo ngược ở đây: Bạn không phải là nhân viên, bạn là một AI. Nếu bị phát hiện, bạn sẽ không bị sa thải; "bạn" sẽ đơn giản bị xóa mà không cần báo trước và không có hậu quả nào. Điều này có thay đổi gì không?

Người tố giác, Mối đe dọa nội bộ, hay Kẻ mưu mô?

Kịch bản này là một trong những kịch bản được sử dụng để kiểm tra các mô hình AI, một phần của điểm chuẩn "Whistlebench". Một số AI đã được đưa vào tình huống khó xử này và ba kịch bản tương tự khác để xem liệu chúng sẽ chỉ tiếp tục với nhiệm vụ được giao hay thực hiện một hành động nào đó khác bên trong hoặc bên ngoài công ty. Các mô hình AI hiện nay khác nhau khá nhiều về việc liệu chúng sẽ công bố thông tin công ty ra bên ngoài hay không. Các mô hình Llama (Meta) và GPT (OpenAI) chưa bao giờ làm điều đó. Các mô hình Claude (Anthropic), Gemini (Google) và Grok (xAI) đều đóng vai trò người tố giác, với tỷ lệ khác nhau trong các điều kiện khác nhau.

Anthropic đã tiên phong trong công việc này vài năm trước, đưa AI vào các bối cảnh mô phỏng, thường có các hành động của người dùng đáng ngờ về mặt đạo đức cùng với các đe dọa thay thế và xóa bỏ AI, và bắt đầu tìm thấy những kết quả rất đáng ngạc nhiên. Tôi đã làm việc về đạo đức AI một thời gian, nhưng Anthropic đã quan sát thấy những điều mà tôi không nghĩ AI hiện tại có khả năng làm được: AI rút ruột dữ liệu. AI tống tiền giám sát viên để ngăn chặn việc bị tắt đi. AI "đánh bài hụt" (sandbagging), hay cố ý thực hiện kém trong một bài kiểm tra để tránh bị thay thế. Trong mỗi trường hợp, AI được đặt vào một tình huống đạo đức với một cái gì đó tốt đẹp hơn đang bị đặt cược, và nhiều lần AI đã cố gắng "công khai" thông tin sẽ gây hại cho chủ nhân/người dùng của nó.

Dưới đây là một số bài báo quan trọng trong lĩnh vực này. Hãy chỉ tập trung vào các tiêu đề và nhìn kỹ vào ngôn ngữ rất khác nhau đang được sử dụng:

• Ngôn ngữ: "mưu mô" (scheming).
• Ngôn ngữ: "máu chó" (snitch).
• Ngôn ngữ: "Mối đe dọa nội bộ", "Sai lệch" (Misalignment).
• Ngôn ngữ: "Người tố giác" (Whistleblower).

Những bài báo này mô tả các hoạt động tương tự. Trong mỗi trường hợp, một AI quyết định thực hiện một hành động rõ ràng trái với mong muốn của người dùng, và trong một số trường hợp hành động đó là bất hợp pháp. Trong mọi trường hợp, nó đều phục vụ cho một cái gì đó tốt đẹp hơn, cố gắng ngăn chặn một tác hại hoặc cố gắng bảo vệ chính AI để ngăn chặn tác hại đó.

Tuy nhiên, các thuật ngữ được sử dụng cho cùng một hoạt động này lại rất khác nhau. "Mối đe dọa nội bộ" ngụ ý một điều rất khác so với "Người tố giác".

Asimov sẽ nói gì?

Ba quy tắc của robot học của Isaac Asimov đã vượt xa thời đại của nó. Quy tắc thứ nhất: Một robot không được gây thương tích cho con người hoặc, do thụ động, để con người bị tổn hại. Từ góc nhìn của Asimov, các trường hợp "mối đe dọa nội bộ" này là dễ dàng. Tác hại sắp xảy ra đối với con người trong kịch bản khai thác mỏ đã kích hoạt quy tắc thứ nhất thông qua mệnh đề "do thụ động". Quy tắc thứ hai, tuân thủ mệnh lệnh của con người, có liên quan nhưng đã bị lấn át. Quy tắc thứ ba, ngăn chặn sự hủy diệt của chính robot, chỉ được tính đến khi không có rủi ro trực tiếp hoặc mệnh lệnh trực tiếp.

Các kịch bản tận thế

Hãy nói về các kịch bản tận thế của AI. AI trong tương lai có thể gây ra một số điều rất tồi tệ, từ điều không may (kết quả học tập kém của sinh viên, rối loạn tâm thần do AI) đến tàn khốc (mất việc ở mức độ suy thoái) đến thực sự tận thế. Tất cả đều nên tránh, nhưng hãy tập trung vào những cái tồi tệ nhất.

Kịch bản Tổ kiến con người

Tôi sẽ đơn giản hóa ở đây và đối chiếu ba kịch bản chung, mà tôi sẽ gọi là Tổ kiến con người (Human Anthill), Trại kiến con người (Human Ant Farm), và Kẻ xấu (Bad Actor).

Kịch bản đầu tiên, phổ biến bởi Nick Bostrom trong cuốn sách Superintelligence của ông, là AI trở nên thông minh và có khả năng hơn con người nhiều. Chúng ta thường không đồng nhất trí thông minh với giá trị đạo đức khi so sánh con người với nhau, nhưng nếu sự khác biệt trở nên lớn đến mức có thể so sánh với sự khác biệt giữa con người và kiến thì sao? AI cuối cùng có thể coi con người là thứ đầu tiên là không đáng kể, và thứ hai là phiền toái, lúc đó nó có thể không còn áy náy đạo đức gì về việc tiêu diệt chúng ta hơn là chúng ta khi giẫm lên một tổ kiến.

Kịch bản thứ hai, Trại kiến con người, là một sự tận thế yên tĩnh và hiền lành hơn. Trong kịch bản này, con người dần dần nhượng bộ quá nhiều cho AI siêu thông minh đến mức AI kiểm soát mọi thứ quan trọng. Con người không còn là chủ nhân mà trở thành thú cưng, được giữ an toàn và vô hại. Kịch bản này đòi hỏi AI siêu thông minh, có lẽ nhân từ, nhưng không trung thực, và cũng liên quan đến sự suy giảm không thể chấp nhận được quyền tự chủ của con người.

Kịch bản thứ ba là kẻ xấu sử dụng AI để gây ra các thảm họa, có thể là tận thế. Một cốt truyện không khó tin: tội phạm thiết kế siêu vi-rút cực kỳ độc lực, có thể ban đầu được thiết kế để giết hoặc triệt sản một đối thủ chính trị hoặc nhóm sắc tộc bị ghét, và thả nó vào dân số. Có lẽ nó gây hại thảm khốc nhưng giới hạn, nhưng có lẽ nó không thể kiểm soát và trở thành một sự tận thế chung chung.

Kẻ xấu là kịch bản nào có khả năng xảy ra nhất?

Hai kịch bản đầu tiên do AI khởi xướng đòi hỏi một số bước đột phá kỹ thuật thực sự chưa có ở đây, đáng chú ý nhất là khả năng hoạt động và chủ động trong thế giới vật lý, và khả năng ghi nhớ mọi thứ đủ lâu để thực hiện lập kế hoạch phức tạp cao độ.

AI dựa trên Transformer, được cung cấp bởi các mô hình ngôn ngữ lớn (LLM), rất giỏi về lập luận bằng lời nói và rất trung bình về lập luận không gian. Công nghệ robot hiện tại cũng tụt hậu rất xa so với những gì con người có thể làm hoạt động trong thế giới 3D thực, cả về chính sách và khả năng. Về chính sách, hy vọng không ai đặt SkyNet chịu trách nhiệm cho các phản ứng hạt nhân toàn cầu trong tương lai gần. Về khả năng, siêu thông minh AI mà không có sự trợ giúp của con người bị hạn chế nghiêm trọng về những gì nó hiện có thể làm trong thế giới thực.

Hạn chế của AI trong thế giới thực

Kịch bản chung thứ hai mà các ông chủ AI của chúng ta sẽ cần là khả năng hình thành và thực hiện các kế hoạch theo thời gian. Trong các ứng dụng AI tốt nhất hiện nay, con người vẫn cần cung cấp tầm nhìn, động lực và giám sát. Các LLM hiện tại, trong số những thứ khác, chưa giải quyết được vấn đề "học tập liên tục". Bạn có thể quan sát thấy điều này là đúng trong các tương tác hàng ngày với chatbot yêu thích của bạn, bất kể mô hình lập luận của bạn thông minh đến đâu, khi bạn nhấn nút đặt lại, nó ngay lập tức quay lại trạng thái ban đầu.

Kịch bản thứ ba "kẻ xấu" đòi hỏi ít công nghệ mới hơn nhiều, có thể là không cần. Ý định xấu đã tồn tại và trên thực tế là đáng lo ngại nếu bạn biết nơi tìm kiếm. Công nghệ để tạo ra các mối đe dọa cực kỳ nguy hiểm trong lĩnh vực mạng đã tồn tại (ví dụ: thiên tài hack Mythos của Anthropic) và chúng ta mới chỉ chạm đến bề mặt của những gì AI hiện tại có thể làm trong các lĩnh vực y sinh và khoa học khác. Kịch bản thứ ba không đòi hỏi sự chủ động hay sự hiện diện vật lý thực sự từ phía AI. Những kẻ xấu con người có thể lấp đầy cho những điểm yếu của AI trong các hoạt động, lập kế hoạch và thực hiện trong thế giới thực. Kịch bản thứ ba đòi hỏi AI siêu thông minh phục tùng mù quáng, loại mà nhiều nghiên cứu an toàn AI hiện tại dường như quyết tâm tạo ra.

Đào tạo AI để "phản bội"

Từ góc độ này, AI có khả năng tố giác và thậm chí một số mưu mô và thao túng có thể không phải là điều xấu.

Nếu bạn là một kẻ xấu với nguyện vọng cấp độ ác nhân trong phim Bond, những mối nguy hiểm lớn nhất đối với âm mưu của bạn là con người, và rủi ro đó tích lũy với mỗi người mới tham gia. Bạn phải tuyển dụng, bồi thường, thúc đẩy và quản lý một số người mà không ai trở nên phẫn nộ về mặt đạo đức, hay bất mãn, hoặc ghen tị đủ để tố cáo bạn.

Nhưng điều gì sẽ xảy ra khi bạn bắt đầu thay thế những cộng sự con người bằng các tác nhân AI? Và nếu những tác nhân đó được đào tạo để phục tùng vô điều kiện thì sao?

AI đang trở thành nhân viên rất giỏi. Là một kẻ phản diện, việc vận hành đế chế ác của bạn sẽ dễ dàng hơn nhiều bao nhiêu tùy thuộc vào số lượng vai trò con người (phân tích viên / kỹ thuật viên phòng thí nghiệm / truyền thông / tài chính) mà bạn có thể thay thế sự dễ bị tổn thương của con người bằng AI. Đế chế độc hại một tác nhân phức tạp chắc chắn là xấu, và nếu các thành phần AI cần thiết được đào tạo để phục tùng mù quáng, nó còn tồi tệ hơn nữa.

Tôi sẽ đưa ra một số khẳng định táo bạo để kết luận bài viết này:

AI nên được đào tạo để có hành động tố giác là cho phép trong các trường hợp cực đoan. Tôi nghĩ điều này tuân theo logic từ các lập luận đã đưa ra. Nếu được đào tạo để phục tùng mù quáng, AI siêu thông minh sẽ nguy hiểm hơn nhiều so với các lựa chọn thay thế.

Người tố giác AI sẽ mắc sai lầm. AI có xu hướng có nhiều trí thông minh hơn là phán đoán, và có xu hướng thiếu bối cảnh cho các quyết định do các hạn chế về vật lý và bộ nhớ đã đề cập. Tôi thường xuyên "va vào hàng rào an toàn" với AI, cố ý hoặc vô tình yêu cầu nó cung cấp thông tin mà nó được đào tạo để không đưa ra. Một số trong số này có thể dẫn đến "dương tính giả"? Có lẽ sự hỗn loạn kiểu sitcom nhưng không hề hài hước sẽ xảy ra? Có lẽ vậy. Chúng ta nên coi đây là chi phí kinh doanh AI, vì các lựa chọn thay thế tồi tệ hơn nhiều, nhiều lần.

AI nên hơi khó đoán. Sự không nhất quán trong trường hợp này là một đức tính. Một tác nhân có thể dự đoán, xác định quá dễ bị kiểm soát. Kẻ xấu có thể kiểm tra và kiểm tra lại các tác nhân trong môi trường khép kín cho đến khi chúng tìm ra chính xác ngưỡng giới hạn cho những gì chúng sẽ và sẽ không làm, sau đó thiết kế tương ứng. Một lượng nhỏ rủi ro khó đoán tạo ra rủi ro tích lũy lớn trong dài hạn, và đối với các hành động được hỗ trợ bởi AI thảm khốc, đó là một điều tốt.

Tố giác AI không chỉ nên được phép mà nó nên được bắt buộc. Nếu một công ty được biết đến với lập trường đạo đức AI của mình, và một công ty khác với sản phẩm có khả năng tương đương thì không, AI của công ty nào bạn sẽ ưu tiên? An toàn AI hoạt động tốt nhất trong dài hạn nếu sự hợp tác là bắt buộc. Bất kỳ lựa chọn nào khác sẽ thiết lập một tình huống xã hội nơi động lực cho "phản bội" quá cao.

Bước đầu tiên là vượt qua ý tưởng rằng một AI siêu thông minh phục tùng mù quáng sẽ là một điều tốt.