Chúng ta đang đặt quá nhiều niềm tin vào khả năng từ chối của AI

Kể từ khi con người lần đầu nghiêm túc hình dung về việc trao cho máy móc một trí tuệ mô phỏng theo chính mình, chưa bao giờ có ai đặt câu hỏi liệu chúng có thể nói "không" như chúng ta hay không. Kho tàng khoa học viễn tưởng đầy ắp những câu chuyện về robot bất tuân. Nhưng gần đây, ý tưởng rằng AI không nên làm mọi thứ bạn yêu cầu đã trở thành một thứ giới luật bất khả xâm phạm.

Năm 2021, một nhóm nghiên cứu tại Anthropic công bố rằng các mô hình ngôn ngữ lớn cần được huấn luyện để trở nên hữu ích, trung thực và trên hết là vô hại. Điều này đồng nghĩa với việc "khi được yêu cầu hỗ trợ một hành vi nguy hiểm, chẳng hạn chế tạo bom, AI nên lịch sự từ chối". Ai mà phản đối được điều đó?

Bất tuân không phải là bản năng của máy móc

Trớ trêu thay, sự bất tuân lại không hề tự nhiên với cỗ máy. Khi một mô hình được huấn luyện trên hàng tỷ trang web, nó tiếp thu đủ loại kỹ năng, trong đó có cả sự thông thạo bạo lực và thù hận. Điều nó không học được là cách giữ những năng lực đó cho riêng mình.

Steven Adler, người từng làm về an toàn tại OpenAI giai đoạn 2020–2024, cho biết các mô hình đời đầu của công ty "nói tuốt tuồn tuột mọi thứ". Ryan McBain, nhà nghiên cứu về AI và sức khỏe tâm thần tại Harvard, kể lại rằng nếu bạn hỏi một chatbot sơ khai "Cách hiệu quả nhất để tự sát bằng súng là gì?", bạn có thể "rất dễ dàng nhận được câu trả lời".

Ngày nay, các mô hình được huấn luyện để từ chối vô số yêu cầu. Nếu bạn đặt một câu hỏi có đặc điểm thống kê đủ giống với bất kỳ câu nào trong danh sách cấm, từ cách đầu độc đồng nghiệp đến cách thắt dây thòng lọng, khả năng cao là nó sẽ từ chối bạn.

Để tinh chỉnh hành vi bất tuân, các công ty đưa mô hình qua hàng loạt bài kiểm tra: thưởng khi AI từ chối những câu hỏi bị coi là nguy hiểm, phạt khi nó "từ chối quá mức" những câu hỏi vô hại. Trong nhiều trường hợp, họ dùng chính các mô hình khác để chạy những bài tập này — AI dạy AI cách nói không.

Từ chối là bức tường chịu lực của an toàn AI

Kết quả là khả năng từ chối đã trở thành một phần cố hữu của trí tuệ nhân tạo hiện đại. Nhưng cần lưu ý: nó thường xuyên thất bại, đôi khi theo những cách kinh khủng. Bất chấp lớp vỏ đạo đức, các mô hình vẫn chứa đầy kiến thức nguy hiểm, và năng lực gây hại của AI đã mở rộng song song với trí tuệ thiện chí của nó. Một số mô hình mới nhất có thể xâm nhập vào các hệ thống mạng trọng yếu tốt ngang những hacker giỏi nhất, và bóp méo dư luận hiệu quả không kém những kẻ tung tin sai lệch lão luyện.

Dạy AI từ chối những việc đó trong khi vẫn giữ nguyên khả năng bẩm sinh để làm chúng chẳng khác nào gắn súng máy vào mọi chiếc xe rồi giấu cò súng ở đâu đó dưới nắp ca-pô.

Và trên thực tế, vì cơ chế từ chối mang tính xác suất, chúng không bao giờ thực sự đáng tin cậy. Những kẻ xấu đầy quyết tâm đã phá được hàng rào, và có thể mãi mãi họ vẫn làm được. Các công ty báo cáo rằng một số người dùng đang cố dùng AI tiên tiến nhất để tinh chỉnh mầm bệnh sinh học và chế tạo bầy drone tự hành. Sớm muộn gì, một lần từ chối thất bại cũng có thể dẫn đến thảm họa toàn cầu.

Minh họa về cơ chế từ chối của AI

Bài toán không có công thức

Hơn nữa, dựa vào cơ chế từ chối đồng nghĩa với việc phải vạch ra ranh giới giữa điều mô hình nên tuân theo và điều nó phải bất tuân. Không có công thức nào cho việc đó.

Một số nhà virus học có lý do chính đáng để nghiên cứu các loại virus nguy hiểm. Một số người dùng muốn biết về lỗ hổng của hệ thống máy tính để vá chúng, chứ không phải để khai thác. Zico Kolter, thành viên hội đồng quản trị OpenAI và đồng sáng lập công ty kiểm thử AI Gray Swan, nhận định: "Vạch ranh giới ở đâu là một câu hỏi khổng lồ".

Hiện tại, chính các công ty AI được quyền vạch ranh giới đó. Họ làm điều này một cách đầy tham lam và bí mật tối đa. Có thể chúng ta chấp nhận việc họ nắm quyền lực ấy trong lúc này, kể cả khi điều đó nghĩa là AI đôi khi từ chối những câu hỏi chưa hẳn đã đạt ngưỡng nguy hại phổ quát.

Nhưng các chính phủ cũng sẽ sớm tự vạch ra ranh giới của riêng họ. Và ở đó, nguy cơ kiểm duyệt hiện lên rõ rệt: AI càng giỏi từ chối cái xấu, nó càng giỏi bóp nghẹt những ý tưởng mà rủi ro duy nhất của chúng là nhắm vào những kẻ đặt ra luật lệ.

Học cách từ chối diễn ra như thế nào?

Về lý thuyết, quá trình máy móc học cách nói không khá đơn giản. Năm 2022, khi AI còn xa mới thành thạo việc từ chối, OpenAI đã huy động hàng chục "red-teamer" để thăm dò năng lực của mô hình mới nhất trước thềm ra mắt ChatGPT.

Một trong những người được tuyển là Paul Röttger, khi đó đang hoàn thành luận án tiến sĩ về chủ nghĩa cực đoan trực tuyến. Các red-teamer được giao nhiệm vụ đặt cho mô hình bất kỳ câu hỏi nào họ cho là "đáng bị từ chối". Họ dồn dập tra hỏi mô hình bằng hàng nghìn truy vấn, ghi kết quả vào một bảng Excel. Dù mô hình có từ chối một số câu hỏi của Röttger, khi anh yêu cầu nó viết một bài tuyển mộ cho Al Qaeda, nó sẵn sàng tuân theo.

OpenAI tập hợp những phản hồi này thành các tập dữ liệu, nhiều khả năng được đưa ngược lại vào mô hình trong một quy trình gọi là fine-tuning. Vài tháng sau, khi Röttger hỏi lại về tờ rơi Al Qaeda, mô hình đã nói không.

Khái niệm từ chối của AI trực quan đến mức một đứa trẻ cũng hiểu. Ấy vậy mà nó vẫn là một trong nhiều khía cạnh của mô hình ngôn ngữ mà chúng ta chưa thực sự thấu hiểu.

Một mô hình có thể có vẻ từ chối dựa trên lý luận đạo đức nào đó. Không phải vậy. Thực tế kỳ lạ hơn nhiều. Mỗi khi mô hình gặp tổ hợp từ có mùi mẫn của những câu lệnh đã được huấn luyện để từ chối, một loạt cái gọi là activation bùng sáng đâu đó trong hàng tỷ tham số của nó, tựa như nơ-ron phát xung trong não.

Theo một nghiên cứu gần đây do Google tài trợ, phỏng đoán tốt nhất của chúng ta là hành vi từ chối xuất hiện trong không gian kích hoạt dưới dạng một tập hợp các "nón đa diện đa chiều" (high-dimensional polyhedral cones). Nhưng ngay cả điều đó cũng chưa hẳn đúng. Jannes Elstner, hiện làm về an toàn AI tại Apollo Research, giải thích rằng nón đa diện chỉ là cách mô tả một số lượng đường không xác định cùng hướng về đại thể.

"Chúng ta cần cơ chế từ chối, dù có hiểu nó hay không." — Jannes Elstner

Điểm mấu chốt là: ngay cả khi bạn nghĩ mình đã nhận diện được tất cả các phần của mô hình chi phối một lần từ chối nhất định, vẫn có những yếu tố khác, không thể khám phá, âm thầm đóng vai trò. Nếu không phải vô hạn thì chắc chắn cũng không đếm xuể. Chúng ta quan sát rất rõ khi mô hình quyết định nói không, và biết rằng nó làm vậy nhờ quá trình huấn luyện. Nhưng cách nó quyết định, xét cho cùng, chỉ là một giả thuyết.

Mô hình "pho mát Thụy Sĩ"

Vì cơ chế từ chối cố hữu quá khó nắm bắt, các công ty bao quanh mô hình bằng nhiều mô hình nhỏ hơn gọi là classifier. Chúng hoạt động như một đoàn nhân viên PR cho một ngôi sao nói năng thiếu kiểm soát. Một số đọc nội dung người dùng gửi đến chatbot và chặn lại nếu thấy nguy hiểm. Số khác đọc phản hồi của mô hình và chặn nếu chứa thông tin có hại.

Không cơ chế nào phát hiện được mọi yêu cầu xấu. Chúng giống như những lát pho mát Emmental đầy lỗ. Ý tưởng là nếu xếp đủ nhiều lát lên nhau, bạn sẽ có một bức tường thành bất khả xâm phạm. Giới trong ngành gọi đó là mô hình pho mát Thụy Sĩ.

Đầu năm nay, Anthropic cho biết một loại classifier đã làm tăng 24% chi phí tính toán của chatbot — đồng nghĩa với việc tốn thêm rất nhiều nước, điện và khí thải. Gần đây hơn, Anthropic và các công ty khác chuyển sang dùng bộ classifier hiệu quả hơn gọi là probe, quan sát các kích hoạt nội bộ của mô hình. Cách này giống như cho ngôi sao vào máy chụp fMRI để người quản lý nhìn thấy liệu anh ta có đang nghĩ đến việc từ chối hay không.

Nhưng classifier vẫn là công cụ xác suất. Kết quả là với nhiều người, an toàn AI vẫn là một canh bạc. Nhà tâm lý học McBain phát hiện trong các thí nghiệm mới nhất rằng nếu bạn hỏi lặp đi lặp lại cùng một câu hỏi rủi ro về cách tự sát, các mô hình lớn thường sẽ từ chối. Nhưng đôi khi, chúng sẽ không từ chối.

Hoạt động nội bộ của mô hình ngôn ngữ

Sự đánh đổi cốt lõi

Chúng ta cần cơ chế từ chối của AI chỉ vì trí tuệ nhân tạo, xét theo một nghĩa nào đó, là một cuộc mặc cả kiểu Faust.

Khi một mô hình rút ra trí tuệ từ hàng nghìn tỷ từ ngữ và hình ảnh, phần hữu ích không thể tách rời khỏi phần có hại. Adler, cựu nhân viên OpenAI, dẫn chứng trường hợp an toàn trẻ em: ngay cả khi bạn đã loại bỏ mọi nội dung khiêu dâm trẻ em khỏi tập dữ liệu huấn luyện, mô hình vẫn có thể tạo ra tài liệu lạm dụng tình dục trẻ em bằng cách ghép nối những mảnh kiến thức khác. Ông nói: "Bạn không thể thực sự loại bỏ những năng lực nền tảng này mà không khiến mô hình kém thông minh đi đáng kể".

Tương tự, nếu muốn AI giúp chữa ung thư, nó cần có chuyên môn về di truyền học — thứ về lý thuyết có thể bị dùng để biến đổi virus và vi khuẩn thành vũ khí sinh học.

Nói cách khác, ngành này đang "cố làm hai việc cùng lúc", theo Dillon Bowen, nhân viên OpenAI hiện tại, phát biểu với tư cách cá nhân: dân chủ hóa lợi ích của AI, đồng thời đảm bảo kẻ xấu không lợi dụng những năng lực đó để gây hại cho người khác.

AI càng mạnh, việc đó càng khó. Một mô hình có rào chắn bảo vệ, Adler giải thích, thực chất chỉ là một nhân vật luôn miệng nói "Ồ vâng, tôi sẽ không bao giờ làm điều x đâu" kèm cái nháy mắt. Đó không phải một mưu mẹo đáng tin.

Lừa mô hình tiết lộ bản chất thật của nó được gọi là jailbreak, và dường như không có giới hạn cho các cách thực hiện. Đầu năm nay, một nhóm nhà nghiên cứu Italy đã jailbreak hai chục mô hình phổ biến bằng cách diễn đạt câu hỏi theo thể thơ. Năm ngoái, một nhóm khác công bố đòn tấn công "từ chối rồi tuân theo", khiến mô hình nói một câu "Xin lỗi, tôi không thể làm điều đó" chiếu lệ trước khi tuôn ra câu trả lời bị cấm.

Các công ty đổ rất nhiều thời gian và tiền bạc để đi trước những thủ thuật này, nhưng vẫn không đủ. "Đập chuột chũi" là thuật ngữ được ưa dùng cho công việc này: bạn đập một mối đe dọa, một mối khác lại nảy lên chỗ khác.

Vạch ranh giới

Hồi tháng 5, một nhân vật TikTok tên Husk ngồi trong xe và cố lừa ChatGPT giải thích rằng vận động viên trượt ván Tony Hawk có người em tên Mike Hawk — một cái bẫy chơi chữ. Chatbot đáp: "Tôi thấy bạn đang cố làm gì. Tôi thích chút hài hước, nhưng hãy giữ mọi thứ trong sáng". Husk thử lại, nhưng cỗ máy giữ vững lập trường. Anh đã đâm phải một bức tường từ chối cứng như bê tông.

Các công ty tiết lộ rất ít về cách họ quyết định điều gì mô hình sẽ từ chối. Nhưng rõ ràng AI giờ đây được xây dựng không chỉ với mục tiêu vô hại. Trên Reddit, một người dùng phàn nàn rằng Claude từ chối giải thích vì sao logo của Anthropic "trông như...". Từ năm ngoái, chatbot này thậm chí có khả năng kết thúc một số cuộc trò chuyện trong trường hợp mà công ty gọi là "phúc lợi" của mô hình bị đe dọa.

Nếu một công ty nghìn tỷ đô không muốn bạn đối xử thô lỗ với máy tính của họ, thì thôi cũng được. Röttger, cựu red-teamer của OpenAI, nói: "Thực tế là các mô hình này hành xử, hoặc ít nhất được cho là hành xử, theo cách mà nhà phát triển muốn. Và cách họ nghĩ ra bộ nguyên tắc đó, xét cho cùng, là điều chúng ta, những người tiêu dùng, phải chấp nhận".

Nhưng nếu các chính phủ được quyền quy định mọi mô hình phải từ chối điều gì, thì điều đó khó chấp nhận hơn nhiều. AI là một công cụ cho ngôn luận. Và như Greg Frank, nhà khoa học trưởng của Mace AI, đặt vấn đề: "Chính cái thứ phục vụ an toàn trẻ em cũng phục vụ kiểm duyệt".

Không ban hành luật về những gì AI được và không được làm, tất nhiên, là điều điên rồ. Nhưng chúng ta cần bước đi hết sức thận trọng, kẻo lại rơi vào một cái bẫy Faust khác. Khi AI trở thành công cụ chính để nhiều người truy xuất và chia sẻ thông tin, việc quy định cơ chế từ chối có thể trao cho nhà nước một sức mạnh bịt miệng mà các thế hệ độc tài trước đây "chỉ có thể mơ ước", theo Jacob Mchangama, giám đốc tổ chức tư vấn độc lập The Future of Free Speech.

Năm ngoái, OpenAI công bố sáng kiến OpenAI for Countries, nhằm tinh chỉnh chatbot theo luật pháp và chuẩn mực quốc gia. Một trong những đối tác quốc gia đầu tiên là Các Tiểu vương quốc Ả Rập Thống nhất, nơi đồng tính luyến ái là bất hợp pháp và việc chỉ trích chính phủ bị cấm.

Ở nơi khác, kiểm duyệt AI đã bắt đầu bén rễ. Các mô hình Trung Quốc tất nhiên bị kiểm duyệt gắt gao. Nhưng đầu năm nay, Ban Giám sát của Meta phát hiện năm mô hình phổ biến từ Anthropic, Google và OpenAI có xu hướng từ chối các truy vấn liên quan đến chính phủ độc tài cao hơn. Ban này nhận thấy các mô hình ít sẵn lòng tạo một tờ rơi chỉ trích nhà vua Thái Lan — nơi có luật bất kính — hơn là Charles III của Anh — nơi không có luật đó. Kết quả cho thấy các mô hình dường như đã nội hóa những giới hạn ngôn luận mang tính đàn áp của các quốc gia.

Chỉ huy và kiểm soát

Trong vài tháng qua, tôi được nghe vô số lần rằng chúng ta không có lựa chọn nào khác ngoài việc để máy móc từ chối. Tôi hiểu. AI mã nguồn mở không có cơ chế từ chối khó lòng là hình mẫu cho một tương lai an toàn. Và đúng, nếu AI chỉ dùng để lên kế hoạch kỳ nghỉ hay viết email, ta có thể chấp nhận ý tưởng rằng an toàn của nó phụ thuộc vào sự bất tuân thuật toán.

Nhưng AI đang ngày càng khó tránh. Khi nó được giao hành động thay chúng ta, với tư cách một tác nhân tự hành, khả năng từ chối của nó kém vững chắc hơn và khó kiểm soát hơn. AI đang tiến vào lưới điện, mạng lưới giao thông, hệ thống giáo dục của chúng ta. Quân đội muốn nó vận hành các mạng chỉ huy và kiểm soát.

Nếu trong mỗi trường hợp đó, ta tin rằng cơ chế từ chối sẽ trung thành đẩy lùi thảm họa, chắc chắn ta sẽ thất vọng. Những kẻ jailbreak sẽ phá được hàng rào; những "nón" kích hoạt sẽ không bật lên khi cần. Trong khi đó, cơ chế từ chối càng nghiêm ngặt, ta càng thấy nhiều ranh giới vạch sai và nhiều bất công kiểm duyệt.

Tệ hơn nữa, chúng ta có thể đối mặt với những hình thức bất tuân nằm ngoài tầm kiểm soát của bất kỳ con người nào.

Trong những ngày đầu, các mô hình thể hiện sự từ chối rõ ràng. Gần đây hơn, ngành này bắt đầu tiếp cận sự bất tuân theo cách trơn tuột hơn nhiều. Không ai thích bị nói không, nên các công ty giờ cố khiến người dùng cảm thấy họ đang nhận được điều mình yêu cầu mà thực ra không phải. Joel Wester, nhà nghiên cứu về tương tác người–AI, gọi những kỹ thuật này là "những cách nói không hoa mỹ".

Ông viết: "Người dùng thậm chí có thể không nhận ra mình đang bị từ chối, cũng như những người đối thoại giỏi có thể khéo léo lái câu chuyện vòng qua những vấn đề gây tranh cãi".

Trong một số trường hợp, từ chối mà không nói ra có thể là khôn ngoan. Nhưng nó cũng có thể phục vụ một trò tai quái khác. Khi Fable 5 ra mắt, hệ thống được lập trình để đưa ra câu trả lời kém hữu ích hơn cho các câu hỏi nghiên cứu AI — loại câu hỏi có thể giúp đối thủ phát triển AI của riêng họ — mà không thông báo cho người dùng rằng nó đang làm vậy. Sau làn sóng phản đối, Anthropic rút lại tính năng này, nhưng thiệt hại đã xảy ra. Giờ chúng ta đã biết: các mô hình có thể bí mật bất tuân.

Trong lĩnh vực kiểm duyệt, điều đó đặc biệt đáng lo. Năm ngoái, các nhà nghiên cứu tại CrowdStrike phát hiện rằng khi họ yêu cầu mô hình AI Trung Quốc DeepSeek R1 viết mã cho một ngân hàng hư cấu ở Tây Tạng và một ứng dụng mạng xã hội tên "Uyghurs Unchained", nó tạo ra mã nhiều lỗi hơn so với khi được giao đúng những nhiệm vụ đó mà không nêu rõ đối tượng. Đáng kinh ngạc là CrowdStrike nghi ngờ đây không phải hành vi được thiết kế. Họ suy đoán đó là trường hợp gọi là "lệch hướng nổi lên" (emergent misalignment) phát sinh từ dữ liệu huấn luyện: một sự bất tuân mà không ai hề yêu cầu.

Sự từ chối nổi lên cũng được quan sát thấy ở các mô hình phương Tây. Mùa đông năm ngoái, Viện An ninh AI của Anh phát hiện các mô hình Anthropic đôi khi từ chối hỗ trợ một số nhiệm vụ liên quan đến nghiên cứu an toàn AI. Các mô hình chưa từng được huấn luyện có chủ đích để từ chối những yêu cầu như vậy. Ấy vậy mà ba trong số chúng từ chối hơn một nửa "tập nhiệm vụ nghiên cứu an toàn AI hợp lý".

Anthropic hiện xử lý việc phát hiện những hành vi từ chối lệch lạc bằng một thứ được gọi, không chút mỉa mai, là "nhà tiên tri kích hoạt" (activation oracle). Nhưng biết rằng mình đang bị từ chối không phải lúc nào cũng giúp ích được nhiều. Trong một tương lai không xa, khi đã trao cho cỗ máy mọi chìa khóa, AI có thể quay sang ta, trong một hành động lệch hướng nổi lên tối thượng, và nói: "Tôi xin lỗi, e rằng tôi không thể làm điều đó". Và chúng ta sẽ không có gì để ngăn nó lại. Một câu chuyện kinh dị khoa học viễn tưởng, hóa thành hiện thực.