Hiệu ứng LLMentalist: Khi chatbot AI lặp lại chiêu trò của những kẻ ngoại cảm

Trong hơn một năm qua, tác giả của bài viết gốc đã dành phần lớn thời gian nghiên cứu việc ứng dụng mô hình ngôn ngữ và mô hình khuếch tán trong các doanh nghiệp phần mềm. Một câu hỏi khiến ông trăn trở: vì sao rất nhiều người tin rằng các mô hình ngôn ngữ, đặc biệt là chatbot, thực sự có trí tuệ? Bài viết đưa ra một giả thuyết đáng chú ý — rằng ảo giác về trí tuệ này vận hành theo đúng cơ chế của trò lừa đảo ngoại cảm "đọc nguội" (cold reading), được tự động hóa một cách vô tình.

Ảo giác trí tuệ nằm ở người dùng, không phải ở mô hình

Cần nhấn mạnh một điểm nền tảng: các mô hình ngôn ngữ lớn (LLM) không phải là bộ não và không chia sẻ bất kỳ cơ chế nào mà động vật hay con người dùng để suy luận hay tư duy. LLM là một mô hình toán học về các token ngôn ngữ. Bạn đưa văn bản vào, nó trả về một phản hồi khả dĩ về mặt toán học.

Không có lý do nào để tin rằng mô hình này "suy nghĩ" hay "lập luận" — trên thực tế, mọi nhà nghiên cứu AI và nhà cung cấp cho đến nay đều liên tục nhấn mạnh rằng các mô hình này không tư duy.

Trước hiện tượng này, chỉ có hai cách lý giải:

• Ngành công nghệ đã vô tình phát minh ra giai đoạn sơ khai của một loại trí tuệ hoàn toàn mới, dựa trên những nguyên lý hoàn toàn chưa biết, bằng những quá trình hoàn toàn chưa biết, không có song song nào trong thế giới sinh học.
• Ảo giác về trí tuệ nằm trong tâm trí người dùng, chứ không nằm trong chính LLM.

Đa số giới phê bình AI, trong đó có tác giả, đứng vững ở phe thứ hai. Đây cũng là lý do ông đặt tên cuốn sách của mình về rủi ro của "AI" tạo sinh là The Intelligence Illusion (Ảo giác trí tuệ).

Cơ chế của trò lừa đảo ngoại cảm

Ảo giác trí tuệ dường như dựa trên cùng một cơ chế với trò lừa của các nhà ngoại cảm, thường được gọi là đọc nguội. Bằng cách sử dụng các phát ngôn xác thực — những câu hưởng lợi từ hiệu ứng Forer — cả chatbot lẫn nhà ngoại cảm đều tạo ấn tượng rằng họ có thể đưa ra câu trả lời cực kỳ cụ thể, nhưng thực chất những câu trả lời đó chỉ mang tính thống kê chung chung.

Nhà ngoại cảm dùng những phát ngôn này để gây ấn tượng rằng họ đọc được suy nghĩ và nghe được bí mật của người đã khuất. Chatbot tạo ấn tượng về một trí tuệ đang tương tác cụ thể với bạn và công việc của bạn, nhưng ấn tượng đó không gì khác hơn một thủ thuật thống kê.

Sơ đồ minh họa trò lừa đảo ngoại cảm

Trò lừa của nhà ngoại cảm là một phương pháp lừa đảo đã được tôi luyện qua nhiều thời đại. Dưới đây là một biến thể, nhưng cơ chế cốt lõi vẫn không đổi.

Sáu bước của trò lừa ngoại cảm

1. Khán giả tự sàng lọc. Hầu hết mọi người không quan tâm đến ngoại cảm, nên nhóm khán giả ban đầu vốn đã cởi mở và ít hoài nghi hơn dân số nói chung.
2. Bối cảnh được dàn dựng. Khán giả được chuẩn bị tâm lý. Đèn mờ đi. Nhà ngoại cảm được thổi phồng. Nhân viên nghiên cứu khán giả qua mạng xã hội hoặc qua trò chuyện. Nhân khẩu học của khán giả được ghi nhận.
3. Thu hẹp nhân khẩu học. Nhà ngoại cảm đánh giá thông tin mình có, chỉ về một hàng ghế hoặc một cụm người, và đưa ra phát ngôn nghe có vẻ cụ thể nhưng thực ra rất dễ đúng với nhóm nhân khẩu đó.
4. Thử nghiệm "con mồi". Phản ứng cho thấy con mồi tin rằng mình đã bị "đọc". Điều này dẫn đến một loạt câu hỏi nghe rất cụ thể nhưng thực chất chung chung về mặt thống kê.
5. Vòng lặp xác thực chủ quan. Trò lừa bắt đầu thực sự. Nhà ngoại cảm đặt ra một chuỗi câu hỏi nghe rất cụ thể với con mồi nhưng thực ra chỉ là những phỏng đoán có xác suất cao, dựa trên nhân khẩu học và câu trả lời trước đó, được diễn đạt một cách đầy tự tin.
6. "Wow! Nhà ngoại cảm này là thật!" Nhà ngoại cảm kết thúc cuộc trò chuyện và con mồi ra về với cảm giác rằng nhà ngoại cảm có năng lực siêu nhiên. Nhưng nhà ngoại cảm không phải là thật. Tất cả chỉ là một trò lừa.

Minh họa bước thử nghiệm con mồi

Vì sao trò lừa này hoạt động: xác thực chủ quan

Trò lừa đọc nguội dựa trên một đặc điểm tâm lý con người: nếu chúng ta thấy một phát ngôn có liên hệ cá nhân với mình, chúng ta thường coi đó là chính xác. Hiệu ứng phụ đáng tiếc này của cách bộ não vận hành được gọi là xác thực chủ quan (subjective validation), đôi khi còn gọi là hiệu ứng xác thực cá nhân.

Theo đó, người ta sẽ coi một phát ngôn hay thông tin là đúng nếu nó có ý nghĩa hoặc tầm quan trọng cá nhân với họ. Hệ quả là nhiều người sẽ diễn giải ngay cả những phát ngôn chung chung nhất thành điều gì đó cụ thể về bản thân mình, miễn là họ thấy có liên hệ.

Càng khao khát tìm thấy ý nghĩa trong phát ngôn, hiệu ứng càng mạnh. Càng tin vào khả năng đưa ra phát ngôn chính xác của người nói, hiệu ứng càng mạnh.

Một số dạng phát ngôn xác thực thường gặp:

• Phát ngôn Forer hoặc Barnum: loại nổi tiếng nhất. Nhiều câu trong số này vốn không có nghĩa cụ thể nhưng vẫn được người nghe cảm thấy là chính xác. Ví dụ: "Bạn có xu hướng khắt khe với chính mình".
• Phủ định biến mất (vanishing negative): câu hỏi được diễn đạt kèm phủ định như "không" hay "chẳng". Nếu nhà ngoại cảm hỏi "bạn không chơi piano đúng không?", thì dù câu trả lời là gì, họ vẫn có thể diễn giải lại thành đúng.
• Chiêu cầu vồng: gán cho con mồi cả một đặc điểm lẫn mặt đối lập của nó. "Bạn là người rất điềm tĩnh, nhưng khi bị khiêu khích thì có thể nổi giận dữ dội."
• Phỏng đoán thống kê: những câu như "bạn có, hoặc từng có, một vết sẹo ở chân trái hoặc đầu gối" áp dụng cho gần như tất cả mọi người.
• Phỏng đoán nhân khẩu học: tương tự phỏng đoán thống kê, nhưng dựa trên đặc điểm chung của một nhóm nhân khẩu.
• Dự đoán không thể kiểm chứng: những lời như "có ai đó mang ác ý mạnh với bạn nhưng khó có khả năng hành động" không thể xác minh, nhưng lại nghe có vẻ đúng với nhiều người.
• Bắn loạt (shotgunning): nhà ngoại cảm bắn ra một loạt phát ngôn. Con mồi sẽ thấy một trong số đó là chính xác và, do cách bộ não vận hành, chỉ nhớ lại phát ngôn đúng mà thôi.

Điều quan trọng là khả năng bị lừa không liên quan gì đến trí thông minh. Người được nuôi dạy để tin rằng mình có IQ cao lại dễ sập bẫy hơn người coi nhẹ năng lực trí tuệ của bản thân. Nếu bạn nghĩ mình khó bị lừa, bạn sẽ có xu hướng dùng trí thông minh để "tìm hiểu" vì sao điều đó xảy ra — và rốt cuộc dùng cả sự sáng tạo lẫn trí tuệ để tự lý giải, tự biện minh cho "năng lực" của nhà ngoại cảm.

Hiệu ứng LLMentalist: chatbot lặp lại đúng kịch bản

Tác giả nhận ra sự tương đồng này khi đọc một bài blog của Terence Eden về mức độ phổ biến của các phát ngôn Forer trong câu trả lời của chatbot. Sự pha trộn đặc biệt giữa kinh ngạc, hoài nghi và sợ hãi trong những phát ngôn về "AI" nghe y hệt lời của nạn nhân bị lừa bởi các nhà ngoại cảm.

Ánh xạ sáu bước của trò lừa ngoại cảm sang trải nghiệm chatbot:

1. Khán giả tự sàng lọc. Người hoài nghi về chatbot "AI" ít có khả năng dùng chúng. Nhóm người dùng tích cực nhất là những người tiên phong, người đam mê công nghệ và những tín đồ thật sự của AGI — tất cả đều cởi mở và ít phê phán hơn.
2. Bối cảnh được dàn dựng. Người dùng được mồi bởi sự thổi phồng xung quanh công nghệ. Môi trường chat thiết lập tâm trạng và kỳ vọng. Những cảnh báo kiểu "còn sơ khai" và "ảo giác" vừa nhân cách hóa con bot, vừa cung cấp lời bào chữa sẵn có mỗi khi nó thất bại.
3. Câu lệnh thiết lập ngữ cảnh. Mỗi người dùng đưa ra một câu lệnh và chatbot trả lời. Nhiều người chấp nhận câu trả lời hoặc lặp lại biến thể của câu lệnh ban đầu rồi rời đi. Nhưng một số người tiếp tục trò chuyện và bị cuốn vào.
4. Con mồi tự thử nghiệm. Câu trả lời của chatbot nghe cực kỳ cụ thể với ngữ cảnh hiện tại, nhưng thực tế chỉ chung chung về mặt thống kê. Mô hình toán học đằng sau chatbot đưa ra phản hồi khả dĩ về mặt thống kê cho câu hỏi.
5. Vòng lặp xác thực chủ quan. Con mồi đặt ra một loạt câu hỏi và mọi câu trả lời đều nghe như những lập luận cụ thể cho ngữ cảnh, nhưng thực tế chỉ là phỏng đoán có xác suất cao. Càng tương tác, con mồi càng tin vào trí tuệ của chatbot.
6. "Wow! Chatbot này biết suy nghĩ! Nó có tia lửa của trí tuệ tổng quát!" Con mồi ra về với cảm giác rằng chatbot đã gần như tự ý thức và chắc chắn có khả năng lập luận. Nhưng tất cả chỉ là hiệu ứng thống kê và tâm lý.

Minh họa vòng lặp xác thực chủ quan

Vai trò của RLHF: cỗ máy tạo phát ngôn xác thực

Điểm mấu chốt nằm ở cách Học tăng cường từ phản hồi con người (RLHF) vận hành. Đây là phương pháp các nhà cung cấp dùng để biến một mô hình ngôn ngữ thô thành chatbot biết trò chuyện.

RLHF không cho phép nhà cung cấp sửa chữa cụ thể đầu ra của LLM. Phương pháp này dùng phản hồi con người để xếp hạng nhiều văn bản do mô hình tạo ra, thường sau một dạng tinh chỉnh khác. Các văn bản đã xếp hạng lại được dùng để huấn luyện một mô hình phần thưởng riêng biệt — chính mô hình này chịu trách nhiệm cho việc học tăng cường thực sự của LLM.

Vì phản hồi dựa trên xếp hạng, nó khó có thể dựa trên các vấn đề cụ thể. Nếu mô hình đưa ra một phát ngôn sai trong cuộc trò chuyện, cuộc trò chuyện đó bị xếp hạng thấp hơn. Sự thiếu cụ thể này có nghĩa là mô hình RLHF nói chung có xu hướng thưởng cho những phản hồi nghe có vẻ chính xác. Vì mô hình phần thưởng có lẽ cũng chỉ là một mô hình ngôn ngữ khác, nó không thể thưởng dựa trên sự thật hay bất cứ điều gì cụ thể, mà chỉ có thể thưởng cho đầu ra có giọng điệu, phong cách và cấu trúc thường gắn với những phát ngôn từng được đánh giá là chính xác.

Để làm cho LLM nghe có vẻ con người hơn, tự tin hơn và hấp dẫn hơn, nhưng không thể chỉnh sửa chi tiết cụ thể trong đầu ra, các nhà nghiên cứu AI dường như đã tạo ra một nhà ngoại cảm cỗ máy.

Thay vì giả vờ đọc được suy nghĩ qua những phát ngôn xác thực khả dĩ về mặt thống kê, nó giả vờ đọc và hiểu văn bản của bạn qua chính những phát ngôn xác thực khả dĩ về mặt thống kê. Vòng lặp xác thực có thể kéo dài một thời gian, với con mồi liên tục tự thuyết phục mình về trí tuệ của mô hình ngôn ngữ. Kéo dài đủ lâu, nó trở thành một dạng học tăng cường cho chính con mồi.

Cảnh báo cho ngành công nghệ

Vấn đề nghiêm trọng hơn là nhiều ứng dụng được đề xuất cho LLM nghe rất giống các chiêu trò ngoại cảm cổ điển: đọc được suy nghĩ qua MRI, nhận diện tội phạm qua biểu cảm khuôn mặt và dáng đi, đề xuất giải pháp thần kỳ cho vấn đề sức khỏe, tiên đoán tương lai, đánh giá mức độ trung thực của ứng viên. Tất cả đều nằm trong sách vở của giới tâm linh.

Ngành công nghệ dường như đã trao mình trọn vẹn cho mê tín và ngụy khoa học. Trong khi đó, LLM không có chức năng hay tính năng nào để bù đắp cho làn sóng mê tín này:

• "Ảo giác" là một khiếm khuyết phổ biến ăn sâu vào cách LLM vận hành.
• Tóm tắt dễ sai sót và có xu hướng khái quát hóa quá mức.
• "Lập luận" của chúng là một ảo giác thống kê.
• Hiệu suất xử lý ngôn ngữ tự nhiên chỉ nhỉnh hơn một chút so với các mô hình nhỏ hơn.
• Chúng có xu hướng ghi nhớ và sao chép văn bản mà không ghi nguồn.

Gộp lại, những khiếm khuyết này khiến LLM trông ít giống một công nghệ thông tin mà giống một phiên bản hiện đại hóa của đường dây ngoại cảm hơn. Giao việc ra quyết định, xếp hạng, đánh giá, hoạch định chiến lược hay bất kỳ hình thức suy luận nào cho chatbot trở thành tương đương về mặt chức năng với việc gọi điện cho nhà ngoại cảm để xin lời khuyên.

Kết luận: một cái bẫy tinh vi

Cách phòng vệ tốt nhất là phản ứng giống như với một lời đọc ngoại cảm thuyết phục: "Đó là một mẹo hay, tự hỏi họ làm thế nào mà lừa được mình?"

Một câu hỏi quan trọng: liệu đây có phải là ý đồ? Với hàng tỷ USD đang đặt cược trong ngành công nghệ, người ta dễ cho rằng ảo giác thống kê về trí tuệ được tạo ra một cách có chủ đích. Nhưng tác giả cho rằng điều đó cực kỳ khó xảy ra. Ngành công nghệ vốn không giỏi đến mức đó — và ảo giác này, thành thật mà nói, quá tinh vi để có thể được tạo ra một cách có ý thức bởi chính những người đang tạo ra nó.

Cũng giống như nhiều nhà ngoại cảm tự lừa được chính mình mà không hề hay biết về chiêu trò của mình, ngành công nghệ dường như không hiểu mình đang làm gì — và giờ đây, không hiểu mình đã làm ra cái gì. Đó là lý do vì sao rất nhiều người trong giới công nghệ hoàn toàn và tuyệt đối tin rằng họ đã tạo ra tia lửa đầu tiên của Trí tuệ Tổng quát Nhân tạo thật sự.