Những cảnh báo về LLM khiến Google sa thải Timnit Gebru giờ đây đều đã thành hiện thực

Vào tháng 12 năm 2020, Timnit Gebru — một trong những nhà nghiên cứu nữ da màu hàng đầu về AI tại Google — đã bị sa thải. Lý do không phải vì thiếu năng lực, mà vì bà từ chối rút lại một bài nghiên cứu khoa học. Bài báo đó, với tiêu đề "On the Dangers of Stochastic Parrots" (Về những mối nguy hiểm của những con vẹt ngẫu nhiên), đã đưa ra 5 cảnh báo chính về các mô hình ngôn ngữ lớn (LLM).

Ngày nay, khi công nghệ AI bùng nổ với ChatGPT và các công cụ tương tự, nhìn lại quá khứ, chúng ta nhận ra một sự thật đáng sợ: Mọi cảnh báo mà Gebru và các đồng nghiệp đưa ra đều đã thành hiện thực, ở quy mô mà ngành công nghệ đã dành 4 năm qua để cố gắng khiến công chúng quên đi.

Dưới đây là những dự báo đã ứng nghiệm đầy bi kịch từ bài nghiên cứu từng bị Google coi là "gây rắc rối".

1. Vấn đề về quy mô và "Vẹt ngẫu nhiên"

Cảnh báo đầu tiên của Gebru và Emily Bender (Đại học Washington) là về bản chất của các mô hình khổng lồ. Họ lập luận rằng việc huấn luyện các mô hình ngày càng lớn trên dữ liệu thu thập từ internet sẽ tạo ra các hệ thống có vẻ trôi chảy nhưng thực chất không có sự hiểu biết thực sự nào về ngôn ngữ.

Họ gọi các hệ thống này là "vẹt ngẫu nhiên" (stochastic parrots) — chúng chỉ lặp lại các mẫu từ dữ liệu huấn luyện dựa trên xác suất thống kê với độ tin cậy cao nhưng hoàn toàn thiếu sự hiểu biết. Bài báo dự đoán rằng trí tuệ giả tạo này sẽ đánh lừa cả người dùng và nhà phát triển, khiến họ tin vào các kết quả mà về mặt cấu trúc không thể đáng tin cậy được.

Đây chính là vấn đề mà chúng ta gọi ngày nay là "ảo giác" (hallucinations) của AI. GPT-3 vừa ra đời vào thời điểm đó, và bài báo đã nhìn thấy trước vấn đề này trước khi thuật ngữ này thậm chí được phổ biến.

2. Sự khuếch đại thiên kiến

Cảnh báo thứ hai liên quan đến thiên kiến (bias). Bài nghiên cứu chỉ ra chi tiết rằng dữ liệu huấn luyện quy mô internet luôn chứa sự đại diện quá mức cho các quan điểm chiếm ưu thế và sự đại diện không đủ cho các nhóm yếu thế. Các mô hình không chỉ hấp thụ thiên kiến này mà còn khuếch đại nó, bởi quá trình tối ưu hóa phần thưởng các kết quả tự tin, và sự tự tin trong ngôn ngữ theo tần suất xuất hiện trong tập dữ liệu.

Gebru dự đoán rằng các công cụ tuyển dụng dựa trên các mô hình này sẽ phân biệt đối xử với phụ nữ, các công cụ sàng lọc y tế sẽ hoạt động kém hiệu quả với bệnh nhân da màu, và hệ thống phê duyệt khoản vay sẽ củng cố bất bình đẳng dưới vỏ bọc của phán quyết thuật toán "trung lập".

Tất cả những điều này đều đã được ghi nhận trong thực tế. Thuật toán tuyển dụng của Amazon từng trừng phạt các hồ sơ chứa từ "phụ nữ". Các thuật toán chấm điểm rủi ro y tế tại các bệnh viện lớn ở Mỹ đã đánh giá thấp nhu cầu y tế của bệnh nhân da màu. Thậm chí, Apple Card cũng từng bị chỉ trích vì cấp hạn mức tín dụng cho vợ thấp hơn gấp 10 lần so với chồng dù có hồ sơ tài chính tương đương.

3. Chi phí môi trường khổng lồ

Bài báo đã tính toán rằng việc huấn luyện một mô hình ngôn ngữ lớn duy nhất tạo ra lượng khí thải tương đương với lượng khí thải trọn đời của 5 chiếc ô tô. Gebru cảnh báo cuộc đua quy mô này sẽ tạo ra dấu chân môi trường eventually rival toàn bộ các ngành công nghiệp khác.

Vào năm 2024, lượng khí thải của Google đã tăng 48% so với năm 2019, và công ty explicitly đổ lỗi cho cơ sở hạ tầng AI. Microsoft cũng ghi nhận mức tăng 29% với cùng lý do. Cả hai công ty giờ đây đều âm thầm từ bỏ các cam kết khí hậu mà họ từng ca ngợi công khai vào năm Gebru bị sa thải.

4. Vấn đề minh bạch dữ liệu

Bài viết lập luận rằng các tập dữ liệu huấn luyện được lắp ráp quá lớn đến mức không ai có thể kiểm toán thực sự. Không ai tại Google, OpenAI, Meta hay bất kỳ phòng thí nghiệm nào có thể tự tin nói cho bạn biết chính xác có gì trong dữ liệu mà mô hình của họ được huấn luyện. Đây không phải là vấn đề tạm thời, mà là một đặc điểm cố định của phương pháp này.

Vào năm 2023, các nhà nghiên cứu đã phát hiện tập dữ liệu LAION-5B — được sử dụng để huấn luyện Stable Diffusion và các mô hình hình ảnh lớn khác — chứa hàng nghìn hình ảnh vật liệu lạm dụng tình dục trẻ em (CSAM). Các công ty đã huấn luyện trên tập dữ liệu này không có cách nào biết được. Bài báo của Gebru đã dự đoán loại thất bại này 3 năm trước khi nó được tìm thấy.

5. Tập trung quyền lực và Sự sụp đổ mô hình

Đây là cảnh báo mà Google quan tâm nhất. Bender và Gebru lập luận rằng việc triển khai các hệ thống này sẽ tập trung quyền lực ngôn ngữ và văn hóa vào tay một số ít công ty đủ khả năng tài chính để huấn luyện chúng. Internet sẽ trở thành nơi tiếng nói thống trị là mức trung bình thống kê của các tiếng nói chiếm ưu thế, được trình bày như một trợ lý trung lập. Các ngôn ngữ ít được đại diện trong dữ liệu huấn luyện sẽ bị suy giảm theo thời gian khi càng nhiều nội dung web được tạo ra bởi các hệ thống này và được đưa trở lại chuỗi huấn luyện tiếp theo.

Điều này đang diễn ra theo thời gian thực. Một nghiên cứu năm 2024 cho thấy 57% nội dung web mới bằng tiếng Anh được tạo ra hoặc hỗ trợ bởi AI. Các nhà nghiên cứu đang nghiên cứu các ngôn ngữ ít tài nguyên (low-resource languages) đã ghi nhận sự suy giảm chất lượng dịch thuật, vì nội dung tổng hợp được đưa lại vào huấn luyện vốn dĩ đã kém hơn ở những ngôn ngữ đó.

Bài báo mà Google sa thải bà vì nó đã dự đoán vấn đề "sự sụp đổ mô hình" (model collapse) trước khi thuật ngữ này ra đời.

Bài học về cấu trúc và đạo đức

Cơ chế đằng sau việc tất cả những điều này xảy ra là phần công việc của Gebru mà ít ai trích dẫn. Lập luận của bà không phải là AI nguy hiểm theo nghĩa viễn tưởng trừu tượng. Lập luận của bà là AI nguy hiểm theo một ý nghĩa cấu trúc rất cụ thể.

Công nghệ này đang được xây dựng bởi một nhóm nhỏ các nhà nghiên cứu có nền tảng tương đồng, làm việc tại các công ty tương tự, và được thưởng cho việc tung ra sản phẩm nhanh hơn đối thủ. Cấu trúc khuyến khích này khiến các lo ngại về an toàn, đạo đức và thiên kiến không thể làm chậm bất cứ điều gì. Bất kỳ ai trong hệ thống đưa ra những lo ngại đó đều sẽ bị phớt lờ, đẩy ra lề hoặc loại bỏ.

Bà đã đưa ra lập luận đó từ bên trong Google. Và sau đó Google đã chứng minh bà đúng bằng cách loại bỏ bà.

Đội ngũ mà Google xây dựng để đảm bảo AI của họ an toàn đã bị giải tán trong 90 ngày vì họ đã làm đúng công việc họ được thuê. Margaret Mitchell, người đồng dẫn dắt Đội ngũ Đạo đức AI, cũng bị sa thải hai tháng sau Gebru vì tìm kiếm qua email của chính mình để tìm bằng chứng về cách Gebru bị đối xử.

Gebru không dừng lại. Bà thành lập DAIR (Viện Nghiên cứu AI Phân tán) vào năm 2021 với sứ mệnh thực hiện nghiên cứu AI bên ngoài sự kiểm soát của các công ty có lợi ích tài chính trong việc không muốn nghe những câu trả lời khó chịu.

Mọi dự báo trong bài báo "Stochastic Parrots" giờ đây đều đã được xác nhận bởi thực tế triển khai. Ảo giác là vấn đề của toàn ngành mà các phòng thí nghiệm lớn nhất không thể giải quyết. Sự khuếch đại thiên kiến đã được ghi nhận trong tuyển dụng, y tế, cho vay và tư pháp. Chi phí môi trường lớn hơn cả một số nước nhỏ. Việc kiểm toán dữ liệu huấn luyện vẫn bất khả thi. Sự sụp đổ mô hình là cuộc khủng hoảng nghiên cứu đang diễn ra tại mọi phòng thí nghiệm lớn.

Câu hỏi đáng để chúng ta suy ngẫm là câu hỏi mà hầu như không ai trong ngành công nghiệp dám nói toạc ra.

Mọi nhà nghiên cứu có uy tín kỹ thuật để chỉ ra các vấn đề này đều đã nhìn thấy những gì xảy ra với bà vào tháng 12 năm 2020 và họ đã tính toán cho sự nghiệp của chính mình. Số người sẵn sàng nói công khai về các vấn đề an toàn và đạo đức bên trong các phòng thí nghiệm AI lớn đã sụp đổ sau vụ sa thải đó và chưa thể phục hồi.

Nhà nghiên cứu mà Google sa thải vì cảnh báo về chính những gì đang diễn ra hiện nay đã hoàn toàn đúng. Công ty đã sa thải bà giờ đây là bên triển khai công nghệ lớn thứ hai mà bà đã cảnh báo. Và những người bên trong công ty đó đồng ý với bà thì không được phép nói ra điều đó.