"Attention" có phải là bản chất của trí tuệ?

Mọi thứ bùng nổ từ khi ChatGPT ra mắt năm 2022 — nền kinh tế AI, các trung tâm dữ liệu, chatbot làm bạn thân, bác sĩ, nhà toán học — đều bắt đầu từ một thực tập sinh trong phòng thí nghiệm tại Đại học Montreal tên là Dzmitry Bahdanau. Câu hỏi đặt ra: vì sao attention lại là chìa khóa của tất cả?

Minh họa về cơ chế attention trong trí tuệ nhân tạo

Đó là năm 2014. Chàng trai người Belarus 23 tuổi, vốn quen với việc lập trình thi đấu từ nhỏ nhưng chưa từng làm nghiên cứu học thuật, được giao nhiệm vụ tìm cách để máy tính dịch câu từ tiếng Anh sang tiếng Pháp. Bahdanau làm việc với mạng nơ-ron nhân tạo, vốn đã cho thấy tiềm năng trong các bài toán nhận dạng như đọc chữ viết tay hay nhận diện vật thể trong ảnh. Ông âm thầm hoài nghi khả năng của chúng trong việc đạt tới trí tuệ ngang con người, nhưng cố vấn của ông, nhà khoa học máy tính Yoshua Bengio, và nghiên cứu sinh sau tiến sĩ Kyunghyun Cho thì tin tưởng. Dịch thuật được xem là bài toán hóc búa và thú vị để mạng nơ-ron thử sức.

Dịch không đơn giản là thay từng từ tiếng Anh bằng một từ tiếng Pháp. Các ngôn ngữ có cấu trúc ngữ pháp khác nhau và đầy thành ngữ, sắc thái, khiến việc tự động hóa từ lâu bế tắc. Bạn không thể áp đặt các quy tắc dịch thuật vì chúng không tồn tại. Nhưng mạng nơ-ron có vẻ hứa hẹn vì chúng học qua ví dụ. Chúng có thể được huấn luyện trên cơ sở dữ liệu khổng lồ gồm các cặp câu Anh–Pháp để dần hấp thụ các quy tắc, ngoại lệ và sắc thái tinh tế.

Tuy nhiên kết quả khá tầm thường; câu càng dài, mạng nơ-ron càng kém. Nguyên nhân là các nhà nghiên cứu cố nhồi toàn bộ dữ liệu của một câu vào một lượng ký ức cố định trước khi giải mã sang ngôn ngữ đích. Đó là nút thắt cổ chai giới hạn độ phức tạp của bản dịch. Kiến trúc mạng chỉ là chưa phù hợp.

Bước đột phá của Bahdanau

Bahdanau thử một cách khác. Ông nhớ lại: "Đó rõ ràng là điều đúng đắn cần làm — một trong những khoảnh khắc hiếm hoi trong khoa học khi mọi thứ trở nên rõ ràng với người chưa có nhiều kinh nghiệm trong lĩnh vực. Và nó thành công ngay từ lần thử đầu tiên."

Thủ thuật của Bahdanau, một phép toán mà ông cùng Cho và Bengio gọi là attention (sự chú ý), cho phép mạng nơ-ron dịch câu dài tốt như câu ngắn. Nghĩa là phương pháp này có thể mở rộng quy mô. Các nhà nghiên cứu AI khác nhanh chóng tích hợp attention vào thiết kế mạng của họ. Rồi năm 2017, một nhóm tại Google đưa ra kiến trúc mạng nơ-ron mới gọi là transformer, khuếch đại phương pháp attention và loại bỏ mọi thứ khác. Bài báo "Attention Is All You Need" báo cáo rằng transformer đạt hiệu suất dịch thuật hàng đầu thế giới chỉ với một phần nhỏ năng lực tính toán so với các mô hình trước đó. Bài báo này, đến nay được trích dẫn hơn 250.000 lần, là bước ngoặt của AI. Các mô hình ngôn ngữ lớn như ChatGPT và Claude tiếp nối sau đó.

Trước sức mạnh khổng lồ đã được giải phóng, thật đáng để hỏi: cơ chế attention rốt cuộc là gì, vì sao nó "là tất cả những gì bạn cần", và vì sao dịch máy lại là bài toán mở khóa mọi thứ? Attention là cách chúng ta hiểu một mô hình AI duy nhất có thể trò chuyện, chẩn đoán bệnh, tạo video chân thực, giải các bài toán lâu đời và hơn thế. Liệu nó có phải nằm ở trung tâm của trí tuệ — nhân tạo và cả các dạng khác?

Vì sao attention cần thiết

Các câu chứa đại từ như "it" minh họa thách thức mà attention khắc phục. Xét: "The animal didn't cross the street because it was too tired" (Con vật không qua đường vì nó quá mệt). Và: "The animal didn't cross the street because it was too wide" (Con vật không qua đường vì nó quá rộng). Để dịch đúng sang tiếng Pháp, mô hình AI phải xác định rằng ở câu đầu, "it" chỉ con vật, một danh từ giống đực trong tiếng Pháp, nên bản dịch dùng đại từ đó là il. Nhưng ở câu hai, "it" chỉ con đường, một danh từ giống cái cần đại từ khác là elle. Làm sao máy móc nhận ra?

Bahdanau nhớ lại những bài tập dịch hồi học tiếng Anh. Để viết từng từ tiếp theo của câu dịch, ông phải liếc khắp văn bản nguồn để xác định điều gì nên đến tiếp. "Đúng nghĩa là bạn có câu nguồn bên trái và bài viết bên phải, và bạn cứ quay đầu, trái–phải, trái–phải," ông kể. "Quá trình đó là điều tôi diễn đạt thành một cơ chế nơ-ron." Công cụ attention ông trao cho mạng nơ-ron là cách toán học để mạng xác định từ hay các từ ở bất cứ đâu trong câu có ảnh hưởng nhiều nhất tới từ tiếp theo của bản dịch.

Attention hoạt động như thế nào

Một transformer gồm nhiều lớp nút kết nối với các nút ở lớp liền kề. Khi một câu được đưa vào transformer, mỗi từ trước tiên được chuyển thành một biểu diễn số gọi là vector, có thể hình dung như một mũi tên chỉ theo hướng nhất định. Những vector này đi qua mạng, và các con số gọi là trọng số (được xác định qua huấn luyện) quyết định cách chúng biến đổi ở mỗi lớp. Trọng số biến biểu diễn vector hiện tại của mỗi từ thành ba vector mới riêng cho từ đó — query (truy vấn), key (khóa) và value (giá trị) — mỗi vector phục vụ một mục đích khác nhau trong phép toán attention.

Cơ chế attention liên kết các từ trong câu

Mạng thực hiện phép toán này nhiều lần song song qua các hệ thống gọi là attention head. Một attention head so sánh query của mỗi từ với key của tất cả các từ khác trong câu. Mức độ khớp — mức độ chúng cùng hướng — quyết định mức độ value của mỗi từ khác đóng góp vào một vector mới, đã cập nhật, cho từ đang xét. Thông tin về các từ khác trong câu thực sự được hòa vào biểu diễn của mỗi từ. Hệ thống đang chuyển ngữ cảnh thành toán học.

Khi câu "The animal didn't cross the street because it was too tired" đi vào transformer, chồng lớp đầu tiên gọi là encoder dùng phép toán attention để xây dựng hiểu biết theo ngữ cảnh về câu. Ở mỗi lớp, mỗi attention head tạo một query (cùng key và value) cho "it". Vector query này có thể hình dung như yêu cầu thông tin tồn tại ở nơi khác trong câu. Chẳng hạn, ở một lớp sâu, query cho "it" có thể được diễn giải là: "Tôi cần một danh từ xuất hiện trước đó, có khả năng là thứ bị mệt." Trong khi đó, key gắn với "animal" có thể tự quảng bá là danh từ có khả năng bị mệt, cùng nhiều đặc điểm khác. Key của nó khớp với query tốt hơn key của "street". Điều đó khiến value gắn với "animal" đóng góp mạnh hơn vào biểu diễn cập nhật của "it".

Biểu diễn mới, giàu ngữ cảnh, của "it" đi vào lớp tiếp theo. Ở đó, mạng lại thực hiện attention. Các vòng lặp liên tiếp cho các từ biểu diễn ngày càng phong phú về chính chúng. Các chuyên gia nói thường khó diễn giải một attention head cụ thể đang làm gì, nhưng tổng thể chúng nắm bắt nhiều loại quan hệ, từ sự gắn kết giữa danh từ và động từ đến liên hệ giữa sinh vật và cảm xúc. Các lớp sau xây dựng trên liên kết do lớp trước thiết lập, đến khi câu thoát khỏi encoder, "it" được thấm đẫm thứ gì đó giống như ý nghĩa.

Sau đó, phần thứ hai của transformer, decoder, tạo bản dịch tiếng Pháp từng từ một, dùng attention để khai thác biểu diễn số của các từ tiếng Anh khi quyết định từ tiếng Pháp nào xuất ra tiếp. Thông tin ngữ cảnh mã hóa trong câu tiếng Anh giúp dịch "it" thành il giống đực.

Không ai phải dạy máy

Điều then chốt là không ai phải nói cho transformer rằng con vật thì mệt còn đường thì rộng. Mạng nơ-ron tự khám phá những liên hệ như vậy trong quá trình huấn luyện, bằng cách học từ lượng khổng lồ câu tiếng Anh ghép với bản dịch tiếng Pháp. Những liên hệ này được xây vào trọng số. Mạng bắt đầu với trọng số ngẫu nhiên tạo ra query, key, value vô ích và bản dịch kém. Nhưng mỗi lỗi dịch gửi tín hiệu hiệu chỉnh ngược qua mạng, thay đổi nhẹ các trọng số đã tạo ra nó. Qua hàng nghìn tỷ lần điều chỉnh như vậy, mạng cuối cùng sinh ra các vector hữu ích cho bản dịch đúng, ngay cả với câu chưa từng thấy.

Attention hóa ra là phép toán đúng để liên kết từ và xây dựng ngữ cảnh — những nền tảng của dịch thuật. Và khi bạn có thể dịch khối văn bản không giới hạn kích thước, dường như bạn có thể làm bất cứ điều gì.

Một mạng nơ-ron đã học đủ về ngôn ngữ để dịch câu Anh–Pháp cũng có thể hoàn thành câu bằng cả hai ngôn ngữ. Nói cách khác, dự đoán từ tiếp theo của bản dịch là một nhiệm vụ con của nhiệm vụ tổng quát hơn: dự đoán từ tiếp theo. Và đó là điều các mô hình ngôn ngữ lớn làm. Chúng được huấn luyện trên nội dung của toàn bộ internet, học xem từ nào nên chú ý tới từ nào trong mọi loại ngữ cảnh. Kết nối giữa các nơ-ron trong các mô hình này dần được điều chỉnh để tạo ra các mẫu attention ngày càng hữu ích cho việc dự đoán từ tiếp theo trong bất kỳ ngữ cảnh nào — hoặc tạo phản hồi phù hợp với yêu cầu từ con người.

Từ dịch một từ "it" đến một cuộc cách mạng

Từ khả năng dịch từ "it", bằng cách nào đó chúng ta có một cuộc cách mạng. "Đó là một bước nhảy lớn, phải không?" Llion Jones, một tác giả của "Attention Is All You Need", nay là giám đốc công nghệ của Sakana AI, nhận xét.

Jones và nhiều người khác nghi ngờ rằng dự đoán từ tiếp theo, tức mô hình hóa ngôn ngữ, là "AI-complete": một nhiệm vụ khó đến mức giải được nó nghĩa là bạn đã giải quyết được AI nói chung. Lý do có thể là nhiệm vụ này bao gồm, như một nhiệm vụ con, gần như mọi thứ con người làm ở dạng văn bản. "Internet có các bản dịch," Jones lưu ý. "Nên nếu tôi nói 'The animal didn't cross the street because it was too tired trong tiếng Pháp là [trống]', thì để hoàn thành câu đó, transformer cần dịch được sang tiếng Pháp. Nếu tôi nói '2 + 3 là [trống]', nó cần làm số học. Nếu thấy một loạt ký hiệu toán học liên tiếp và muốn biết tiếp theo là gì, nó cần hiểu toán học cao cấp. Nếu tôi nói 'Tổng thống Mỹ là [trống]', nó cần biết sự thật. Vậy khả năng dự đoán từ tiếp theo đòi hỏi bạn làm được tất cả những điều này. Và vì nó là AI-complete, mô hình hóa ngôn ngữ là định nghĩa gần nhất mà chúng ta có về trí tuệ."

Liệu con người có dùng cơ chế tương tự attention?

Có thể không thỏa đáng khi nói một LLM "biết" hay "hiểu" điều gì — không theo cách con người hiểu — nhưng đó là cách chúng ta quen nói về những khả năng chúng thể hiện. Dù sao, attention là công cụ để mạng nơ-ron nhân tạo truy cập và truyền đạt ý nghĩa, liên tưởng và ngữ cảnh, thường đủ tốt để khiến ta kinh ngạc vì sự trôi chảy. (Với các nhiệm vụ như toán học cao cấp, các mô hình AI tiên tiến hiện nay thường có thêm hệ thống lý luận hình thức và kiểm chứng chứng minh rõ ràng hơn xếp lớp trên mô hình hóa ngôn ngữ để kiểm tra kết quả.)

Còn trí tuệ con người thì sao?

Nhưng còn trí tuệ con người? Phải chăng não chúng ta cũng dùng cơ chế tương tự phép toán Bahdanau phát minh? Suy cho cùng, chúng ta cũng làm điều gì đó giống "tạo ra từ tiếp theo tốt nhất có thể" khi nói, viết và cả suy nghĩ. Có lẽ dạng trí tuệ của chúng ta cũng tương đương với mô hình hóa ngôn ngữ?

Các nhà khoa học nhận thức đã bắt đầu nghiên cứu câu hỏi này — một phiên bản mới của câu hỏi cổ xưa về quan hệ giữa ngôn ngữ và tư duy. Chắc chắn, thành công của LLM cho thấy lượng thông tin khổng lồ về thế giới được mã hóa trong các mẫu thống kê của riêng ngôn ngữ. Câu hỏi là: khi ta thông thạo ngôn ngữ, trí tuệ có tự đến miễn phí không?

Nghiên cứu gần đây thuyết phục tôi rằng tư duy con người không thuần túy ngôn ngữ (và trí tuệ của hầu hết động vật khác hoàn toàn không phải ngôn ngữ): khi ta suy nghĩ, nhiều vùng não sáng lên hơn là chỉ các mạng chuyên biệt ở vỏ não liên quan đến ngôn ngữ. Ngôn ngữ là cách ta giao tiếp về thế giới, nhưng tư duy dường như dựa trên ấn tượng giác quan, trải nghiệm thể chất và xã hội, ký ức, và khả năng lý luận tồn tại ít nhất phần nào bên ngoài các mạng ngôn ngữ của não. Vậy mô hình hóa ngôn ngữ có vẻ chỉ là một thành phần mạnh mẽ của nhận thức con người, không phải tương đương hay nguồn gốc của nó.

Còn cách chúng ta làm "điều đó" — cách tôi hiểu ngay rằng con vật chứ không phải con đường bị mệt — thì chưa ai biết. Jones giờ nghĩ rằng attention không phải là tất cả những gì bạn cần để thực sự làm chủ mô hình hóa ngôn ngữ. Suy cho cùng, não bộ hoàn thành nhiệm vụ này hiệu quả hơn transformer nhiều. Chúng ta trò chuyện trôi chảy mà không cần đọc hết internet dù chỉ một lần, và không đốt năng lượng nhiều như vậy. "Mô hình hiện tại sẽ không giải quyết được vấn đề hiệu quả này," Jones nói. "Bạn dường như phải nhảy sang một thứ rất, rất khác."

Dù cơ chế nơ-ron của chính chúng ta là gì, nhìn lại tôi thấy hợp lý rằng giải được bài toán dịch thuật đã mở khóa AI. Dù là người hay máy, khả năng dịch hiệu quả nghĩa là bạn đã hiểu, theo một nghĩa nào đó. Giờ đây máy móc hiểu quá nhiều — trên thực tế — đến mức chúng ta khó biết phải nghĩ gì nữa.

Câu hỏi mở vẫn còn đó: nếu attention chỉ là một mảnh ghép, đâu mới là bản chất thực sự của trí tuệ?