Mô hình Transformer gặp hạn chế trong khả năng kiểm soát điều hành
Một nghiên cứu mới đăng trên PNAS Nexus chỉ ra rằng các mô hình Transformer, nền tảng của AI hiện đại, đang thiếu hụt các cơ chế kiểm soát điều hành mạnh mẽ tương tự như não bộ con người. Sự thiếu sót này ảnh hưởng đến cách mô hình quản lý sự chú ý và xử lý thông tin phức tạp.
Mô hình Transformer gặp hạn chế trong khả năng kiểm soát điều hành
Một nghiên cứu mới được công bố trên tạp chí PNAS Nexus đã làm sáng tỏ một điểm yếu quan trọng trong kiến trúc của các mô hình Transformer - nền tảng của các hệ thống trí tuệ nhân tạo (AI) tạo sinh hiện nay như GPT-4 hay Claude. Nghiên cứu này so sánh cơ chế "chú ý" (attention) trong AI với khái niệm "kiểm soát điều hành" (executive control) trong khoa học thần kinh của con người.
Thiếu hụt kiểm soát điều hành
Trong não bộ con người, kiểm soát điều hành là một tập hợp các quá trình nhận thức cho phép chúng ta lập kế hoạch, tập trung sự chú ý, ghi nhớ hướng dẫn và đa nhiệm hiệu quả. Nó đóng vai trò như một người quản lý, điều phối các nguồn lực nhận thức để đạt được mục tiêu cụ thể.
Theo nghiên cứu, các mô hình Transformer hiện tại hoạt động dựa trên cơ chế chú ý tĩnh và xác suất thống kê, nhưng thiếu đi thành phần kiểm soát điều hành linh hoạt này. Điều này có nghĩa là mô hình có thể gặp khó khăn trong việc duy trì mục tiêu xuyên suốt một chuỗi logic dài hoặc thay đổi chiến lược xử lý khi gặp thông tin mâu thuẫn, một khả năng mà con người thực hiện tự nhiên.
Tác động đến hiệu suất của AI
Sự thiếu hụt này giải thích một phần lý do tại sao các mô hình ngôn ngữ lớn (LLM) đôi khi mắc lỗi logic hoặc tạo ra thông tin sai lệch (hallucination). Khi không có cơ chế kiểm soát điều hành mạnh mẽ để điều hướng dòng chảy thông tin, mô hình có thể bị lạc hướng bởi các chi tiết không quan trọng hoặc các mẫu thống kê gây nhiễu.
"Cơ chế chú ý trong Transformer hoạt động khác biệt đáng kể so với sự chú ý có kiểm soát của con người," các tác giả nghiên cứu nhận định.
Hướng đi tương lai
Việc xác định được sự thiếu hụt này mở ra hướng đi mới cho việc cải thiện AI. Các nhà nghiên cứu đề xuất rằng việc tích hợp các cơ chế kiểm soát điều hành rõ ràng hơn vào kiến trúc mạng nơ-ron có thể giúp AI trở nên đáng tin cậy hơn, giảm thiểu lỗi và cải thiện khả năng suy luận trong các tình huống phức tạp.
Điều này có thể dẫn đến thế hệ tiếp theo của các mô hình AI không chỉ giỏi bắt chước ngôn ngữ mà còn có khả năng quản lý suy nghĩ và xử lý thông tin một cách có chủ đích hơn, giống hơn với cách thức hoạt động của não người.
