PC-ALM: Phương pháp thay thế lan truyền ngược bằng học dự đoán Lagrangian tăng cường

Các nhà nghiên cứu tại Sakana AI vừa công bố PC-ALM (Augmented Lagrangian Predictive Coding), một phương pháp huấn luyện mạng nơ-ron thay thế cho lan truyền ngược truyền thống. Điểm đáng chú ý là PC-ALM có thể huấn luyện các mạng MLP residual sâu tới 1000 lớp với hiệu năng gần tương đương, nhưng chỉ sử dụng động lực học cục bộ theo từng lớp. Kết quả này mở ra tiềm năng hiểu rõ hơn về cách não bộ giải quyết bài toán gán tín dụng đa lớp, đồng thời hướng tới học sâu tiết kiệm năng lượng trên phần cứng neuromorphic.

Vì sao não bộ không thể dùng lan truyền ngược

Lan truyền ngược (backpropagation) từ lâu đã là xương sống của học sâu hiện đại. Tuy nhiên, não bộ không thể thực hiện chính xác thuật toán này. Lý do cốt lõi nằm ở hiện tượng gọi là "khóa pha" (phase locking).

Lan truyền ngược vận hành theo ba pha nghiêm ngặt: lan truyền tiến, lan truyền lùi, rồi cập nhật trọng số. Trong đó, việc cập nhật trọng số bị khóa cho đến khi cả hai pha trước hoàn tất — nghĩa là một nơ-ron ở lớp đầu phải giữ nguyên giá trị kích hoạt và chờ tín hiệu lỗi truyền tới. Não bộ không có cơ chế nào được biết đến có thể thực thi sự phối hợp thời gian chặt chẽ như vậy trên toàn mạng. Đây vẫn là một trong những bài toán chưa có lời giải nền tảng của khoa học thần kinh.

Học dự đoán cổ điển và hạn chế của nó

Học dự đoán (Predictive Coding – PC) ra đời từ các lý thuyết của Helmholtz về tri giác vô thức, sau đó được Rao & Ballard (1999) phát triển thành khung toán học như một mô hình của vỏ não thị giác. Ý tưởng cốt lõi rất trực quan: mỗi lớp cố gắng mô hình hóa tín hiệu đầu vào của mình, và chỉ gửi lên trên phần sai số dự đoán — tức phần mà lớp đó không mô hình hóa được.

Về mặt toán học, PC biến mạng truyền thẳng thành một bài toán tối ưu có ràng buộc, trong đó mỗi vector kích hoạt của lớp trở thành một biến tối ưu độc lập. Hàm mất mát mới bao gồm mất mát giám sát gốc cộng với hình phạt bậc hai cho các vi phạm ràng buộc từng lớp — đại lượng này được gọi là "năng lượng tự do" (free energy) của mạng.

So sánh độ chính xác của PC-ALM so với lan truyền ngược theo độ sâu

Quá trình huấn luyện PC luân phiên giữa bước suy luận và bước học:

• Bước suy luận: mỗi lớp cập nhật kích hoạt dựa trên các lớp lân cận, chỉ cần trao đổi thông tin với hàng xóm gần nhất (message passing).
• Bước học: cập nhật trọng số theo quy tắc kiểu Hebb, nhân sai số sau khớp thần kinh với hoạt động trước khớp thần kinh.

Cả hai bước đều mang tính cục bộ theo lớp, không cần đồng bộ hóa toàn mạng như lan truyền ngược. Tuy nhiên, PC có một điểm yếu chí mạng: suy giảm tín dụng (signal decay). Trong các mạng sâu và hẹp, tín hiệu gán tín dụng trở nên yếu ớt từ rất lâu trước khi đến được lớp đầu vào. Tăng số bước suy luận T giúp tín hiệu lan xa hơn, nhưng cái giá là chi phí tính toán tăng theo.

PC-ALM: Bước đột phá với nhân tử Lagrange

PC-ALM giải quyết vấn đề trên bằng cách thay thế năng lượng tự do của PC bằng Lagrangian tăng cường (Augmented Lagrangian – AL):

mất mát giám sát + số hạng Lagrangian + năng lượng PC

Điểm khác biệt then chốt: mỗi lớp được trang bị thêm một nhân tử Lagrange (hay biến đối ngẫu) λ, cùng chiều với vector kích hoạt của lớp đó. Cách tiếp cận này không mới trong tối ưu hóa phân tán, nhưng đây là lần đầu nó được kết hợp hiệu quả với học dự đoán.

Về mặt trực giác, nếu ta xét một mạng vô hướng đơn giản, nhân tử λ tích lũy sai số dự đoán của lớp qua từng bước, rồi phản hồi ngược vào cập nhật kích hoạt. Khi hội tụ, kích hoạt trở về giá trị của lượt lan truyền tiến (khôi phục ràng buộc), trong khi λ đã tích lũy thành tín hiệu gán tín dụng chính xác của lan truyền ngược cho lớp đó.

Đáng chú ý, trong trường hợp giới hạn của mạng tuyến tính, các biến đối ngẫu hội tụ về đúng tín dụng lan truyền ngược — dù chỉ dùng tính toán cục bộ. Đây là kết quả lý thuyết quan trọng được chứng minh trong bài báo.

Góc nhìn lý thuyết điều khiển

PC-ALM mang đến một cách nhìn mới mẻ: mỗi lớp hoạt động như một bộ điều khiển phản hồi PI (Proportional-Integral). Lớp kết hợp sai số dự đoán hiện tại (số hạng tỉ lệ) với tín hiệu lỗi tích lũy (số hạng tích phân). Gán tín dụng toàn cục nổi lên từ một mạng lưới các bộ điều khiển phản hồi cục bộ — một nguyên lý thiết kế đầy hứa hẹn cho các thuật toán học cục bộ mới.

Các nhà nghiên cứu còn phát hiện một tính chất động học thú vị: trong quá trình suy luận, chuyển động của kích hoạt ban đầu chỉ xuất hiện ở các lớp cuối. Khi suy luận tiếp diễn, các lớp sớm hơn nhận được tín hiệu, tạo thành một mặt sóng tiến về phía đầu vào. Động lực học nguyên-thủy/đối ngẫu của PC-ALM đẩy mặt sóng này xuyên qua mạng nhanh hơn PC. Nhóm nghiên cứu gọi đây là lan truyền tín dụng "đạn đạo" (ballistic), tương phản với kiểu lan truyền khuếch tán như dòng nhiệt của PC.

Kết quả thực nghiệm

PC-ALM đã được kiểm chứng trên nhiều tác vụ:

• Huấn luyện thành công MLP 1000 lớp trên MNIST, đạt hiệu năng gần bằng lan truyền ngược chỉ với động lực học cục bộ.
• Cải thiện hiệu năng so với PC trên mọi tác vụ, bao gồm huấn luyện ResNet-18 trên CIFAR-10 và Tiny ImageNet.
• Các tác vụ kinh điển như Fashion-MNIST và CIFAR-10 đều cho thấy lợi thế rõ rệt.

Biểu đồ độ chính xác theo độ sâu mạng trên các bộ dữ liệu benchmark

Một phát hiện thú vị khác: các nơ-ron riêng lẻ trong PC-ALM thể hiện dao động tắt dần trong quá trình suy luận — dấu hiệu đặc trưng của hệ động lực học có phản hồi.

Ý nghĩa và hướng phát triển

Động lực chính của công trình này mang tính khoa học: hiểu sâu hơn về cơ chế gán tín dụng trong các hệ thống vật lý thực như não bộ. Tuy nhiên, nó cũng có ý nghĩa thực tiễn rõ rệt — học sâu tiết kiệm năng lượng trên phần cứng neuromorphic, nơi mô phỏng hệ động lực học rẻ hơn nhiều so với trên GPU.

Nhóm nghiên cứu thẳng thắn thừa nhận còn nhiều việc phải làm:

• Mở rộng PC-ALM sang các tác vụ thời gian với gán tín dụng theo thời gian.
• Áp dụng cho các mất mát tự giám sát.
• Thử nghiệm trên mạng lớn hơn và tác vụ khó hơn.

Một đánh đổi thú vị cũng được nêu ra: trong PC, kích hoạt sau khi hội tụ khác với lượt lan truyền tiến — hiện tượng gọi là "cấu hình tiềm năng" (prospective configuration) giúp cải thiện hiệu quả mẫu. PC-ALM cải thiện lan truyền tín dụng nhưng từ bỏ đặc tính này khi hội tụ. Nhóm nghiên cứu nghi ngờ tồn tại một đánh đổi nền tảng giữa hai yếu tố, và các thiết lập trung gian của T, α cùng rò rỉ đối ngẫu có thể cân bằng cả hai lợi ích.

Với cộng đồng nghiên cứu AI tại Việt Nam, PC-ALM là một chủ đề đáng theo dõi — đặc biệt khi các trung tâm dữ liệu và bài toán tiết kiệm năng lượng đang ngày càng được quan tâm. Việc hiểu rõ các phương pháp học cục bộ không chỉ mở ra hướng đi mới cho phần cứng chuyên dụng mà còn giúp chúng ta tiến gần hơn đến việc lý giải cách bộ não thực sự học.