Không cần Attention: Kiến trúc mới dựa trên đa tạp Grassmann thách thức Transformer

Trong nhiều năm qua, cơ chế self-attention đã trở thành trái tim của mọi mô hình ngôn ngữ lớn, từ GPT đến BERT. Nhưng một bài báo mới trên arXiv mang tên "Attention Is Not What You Need" của tác giả Zhang Chong đang đặt câu hỏi nền tảng: liệu attention có thực sự là thành phần không thể thiếu để đạt hiệu năng cao?

Attention dưới góc nhìn toán học: một phép "nâng tensor"

Theo tác giả, multi-head attention truyền thống nên được nhìn nhận như một dạng tensor lifting — tức là các vector ẩn được ánh xạ vào một không gian nhiều chiều của các tương tác cặp đôi (pairwise interactions), rồi quá trình học diễn ra bằng cách ràng buộc tensor đã được "nâng" này thông qua gradient descent.

Cơ chế này cực kỳ biểu cảm nhưng lại mờ đục về mặt toán học. Sau nhiều lớp, rất khó để mô tả mô hình bằng một tập nhỏ các bất biến (invariants) rõ ràng. Nói cách khác, attention mạnh nhưng khó hiểu và khó kiểm soát.

"Chúng tôi lập luận rằng standard multi-head attention tốt nhất nên được xem như một dạng tensor lifting... Cơ chế này cực kỳ biểu cảm nhưng mờ đục về mặt toán học."

Giải pháp thay thế: Dòng chảy Grassmann

Nhóm nghiên cứu đề xuất một kiến trúc không dùng attention dựa trên Grassmann flows. Thay vì tạo ra ma trận attention kích thước L×L, lớp Causal Grassmann hoạt động theo ba bước:

• Giảm chiều tuyến tính các trạng thái token
• Mã hóa các cặp token lân cận thành các không gian con hai chiều trên đa tạp Grassmann thông qua tọa độ Plücker
• Hợp nhất các đặc trưng hình học trở lại trạng thái ẩn thông qua gated mixing

Kết quả là thông tin được lan truyền thông qua các biến dạng có kiểm soát của không gian con hạng thấp trên nhiều cửa sổ cục bộ đa quy mô. Điểm then chốt là phép tính cốt lõi diễn ra trên một đa tạp hữu hạn chiều thay vì trong không gian tensor phi cấu trúc như attention.

Kết quả thực nghiệm: Kém một chút nhưng tiềm năng lớn

Trên bộ dữ liệu Wikitext-2, các mô hình thuần Grassmann với 13 đến 18 triệu tham số đạt validation perplexity chỉ cao hơn khoảng 10-15% so với Transformer có cùng kích thước. Đây là một con số khá ấn tượng cho một hướng tiếp cận hoàn toàn mới.

Đáng chú ý hơn, trên tác vụ SNLI (suy luận ngôn ngữ tự nhiên), một Grassmann-Plücker head gắn trên DistilBERT lại vượt nhẹ Transformer head:

• Độ chính xác validation tốt nhất: 0,8550 so với 0,8545
• Độ chính xác test tốt nhất: 0,8538 so với 0,8511

Độ phức tạp tuyến tính theo độ dài chuỗi

Tác giả cũng phân tích độ phức tạp của phép Grassmann mixing và chứng minh khả năng mở rộng tuyến tính theo độ dài chuỗi khi hạng (rank) cố định. Đây là lợi thế đáng kể so với attention truyền thống, vốn có độ phức tạp bậc hai theo độ dài chuỗi — bài toán đau đầu của mọi kỹ sư triển khai mô hình ngôn ngữ lớn.

Ý nghĩa với cộng đồng AI Việt Nam

Với các nhóm nghiên cứu và kỹ sư AI tại Việt Nam đang tìm cách tối ưu chi phí huấn luyện mô hình trên hạ tầng hạn chế, hướng tiếp cận dựa trên đa tạp (manifold-based) này mở ra triển vọng đáng chú ý. Nếu độ phức tạp tuyến tính được xác nhận trên các mô hình quy mô lớn, đây có thể là chìa khóa để xử lý ngữ cảnh dài mà không cần đến lượng GPU khổng lồ.

Dù vậy, cần lưu ý rằng kết quả hiện tại mới ở quy mô hàng chục triệu tham số, trong khi các mô hình thương mại đã lên tới hàng trăm tỷ tham số. Con đường từ nghiên cứu học thuật đến ứng dụng thực tế vẫn còn dài.

Kết luận

Bài báo của Zhang Chong không tuyên bố attention đã chết, mà đề xuất một con đường có cấu trúc hơn hướng tới việc diễn giải suy luận của mạng nơ-ron dựa trên hình học và các bất biến. Đây là một hướng nghiên cứu thú vị, đáng theo dõi trong năm 2026 khi cộng đồng AI tiếp tục tìm kiếm những kiến trúc vượt ra ngoài cái bóng của Transformer.

Bạn có thể đọc toàn bộ bài báo tại arXiv:2512.19428.