Cuộc cách mạng ReLU và bài học về tính hợp lý sinh học trong mạng nơ-ron

Trong nhiều thập kỷ, các nhà nghiên cứu trí tuệ nhân tạo thường viện dẫn sinh học để biện minh cho các lựa chọn thiết kế mạng nơ-ron. Nhưng câu chuyện về hàm kích hoạt ReLU cho thấy điều ngược lại: chính thực nghiệm mới là thứ định hình nên các quyết định kiến trúc, còn sinh học chỉ đóng vai trò như một giả thuyết làm việc linh hoạt.

Hàm kích hoạt: từ niềm tin sinh học đến lựa chọn kỹ thuật

Trong những năm đầu của học sâu, hàm sigmoid và tanh được ưa chuộng một phần vì chúng mô phỏng tương đối sát hành vi của nơ-ron sinh học — bão hòa, có ngưỡng, và mượt mà.

Lập luận khi đó khá đơn giản: nếu não bộ hoạt động theo cách này, thì mạng nơ-ron nhân tạo cũng nên như vậy. Nhưng trên thực tế, lý do thuyết phục nhất lại mang tính kỹ thuật thuần túy: các hàm này khả vi, giúp lan truyền ngược dễ dàng.

Vấn đề nằm ở chỗ niềm tin sinh học dần trở thành một rào cản vô hình, khiến giới nghiên cứu ngần ngại thử nghiệm những hàm kích hoạt "phi sinh học" hơn.

ReLU xuất hiện và phá vỡ lối mòn

ReLU (Rectified Linear Unit) chỉ đơn giản là hàm lấy giá trị dương, còn lại bằng không. Nó không mượt, không bão hòa hai chiều, và thoạt nhìn có vẻ thô thiển so với sigmoid.

Điều đáng chú ý là ReLU không hề được thiết kế để mô phỏng nơ-ron sinh học. Nó thắng vì hiệu quả tính toán và khả năng huấn luyện mạng sâu tốt hơn hẳn.

Các lợi ích cụ thể bao gồm:

• Tính toán nhanh hơn nhờ chỉ cần so sánh với 0, không dùng hàm mũ
• Giảm hiện tượng triệt tiêu gradient khi mạng trở nên sâu hơn
• Tạo ra tính thưa trong biểu diễn, giúp mạng học các đặc trưng hiệu quả hơn

Chính những yếu tố thực nghiệm này, chứ không phải lập luận sinh học, đã đưa ReLU trở thành lựa chọn mặc định trong phần lớn kiến trúc mạng nơ-ron hiện đại.

Sinh học không biến mất, chỉ đổi vai trò

Điểm thú vị là sau khi ReLU chứng minh hiệu quả, các nhà thần kinh học lại tìm thấy những điểm tương đồng trong não bộ. Nơ-ron thực tế cũng có xu hướng hoạt động thưa và có ngưỡng kích hoạt nhất định.

Nói cách khác, sinh học không dẫn đường mà đi sau để giải thích. Đây là sự đảo ngược vai trò quan trọng trong phương pháp luận nghiên cứu AI.

Bài học cho người làm AI tại Việt Nam

Với các kỹ sư và nhà nghiên cứu trong nước đang xây dựng mô hình học sâu — từ xử lý ngôn ngữ tiếng Việt đến thị giác máy tính — câu chuyện này mang lại vài gợi ý thiết thực:

• Đừng để ẩn dụ sinh học giới hạn không gian thiết kế của bạn
• Ưu tiên thực nghiệm có kiểm chứng hơn là lập luận dựa trên trực giác về "cách não bộ hoạt động"
• Xem mọi lựa chọn kiến trúc như một giả thuyết tạm thời, sẵn sàng thay thế khi có bằng chứng mới

Kết luận

Cuộc cách mạng ReLU nhắc chúng ta rằng tiến bộ trong học sâu thường đến từ việc gạt bỏ những ràng buộc tưởng chừng bất khả xâm phạm. Tính hợp lý sinh học không phải là chân lý cố định, mà là một giả thuyết được điều chỉnh liên tục dưới áp lực của dữ liệu và kết quả thực nghiệm.