Từ Cây Quyết định đến Dòng chảy: Sự Thống nhất Mới giữa Decision Trees và Diffusion Models

Trong lĩnh vực trí tuệ nhân tạo và học máy, Cây quyết định (Decision Trees) và Mô hình khuếch tán (Diffusion Models) thường được xem là hai phương pháp đối lập nhau. Một bên là mô hình rời rạc, mang tính phân cấp, còn lại là mô hình liên tục và động. Tuy nhiên, một bài báo khoa học mới xuất bản trên arXiv đã chứng minh rằng hai lớp mô hình này thực chất có mối liên hệ sâu sắc về mặt toán học.

Mối liên hệ toán học và nguyên lý GTSM

Nghiên cứu do các tác giả Sai Niranjan Ramachandran và Suvrit Sra thực hiện đã thiết lập một sự tương ứng toán học rõ ràng giữa các cây quyết định phân cấp và các quá trình khuếch tán trong các chế độ giới hạn phù hợp.

Sự thống nhất này dẫn đến việc phát hiện ra một nguyên lý tối ưu hóa chung được gọi là Global Trajectory Score Matching (GTSM). Đáng chú ý, nghiên cứu chỉ ra rằng Gradient Boosting (một kỹ thuật học máy phổ biến) trong phiên bản lý tưởng hóa của nó là tối ưu tiệm cận theo nguyên lý GTSM này.

Ứng dụng thực tế: TreeFlow và DSMTree

Giá trị của nghiên cứu không chỉ dừng lại ở lý thuyết mà còn được chứng minh qua hai hiện thực hóa chính, mang lại lợi ích thiết thực cho các kỹ sư và nhà phát triển.

• TreeFlow: Đây là một phương pháp mới để tạo dữ liệu (data generation) trên dữ liệu dạng bảng (tabular data). TreeFlow đạt được chất lượng tạo sinh cạnh tranh với độ trung thực cao hơn và tăng tốc độ tính toán gấp 2 lần so với các phương pháp hiện có.
• DSMTree: Là một phương pháp chưng cất (distillation) mới, DSMTree cho phép chuyển logic phân cấp của cây quyết định vào các mạng nơ-ron. Kết quả cho thấy mô hình học sinh (student model) có thể khớp hiệu suất của mô hình giáo viên (teacher model) trong biên độ 2% trên nhiều tiêu chuẩn benchmark khác nhau.

Kết luận

Công trình này mở ra một hướng đi mới trong việc thiết kế thuật toán, cho phép kết hợp cấu trúc dễ hiểu của cây quyết định với khả năng tạo sinh mạnh mẽ của mô hình khuếch tán. Điều này hứa hẹn mang lại những bước tiến trong việc xử lý dữ liệu phức tạp và tối ưu hóa hiệu suất mô hình trong tương lai.