Ba bộ lấy mẫu, một phân phối hậu nghiệm: NUTS, Emcee và Nested Sampling đối đầu

Trong thống kê Bayes, việc lấy mẫu từ phân phối hậu nghiệm là bước then chốt để ước lượng tham số và đánh giá độ bất định. Có rất nhiều thuật toán được quảng cáo là mạnh mẽ, nhưng khi đặt lên bàn cân với cùng một bài toán, chúng lại cho ra kết quả khác nhau — thậm chí có phương pháp thất bại.

Ba phương pháp, ba triết lý khác nhau

Bài toán được chọn có phân phối hậu nghiệm đã biết trước, cho phép đối chiếu trực tiếp với "chân lý chính xác". Ba ứng viên gồm:

• NUTS (No-U-Turn Sampler) thông qua thư viện NumPyro, đại diện cho dòng Hamiltonian Monte Carlo (HMC) hiện đại, khai thác thông tin gradient để di chuyển hiệu quả trong không gian tham số.
• Emcee, triển khai thuật toán MCMC bất biến affine (affine-invariant MCMC), vốn không cần gradient và hoạt động tốt với các phân phối có tương quan mạnh giữa các chiều.
• Nested Sampling thông qua dynesty, một cách tiếp cận khác biệt hoàn toàn: thay vì lấy mẫu trực tiếp từ hậu nghiệm, nó tính toán bằng chứng (evidence) và suy ra hậu nghiệm từ các lớp contour.

Điều gì xảy ra khi chúng đối đầu?

Kết quả benchmark cho thấy một bức tranh không hề đơn giản. Cả ba phương pháp đều có điểm mạnh và điểm yếu riêng, và đáng chú ý là cả ba đều có lúc thất bại theo những cách khác nhau.

Không có phương pháp lấy mẫu nào là viên đạn bạc. Mỗi thuật toán đều có giả định ngầm mà người dùng cần hiểu rõ trước khi tin tưởng kết quả.

NUTS thường cho kết quả chính xác nhất khi phân phối hậu nghiệm trơn tru và có gradient rõ ràng. Tuy nhiên, nó nhạy cảm với việc tinh chỉnh các siêu tham số như bước nhảy và ma trận khối lượng. Nếu cấu hình sai, mẫu có thể bị kẹt hoặc phân kỳ.

Emcee tỏ ra bền bỉ hơn trong các bài toán mà gradient khó tính hoặc không tồn tại. Nhưng với không gian nhiều chiều, số lượng "walker" cần thiết tăng nhanh, khiến chi phí tính toán trở nên đắt đỏ.

Nested Sampling cung cấp thêm giá trị ở chỗ nó ước lượng được bằng chứng mô hình — thứ mà hai phương pháp kia không làm được. Đổi lại, nó đòi hỏi cấu hình cẩn thận và có thể chậm hơn đáng kể với các bài toán phức tạp.

Bài học cho người làm thực tế

Với các kỹ sư và nhà khoa dữ liệu tại Việt Nam đang bước vào lĩnh vực suy luận Bayes, bài học rút ra rất rõ ràng:

• Luôn kiểm chứng trên bài toán có đáp án đã biết trước khi áp dụng vào dữ liệu thật.
• Đừng tin tưởng mù quáng vào một phương pháp duy nhất — hãy chạy ít nhất hai cách tiếp cận và so sánh kết quả.
• Hiểu rõ giả định của từng thuật toán quan trọng hơn việc chạy theo công cụ mới nhất.

Sự đối chiếu này nhắc nhở rằng trong học máy Bayes, chất lượng suy luận phụ thuộc nhiều vào việc hiểu dữ liệu và mô hình hơn là vào việc chọn thư viện "xịn" nhất.