Khi dữ liệu thiếu không chỉ là "thiếu": Những giả định ẩn sau các ô trống

Trong phần lớn các dự án phân tích dữ liệu, một ô trống thường bị coi là "lỗi" cần sửa chữa bằng cách xóa dòng hoặc điền giá trị trung bình. Tuy nhiên, cách tiếp cận đơn giản này có thể bỏ qua một sự thật quan trọng: chính sự vắng mặt của một phép đo đôi khi lại phản ánh bản chất của hiện tượng mà chúng ta đang cố gắng tìm hiểu. Bài viết này phân tích ba cơ chế thiếu dữ liệu kinh điển, các phương pháp thống kê tiên tiến để xử lý chúng, và lý do tại sao các nhà khoa học dữ liệu cần coi "missingness" như một tín hiệu chứ không phải một sự phiền toái.

Sự vắng mặt không bao giờ là ngẫu nhiên tuyệt đối

Trong một thử nghiệm lâm sàng, những bệnh nhân bỏ cuộc trước khi kết thúc nghiên cứu không phải là một mẫu ngẫu nhiên: họ thường là những người có tình trạng bệnh xấu đi hoặc gặp tác dụng phụ nghiêm trọng. Tương tự, trên một biểu mẫu đăng ký, trường thu nhập tự nguyện thường bị bỏ trống bởi những người có mức lương mà họ không muốn tiết lộ. Ngay cả cảm biến môi trường, vốn được coi là "khách quan" hơn con người, cũng không tránh khỏi vấn đề này. Một cảm biến PM2.5 đo nồng độ bụi mịn có thể bị hỏng hoặc hoạt động sai chính xác trong điều kiện ô nhiễm nặng – thời điểm mà mạng lưới quan trắc được xây dựng để ghi nhận. Điều này đồng nghĩa với việc các khoảng trống dữ liệu có thể xuất hiện nhiều hơn trong các sự kiện ô nhiễm cao, tạo ra một lỗ hổng hệ thống.

Ba cơ chế thiếu dữ liệu: MCAR, MAR và MNAR

Nhà thống kê học Donald Rubin đã chính thức hóa vấn đề này vào năm 1976, phân chia thành ba cơ chế dựa trên xác suất thiếu dữ liệu. MCAR (Thiếu hoàn toàn ngẫu nhiên) xảy ra khi xác suất thiếu không phụ thuộc vào bất kỳ giá trị nào – việc xóa các hàng thiếu không gây ra sai lệch (bias) mà chỉ làm giảm cỡ mẫu. MAR (Thiếu ngẫu nhiên) cho phép xác suất thiếu phụ thuộc vào các biến quan sát được, giúp việc ước lượng không chệch có thể thực hiện nếu mô hình hóa đúng. Tuy nhiên, trường hợp phức tạp nhất là MNAR (Thiếu không ngẫu nhiên), khi xác suất thiếu phụ thuộc vào chính giá trị bị khuyết. Ví dụ trong thử nghiệm lâm sàng, bệnh nhân bỏ nghiên cứu vì tình trạng bệnh trở nên tồi tệ (giá trị ta không quan sát được).

Các phương pháp xử lý: Từ mô hình Heckman đến bội số hóa

Khi đối mặt với MNAR, các nhà nghiên cứu có nhiều công cụ mạnh mẽ. Mô hình Heckman (1979) xử lý vấn đề chọn mẫu bằng cách kết hợp phương trình kết quả với phương trình "chọn lựa" – mô hình hóa xác suất một quan sát xuất hiện trong dữ liệu. Cách tiếp cận này đòi hỏi giả định mạnh về phân phối chuẩn chung, khiến nó vừa là thế mạnh vừa là hạn chế. Ngược lại, phương pháp trọng số nghịch đảo (IPW) theo Robins và các cộng sự (1994) không yêu cầu mô hình hóa tác động của các yếu tố không quan sát được. Thay vào đó, nó ước lượng xác suất quan sát được và tái trọng số các bản ghi có mặt, giúp ước lượng không chệch dưới giả định MAR. Bội số hóa (Multiple Imputation) lại đi theo hướng khác: điền vào chỗ trống nhiều lần bằng các giá trị mô phỏng, chạy phân tích trên từng bộ dữ liệu hoàn chỉnh rồi tổng hợp kết quả, từ đó phản ánh đầy đủ sự không chắc chắn của việc ước lượng.

Khi thiếu dữ liệu là một tín hiệu có giá trị

Trong bài toán dự đoán, việc một trường bị bỏ trống có thể là một đặc trưng hữu ích. Một khách hàng điền đầy đủ thông tin về quy mô công ty và ngân sách trên biểu mẫu đăng ký dùng thử phần mềm thường là khách hàng tiềm năng nghiêm túc hơn. Phương pháp missing indicator (biến chỉ báo thiếu) thêm một cột nhị phân đánh dấu việc thiếu dữ liệu, cho phép mô hình học hỏi từ chính sự vắng mặt đó. Các mô hình gradient-boosted trees như XGBoost thậm chí có thể tự học "hướng mặc định" cho các giá trị thiếu, biến sự không có mặt thành một phần logic dự đoán.

Phân biệt giữa suy luận và dự đoán

Key insight quan trọng nhất là cách xử lý dữ liệu thiếu phụ thuộc vào mục đích phân tích. Trong suy luận thống kê (ước lượng tác động điều trị hay hệ số hồi quy), dữ liệu thiếu là nguồn gây nhiễu cần kiểm soát. Trong dự đoán, nó có thể là một tín hiệu hữu ích. Tuy nhiên, phương pháp chỉ báo thiếu chỉ hiệu quả khi mô hình được triển khai trong thực tế gặp cùng mô hình thiếu dữ liệu như trong quá trình huấn luyện – nếu không, hiệu suất sẽ bị đánh giá quá lạc quan.

Kết luận và khuyến nghị

Không có quyết định "trung tính" nào khi xử lý dữ liệu thiếu. Mỗi phương pháp đều dựa trên những giả định nhất định về quá trình tạo ra khoảng trống. Chuyên gia dữ liệu không thể chỉ dựa vào test thống kê để xác định cơ chế thiếu, mà cần kết hợp hiểu biết chuyên môn về bản chất vấn đề và thiết kế nghiên cứu. Phân tích độ nhạy (sensitivity analysis) giúp kiểm tra mức độ kết luận thay đổi khi thay đổi giả định về cơ chế thiếu. Cuối cùng, một lời khuyên thiết thực: hãy bắt đầu bằng việc xác định rõ câu hỏi phân tích (estimand), sau đó mới quyết định cách xử lý dữ liệu khuyết. Việc dán nhãn rõ ràng về giả định và hạn chế trong báo cáo cũng quan trọng như việc lựa chọn thuật toán, để người đọc hiểu được độ tin cậy thực sự của kết quả.