Phát hiện data drift khi mọi đặc trưng trông vẫn bình thường

Trong vận hành mô hình học máy, data drift là kẻ thù thầm lặng. Bạn huấn luyện một mô hình đạt độ chính xác cao, triển khai lên production, và vài tháng sau chất lượng dự đoán tụt dốc không phanh. Nhưng khi kiểm tra lại, mọi biến đầu vào vẫn có phân phối trông "ổn" — giá trị trung bình không đổi, độ lệch chuẩn không đổi, biểu đồ histogram chẳng khác gì lúc train.

Vấn đề nằm ở chỗ: drift không phải lúc nào cũng nằm ở phân phối của từng đặc trưng riêng lẻ. Nó có thể ẩn trong mối quan hệ giữa các đặc trưng với nhau. Ví dụ, độ tuổi và thu nhập đều giữ nguyên phân phối, nhưng mối tương quan giữa chúng đã đảo chiều. Các phép kiểm định như Kolmogorov-Smirnov hay Population Stability Index trên từng cột sẽ hoàn toàn "im lặng" trước kiểu dịch chuyển này.

Vì sao kiểm tra từng đặc trưng là chưa đủ

Hãy hình dung một mô hình chấm điểm tín dụng dùng hai đặc trưng: số dư tài khoản và lịch sử trả nợ. Cả hai đều có phân phối gần như y nguyên so với dữ liệu huấn luyện. Nhưng trong thực tế mới, nhóm khách hàng có số dư cao lại bắt đầu có lịch sử trả nợ xấu — điều gần như không xảy ra trong tập train.

Về mặt thống kê đơn biến, không có gì bất thường. Nhưng với mô hình, đây là một thế giới hoàn toàn khác. Ranh giới quyết định mà nó học được không còn đúng nữa, và tỷ lệ dự đoán sai tăng vọt.

Đây chính là điểm mù của các pipeline giám sát drift truyền thống, vốn chỉ so sánh phân phối biên (marginal distribution) của từng cột.

Adversarial validation: biến bài toán giám sát thành bài toán phân loại

Adversarial validation là một kỹ thuật tinh tế nhưng dễ triển khai. Ý tưởng cốt lõi rất đơn giản:

• Gộp dữ liệu huấn luyện và dữ liệu production mới lại với nhau.
• Gán nhãn 0 cho mẫu thuộc tập train, nhãn 1 cho mẫu thuộc tập mới.
• Huấn luyện một bộ phân loại (thường là gradient boosting như LightGBM hoặc XGBoost) để phân biệt hai nguồn dữ liệu này.
• Đánh giá bằng AUC trên tập kiểm tra chéo.

Nếu mô hình phân loại không thể phân biệt hai tập — AUC xấp xỉ 0.5 — thì dữ liệu mới và dữ liệu train đến từ cùng một phân phối. Không có drift.

Ngược lại, nếu AUC cao, chẳng hạn 0.85 hay 0.9, điều đó có nghĩa là có tín hiệu rõ ràng giúp phân biệt hai tập. Dữ liệu đã dịch chuyển, và mô hình production đang phải đối mặt với một phân phối khác với lúc huấn luyện.

Điểm mạnh của adversarial validation là nó bắt được cả drift đơn biến lẫn đa biến trong một phép đo duy nhất, mà không cần giả định gì về hình dạng phân phối.

Cài đặt với scikit-learn

Quy trình triển khai khá gọn. Trước hết, gán nhãn cho hai nguồn dữ liệu:

import numpy as np
import pandas as pd
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import cross_val_predict
from sklearn.metrics import roc_auc_score

# X_train: dữ liệu huấn luyện gốc
# X_prod: dữ liệu thu thập gần đây từ production

X_combined = pd.concat([X_train, X_prod], axis=0, ignore_index=True)
y_combined = np.concatenate([
    np.zeros(len(X_train)),
    np.ones(len(X_prod))
])

Sau đó huấn luyện bộ phân loại và đo AUC:

clf = HistGradientBoostingClassifier(
    max_iter=200,
    learning_rate=0.05,
    random_state=42
)

# Dùng cross_val_predict để có dự đoán "out-of-fold",
# tránh đánh giá quá lạc quan do overfitting
proba = cross_val_predict(
    clf, X_combined, y_combined,
    cv=5, method="predict_proba"
)[:, 1]

auc = roc_auc_score(y_combined, proba)
print(f"Adversarial AUC: {auc:.4f}")

Một mẹo quan trọng: hãy dùng cross_val_predict thay vì chia train/test đơn giản. Nếu không, một mô hình đủ mạnh có thể học thuộc lòng tập train và cho AUC cao giả tạo ngay cả khi hai tập thực chất giống nhau.

Đọc kết quả thế nào cho đúng

AUC của adversarial validation cần được diễn giải cẩn thận:

• AUC ≈ 0.5: không có drift đáng kể. Yên tâm.
• AUC từ 0.6 đến 0.75: drift nhẹ, nên theo dõi thêm.
• AUC từ 0.75 đến 0.9: drift rõ rệt, cần điều tra và có thể phải huấn luyện lại.
• AUC trên 0.9: dịch chuyển nghiêm trọng, mô hình gần như chắc chắn đang hoạt động ngoài vùng phân phối mà nó từng học.

Lưu ý rằng ngưỡng cụ thể phụ thuộc vào bài toán. Với dữ liệu có tính mùa vụ mạnh, một chút drift là bình thường và không nhất thiết đáng lo.

Truy vết đặc trưng nào gây ra drift

Sau khi xác nhận có drift, câu hỏi tiếp theo luôn là: đặc trưng nào chịu trách nhiệm? Bạn có thể khai thác feature importance của chính bộ phân loại adversarial:

from sklearn.inspection import permutation_importance

clf.fit(X_combined, y_combined)

perm = permutation_importance(
    clf, X_combined, y_combined,
    n_repeats=10, random_state=42, n_jobs=-1
)

importance_df = pd.DataFrame({
    "feature": X_combined.columns,
    "importance": perm.importances_mean
}).sort_values("importance", ascending=False)

print(importance_df.head(10))

Những đặc trưng đứng đầu bảng này chính là các "nghi phạm" hàng đầu. Nếu chúng khớp với những biến mà mô hình production phụ thuộc nhiều, đó là tín hiệu báo động đỏ.

Đưa vào pipeline giám sát production

Adversarial validation phát huy giá trị lớn nhất khi được tự động hóa. Một số gợi ý triển khai:

• Chạy định kỳ — hàng tuần hoặc hàng tháng, so sánh dữ liệu production mới nhất với tập train gốc.
• Cửa sổ trượt — thay vì so sánh toàn bộ, hãy so sánh từng cửa sổ thời gian để phát hiện drift xuất hiện dần.
• Cảnh báo tự động — đặt ngưỡng AUC và gửi thông báo khi vượt qua.
• Kết hợp với giám sát hiệu năng — nếu AUC adversarial tăng đồng thời với sai số dự đoán, đó là bằng chứng gần như chắc chắn rằng mô hình cần được huấn luyện lại.

Với các hệ thống MLOps trên cloud như SageMaker, Vertex AI hay MLflow, bạn có thể đóng gói logic này thành một job giám sát chạy theo lịch, lưu kết quả vào bảng theo dõi để vẽ biểu đồ xu hướng theo thời gian.

Những cạm bẫy cần tránh

Kỹ thuật này mạnh, nhưng không miễn nhiễm với sai sót:

• Rò rỉ dữ liệu (data leakage): nếu tập production chứa các cột được tạo ra sau khi mô hình dự đoán, adversarial validation sẽ báo drift giả.
• Mất cân bằng lớp: nếu số lượng mẫu giữa hai tập chênh lệch lớn, hãy cân bằng trọng số lớp hoặc lấy mẫu lại.
• Kích thước mẫu: với tập quá nhỏ, AUC dao động mạnh và khó kết luận. Nên có tối thiểu vài nghìn mẫu mỗi bên.
• Đặc trưng phân loại: cần mã hóa phù hợp (target encoding hoặc one-hot) trước khi đưa vào bộ phân loại.

Kết luận

Data drift không phải lúc nào cũng lộ diện qua biểu đồ phân phối của từng đặc trưng. Khi mối quan hệ giữa các biến thay đổi trong khi từng biến vẫn "trông bình thường", các phương pháp giám sát đơn biến sẽ mù hoàn toàn.

Adversarial validation lấp đầy khoảng trống đó bằng một ý tưởng đơn giản nhưng hiệu quả: nếu một mô hình có thể phân biệt dữ liệu train với dữ liệu production, thì chắc chắn đã có điều gì đó thay đổi. Chỉ với vài chục dòng code scikit-learn, bạn có thêm một lá chắn giám sát mạnh mẽ cho mọi hệ thống học máy đang vận hành trong thực tế.