Data drift đang âm thầm phá hủy mô hình bảo mật: 5 dấu hiệu nhận biết

Data drift là hiện tượng xảy ra khi các thuộc tính thống kê của dữ liệu đầu vào vào một mô hình học máy (ML) thay đổi theo thời gian, khiến cho các dự đoán của mô hình trở nên kém chính xác hơn. Các chuyên gia an ninh mạng thường phụ thuộc vào ML cho các nhiệm vụ như phát hiện mã độc và phân tích mối đe dọa mạng, và họ nhận thấy rằng data drift không được phát hiện có thể tạo ra các lỗ hổng bảo mật nghiêm trọng. Một mô hình được đào tạo trên các mẫu tấn công cũ có thể thất bại trong việc nhận diện các mối đe dọa tinh vi ngày nay. Việc nhận biết sớm các dấu hiệu của data drift là bước đầu tiên để duy trì các hệ thống bảo mật đáng tin cậy và hiệu quả.

Tại sao Data drift làm suy yếu mô hình bảo mật

Các mô hình học máy được đào tạo dựa trên một khoảnh khắc (snapshot) của dữ liệu lịch sử. Khi dữ liệu thực tế (live data) không còn giống với khoảnh khắc đó nữa, hiệu suất của mô hình sẽ suy giảm, tạo ra một rủi ro an ninh mạng nghiêm trọng. Một mô hình phát hiện mối đe dọa có thể tạo ra nhiều âm tính giả hơn bằng cách bỏ lỡ các cuộc xâm nhập thực, hoặc tạo ra nhiều dương tính giả, dẫn đến tình trạng "mệt mỏi vì cảnh báo" (alert fatigue) cho các đội ngũ an ninh.

Những kẻ tấn công tích cực khai thác điểm yếu này. Vào năm 2024, những kẻ tấn công đã sử dụng kỹ thuật giả mạo echo (echo-spoofing) để vượt qua các dịch vụ bảo vệ email. Bằng cách khai thác cấu hình sai trong hệ thống, chúng đã gửi hàng triệu email giả mạo trốn tránh được bộ phân loại ML của nhà cung cấp. Sự cố này chứng minh cách các tác nhân đe dọa có thể thao túng dữ liệu đầu vào để khai thác các điểm mù. Khi một mô hình bảo mật không thích ứng được với các chiến thuật thay đổi, nó trở thành một gánh nặng thay vì là công cụ bảo vệ.

5 chỉ báo của Data drift

Các chuyên gia bảo mật có thể nhận biết sự hiện diện của data drift (hoặc tiềm năng của nó) theo một số cách.

1. Sụt giảm đột ngột hiệu suất mô hình

Độ chính xác (accuracy), độ chính xác dương tính (precision) và độ phủ (recall) thường là những chỉ số đầu tiên bị ảnh hưởng. Sự suy giảm nhất quán trong các chỉ số chính này là một tín hiệu cảnh báo (red flag) cho thấy mô hình không còn đồng bộ với bối cảnh mối đe dọa hiện tại.

Hãy xem xét thành công của Klarna: Trợ lý AI của họ đã xử lý 2,3 triệu cuộc trò chuyện dịch vụ khách hàng trong tháng đầu tiên và thực hiện khối lượng công việc tương đương 700 nhân viên. Hiệu quả này đã dẫn đến sự giảm 25% các yêu cầu lặp lại và giảm thời gian giải quyết xuống dưới hai phút.

Hãy tưởng tượng nếu các thông số đó đột ngột đảo ngược vì data drift. Trong bối cảnh bảo mật, sự sụt giảm hiệu suất tương tự không chỉ có nghĩa là khách hàng không hài lòng — mà còn có nghĩa là các cuộc xâm nhập thành công và nguy cơ rò rỉ dữ liệu tiềm ẩn.

2. Sự thay đổi trong phân phối thống kê

Các đội ngũ bảo mật nên giám sát các thuộc tính thống kê cốt lõi của các đặc trưng đầu vào, chẳng hạn như giá trị trung bình (mean), trung vị (median) và độ lệch chuẩn (standard deviation). Một sự thay đổi đáng kể trong các chỉ số này so với dữ liệu đào tạo có thể cho thấy dữ liệu cơ bản đã thay đổi.

Việc giám sát các sự thay đổi như vậy cho phép các nhóm bắt được data drift trước khi nó gây ra vi phạm. Ví dụ, một mô hình phát hiện lừa đảo qua email (phishing) có thể được đào tạo trên các email có kích thước tệp đính kèm trung bình là 2MB. Nếu kích thước tệp đính kèm trung bình đột ngột nhảy vọt lên 10MB do một phương pháp phát tả mã độc mới, mô hình có thể không phân loại chính xác các email này.

3. Thay đổi trong hành vi dự đoán

Ngay cả khi độ chính xác tổng thể có vẻ ổn định, phân phối của các dự đoán có thể thay đổi, một hiện tượng thường được gọi là prediction drift (sự trôi của dự đoán).

Ví dụ, nếu một mô hình phát hiện gian lận historically gắn cờ 1% giao dịch là đáng ngờ nhưng đột nhiên bắt đầu gắn cờ 5% hoặc 0,1%, thì có thể đã có sự dịch chuyển hoặc bản chất của dữ liệu đầu vào đã thay đổi. Nó có thể chỉ ra một loại tấn công mới gây nhầm lẫn cho mô hình hoặc một sự thay đổi trong hành vi người dùng hợp pháp mà mô hình chưa được đào tạo để nhận diện.

4. Sự gia tăng độ không chắc chắn của mô hình

Đối với các mô hình cung cấp điểm tin cậy (confidence score) hoặc xác suất cùng với dự đoán của chúng, sự giảm chung về độ tin cậy có thể là một dấu hiệu tinh vi của data drift.

Các nghiên cứu gần đây đã làm nổi bật giá trị của việc định lượng độ không chắc chắn trong việc phát hiện các cuộc tấn công đối kháng. Nếu mô hình trở nên ít chắc chắn hơn về các dự báo của mình trên diện rộng, có khả năng nó đang đối mặt với dữ liệu mà nó chưa được đào tạo. Trong bối cảnh an ninh mạng, sự không chắc chắn này là một dấu hiệu sớm của sự thất bại tiềm tàng của mô hình, cho thấy mô hình đang hoạt động trong vùng đất lạ và các quyết định của nó có thể không còn đáng tin cậy.

5. Thay đổi trong mối quan hệ giữa các đặc trưng

Mối tương quan giữa các đặc trưng đầu vào khác nhau cũng có thể thay đổi theo thời gian. Trong một mô hình xâm nhập mạng, lưu lượng truy cập và kích thước gói tin có thể được liên kết chặt chẽ trong quá trình hoạt động bình thường. Nếu mối tương quan đó biến mất, nó có thể báo hiệu một sự thay đổi trong hành vi mạng mà mô hình có thể không hiểu. Sự tách rời đặc trưng đột ngột có thể chỉ ra một chiến thuật đường hầm mới hoặc một nỗ lực rút trích lén lút (stealthy exfiltration).

Các phương pháp phát hiện và giảm thiểu Data drift

Các phương pháp phát hiện phổ biến bao gồm kiểm tra Kolmogorov-Smirnov (KS) và chỉ số ổn định dân số (PSI). Các phương pháp này so sánh phân phối của dữ liệu trực tiếp và dữ liệu đào tạo để xác định các độ lệch. Kiểm tra KS xác định xem hai tập dữ liệu có khác nhau đáng kể hay không, trong khi PSI đo lường mức độ phân phối của một biến đã thay đổi theo thời gian như thế nào.

Phương pháp giảm thiểu được lựa chọn thường phụ thuộc vào cách data drift biểu hiện, vì các thay đổi phân phối có thể xảy ra đột ngột. Ví dụ, hành vi mua hàng của khách hàng có thể thay đổi qua đêm với việc ra mắt một sản phẩm mới hoặc một chương trình khuyến mãi. Trong các trường hợp khác, data drift có thể xảy ra dần dần trong một thời gian dài. Tuy nhiên, các đội ngũ bảo mật phải học cách điều chỉnh tần suất giám sát của mình để bắt được cả các đỉnh nhọn nhanh chóng và các quá trình chậm chạp. Việc giảm thiểu sẽ bao gồm việc đào tạo lại mô hình trên dữ liệu mới hơn để lấy lại hiệu quả của nó.

Quản lý chủ động Data drift để tăng cường bảo mật

Data drift là một thực tế không thể tránh khỏi, và các đội ngũ an ninh mạng có thể duy trì thế mạnh bảo mật bằng cách coi việc phát hiện là một quá trình liên tục và tự động hóa. Giám sát chủ động và đào tạo lại mô hình là các thực hành cơ bản để đảm bảo các hệ thống học máy vẫn là những đồng minh đáng tin cậy chống lại các mối đe dọa đang phát triển.

Zac Amos là Biên tập viên Chuyên mục tại ReHack.