Ước tính điểm số từ dữ liệu chỉ có nhãn phân loại: Thủ thuật mạng nơ-ron dung lượng thấp

Trong nhiều bài toán thực tế, dữ liệu huấn luyện chỉ có nhãn phân loại (ví dụ: "khỏi bệnh", "nhập viện", "tử vong") trong khi mục tiêu cuối cùng lại cần một điểm số định lượng liên tục để đánh giá mức độ nghiêm trọng. Bài viết này trình bày một kỹ thuật thông minh sử dụng mạng nơ-ron dung lượng thấp (low-capacity networks) kết hợp với một "bộ phận xấp xỉ danh mục" (category approximator head) để giải quyết bài toán này một cách hiệu quả và dễ diễn giải.

Thay vì ép mô hình học một ánh xạ cứng nhắc từ 8 đặc trưng đầu vào thành 3 lớp đầu ra như một bộ phân loại thông thường, phương pháp của tác giả Csirmaz xây dựng một đường tuyến tính (linear regression) đóng vai trò "bộ mã hóa" để tạo ra điểm số ban đầu. Sau đó, một lớp học thêm hai ngưỡng (threshold) có thể huấn luyện để phân chia điểm số này thành các vùng tương ứng với các danh mục ban đầu, từ đó vừa giữ được tính liên tục của đầu ra, vừa đảm bảo độ chính xác trong việc phân loại.

Vấn đề cốt lõi: Tại sao không dùng hồi quy đơn giản?

Một cách tiếp cận trực quan là gán giá trị số cho từng danh mục (0, 1, 2) và huấn luyện mô hình hồi quy. Tuy nhiên, phương pháp này thất bại vì mô hình có đủ "dung lượng" (capacity) để học cách bóp méo (condense and expand) không gian đầu vào, khiến đầu ra luôn tụ lại quanh ba giá trị 0, 1 và 2, mất đi tính liên tục mong muốn.

Biểu đồ histogram cho thấy đầu ra của mô hình hồi quy bị tụ lại tại 3 điểm

Như hình trên, thay vì trải dài liên tục, đầu ra chỉ tập trung thành ba cụm, khiến chúng ta không thể phân biệt được mức độ rủi ro khác nhau giữa các bệnh nhân trong cùng một nhóm.

Giải pháp 1: Giảm dung lượng mạng bằng hồi quy tuyến tính

Để khắc phục, tác giả đề xuất sử dụng một mạng nơ-ron "thoái hóa" (degenerate network) chỉ gồm một lớp Dense tuyến tính, không có hàm kích hoạt (activation). Đây chính là một mô hình hồi quy tuyến tính. Điều này giúp điểm số đầu ra thay đổi tuyến tính theo đầu vào, không có khả năng tạo ra các "nút thắt cổ chai" (bottleneck) để bóp méo không gian.

Lợi ích lớn nhất của cách này là tính diễn giải cao (interpretability): trọng số của mô hình cho chúng ta biết chính xác mức độ ảnh hưởng của từng đặc trưng đầu vào đến điểm số cuối cùng.

Sơ đồ kiến trúc mô hình bottleneck với hồi quy tuyến tính và bộ phận xấp xỉ danh mục

Giải pháp 2: Bộ phận xấp xỉ danh mục (Category Approximator Head)

Vì mô hình giờ đây là tuyến tính thuần túy, nó không có khả năng tự động điều chỉnh để các ranh giới giữa các danh mục nằm ở các vị trí cố định. Do đó, cần thêm một lớp phía sau để học ra hai ngưỡng t0 và t1 sao cho:

• Nếu điểm số < t0 → danh mục 0 (điều trị tại nhà)
• Nếu t0 ≤ điểm số < t1 → danh mục 1 (nhập viện)
• Nếu điểm số ≥ t1 → danh mục 2 (tử vong)

Lớp này được triển khai bằng một lớp Dense với hàm softmax, hoạt động như một bộ phân loại phụ thuộc vào điểm số.

Minh họa cách các ngưỡng phân chia điểm số thành các danh mục

Giải pháp 3: Ràng buộc thứ tự bằng "Propagate-sum"

Một vấn đề tiềm ẩn là mô hình có thể học ra thứ tự danh mục sai (ví dụ: tử vong ở điểm 0, điều trị tại nhà ở điểm 10). Để ngăn chặn điều này, tác giả sử dụng một kỹ thuật gọi là "propagate-sum" (tổng lan truyền) kết hợp với ràng buộc trọng số không âm (kernel constraint).

Ý tưởng là chia đầu ra của lớp tuyến tính thành ba thành phần d1, d2, d3, rồi xây dựng đầu vào cho softmax theo dạng:

• o1 = d1
• o2 = d1 + d2
• o3 = d1 + d2 + d3

Bằng cách buộc d2 và d3 luôn dương, chúng ta đảm bảo trọng số hiệu dụng tăng dần, từ đó thứ tự các danh mục luôn được giữ đúng như mong muốn.

Kết quả thực nghiệm và đánh giá

Trên bộ dữ liệu mô phỏng 8 đặc trưng y tế, mô hình hồi quy tuyến tính kết hợp kỹ thuật trên đạt độ chính xác khoảng 80%, một con số đáng nể cho một mô hình có độ phức tạp cực thấp. Quan trọng hơn, điểm số đầu ra phân bố liên tục và mượt mà hơn nhiều so với mô hình hồi quy thông thường, cho phép chúng ta nhận biết những bệnh nhân đang "cận kề" ngưỡng nguy hiểm.

Trọng số học được cũng có ý nghĩa lâm sàng: việc từng nhiễm bệnh Pathogen A hoặc B trước đó làm giảm rủi ro (trọng số âm), trong khi tuổi tác là yếu tố quan trọng nhất quyết định mức độ nghiêm trọng.

So sánh histogram điểm số giữa mô hình đề xuất và mô hình hồi quy thông thường

Bài học cho các kỹ sư AI

Phương pháp trên cho thấy mô hình dung lượng thấp vẫn là công cụ mạnh mẽ trong nhiều tình huống. Chúng không chỉ dễ huấn luyện, dễ diễn giải mà còn có thể được tinh chỉnh và thử nghiệm nhanh chóng, phù hợp với quy trình phát triển linh hoạt (agile).

Đối với các bài toán tương tự — từ đánh giá rủi ro tài chính, chẩn đoán y tế đến chấm điểm tín dụng — việc kết hợp các kỹ thuật toán học đơn giản như ràng buộc trọng số và kiến trúc "bottleneck" có thể mang lại những giải pháp hiệu quả mà không cần đến các mô hình deep learning khổng lồ. Điểm mấu chốt là phải có sự hiểu biết sâu về bản chất dữ liệu và bài toán để thiết kế kiến trúc phù hợp, thay vì mù quáng áp dụng các kiến trúc phức tạp.