Phân loại bằng LLM thực chất là kỹ thuật đặc trưng
Một bài viết kỹ thuật lập luận rằng các mô hình ngôn ngữ lớn (LLM) khi đóng vai trò bộ phân loại có nhiều hạn chế về hiệu chuẩn, khả năng diễn giải và tích hợp thông tin. Giải pháp là coi đầu ra của LLM như một đặc trưng đầu vào cho các thuật toán học máy truyền thống, giúp đạt kết quả ngang tầm nghiên cứu hàng đầu chỉ với hồi quy logistic.
Phân loại bằng LLM thực chất là kỹ thuật đặc trưng
Các mô hình ngôn ngữ lớn (LLM) ngày càng được dùng như những bộ phân loại: đưa vào một prompt kèm ngữ cảnh và nhận về một nhãn. Cách làm này tiện lợi nhưng đầy rẫy vấn đề, đặc biệt khó chịu vì kết quả thường khá tốt. Một bài viết kỹ thuật gần đây trên blog minimallysufficient lập luận rằng chìa khóa nằm ở việc thay đổi cách nhìn: hãy coi LLM là công cụ kỹ thuật đặc trưng (feature engineering), chứ không phải bộ phân loại hoàn chỉnh.
Vì sao LLM làm bộ phân loại lại khó dùng?
Hãy điểm qua những gì ta mong đợi ở một bộ phân loại nghiêm túc và xem LLM đáp ứng được bao nhiêu.
- Hiệu chuẩn và kiểm soát ngưỡng: Kết quả LLM thường là nhãn cứng. Có thể lấy xác suất log của token, nhưng không có cơ chế nào đảm bảo chúng được hiệu chuẩn tốt. Việc đánh đổi giữa độ chính xác và độ phủ (precision/recall) vì thế cũng thiếu nguyên tắc.
- Tích hợp mọi thông tin sẵn có: LLM xử lý dữ liệu phi cấu trúc rất tốt, nhưng khi ta dán thêm dữ liệu có cấu trúc vào prompt, không ai đảm bảo mô hình thực sự dùng đến chúng. Ta cũng không biết mô hình có tuân theo phần văn xuôi của prompt hay không.
- Khả năng diễn giải: Prompt viết bằng ngôn ngữ tự nhiên nghe có vẻ dễ hiểu, nhưng bên trong LLM đang xử lý gì thì không rõ. Ta không biết phần nào của prompt được thực thi đúng, phần nào bị bỏ qua.
Điểm mấu chốt: đây không phải lỗi của LLM. Nó vốn không được thiết kế để làm bộ phân loại. Vấn đề nằm ở cách chúng ta tiếp cận.
Bước ngoặt: LLM chỉ là một đặc trưng
Ý tưởng cốt lõi rất đơn giản. Thay vì dùng thẳng nhãn của LLM, hãy đưa nhãn đó vào một mô hình học máy cổ điển, chẳng hạn hồi quy logistic:
p(y = 1 | x) = σ(α + β · LLM(x))
Khi hệ số β tiến tới vô cùng, mô hình này quay về đúng hành vi của bộ phân loại LLM thuần túy. Nhưng đó là lựa chọn tham số ngớ ngẩn. Cách làm đúng là ước lượng tham số trên dữ liệu huấn luyện, từ đó thu được hai giá trị xác suất theo tỷ lệ thực nghiệm — tức là được hiệu chuẩn.
Với khung này, mọi yêu cầu ban đầu đều được đáp ứng:
- Hiệu chuẩn: Đầu ra là xác suất thực sự, cho phép chọn ngưỡng hoạt động để cân bằng precision/recall theo nhu cầu.
- Tích hợp thông tin: Đây chỉ là hồi quy logistic, nên ta thoải mái thêm các biến độc lập khác. Mô hình tự thích ứng với phân phối nền của tập huấn luyện, thậm chí có thể tái trọng số mẫu để nhắm tới phân phối mong muốn.
- Diễn giải: Vẫn còn khó hiểu vì sao LLM đưa ra nhãn đó, nhưng giờ ta biết rõ nhãn ấy đóng góp bao nhiêu vào quyết định cuối cùng.
Minh họa hệ số hồi quy logistic
Cải thiện mô hình theo tư duy học máy
Nếu kết quả chưa hài lòng, cách tiếp cận LLM-as-classifier chỉ còn một lối thoát: loay hoay sửa prompt — một công việc mò mẫm đầy lời khuyên trên mạng nhưng hiếm khi đáng tin.
Dưới góc nhìn học máy, ta có bốn hướng nâng cấp rõ ràng:
- Thu thập thêm dữ liệu. Nghe có vẻ kém hấp dẫn vì ưu điểm của LLM là không cần huấn luyện. Nhưng dù sao ta vẫn cần tập kiểm thử để đo hiệu năng, nên thêm chút dữ liệu huấn luyện không phải vấn đề lớn.
- Cải thiện đặc trưng. Có thể kiểm tra thực nghiệm xem một đặc trưng có luôn dẫn tới kết quả dương hay không, từ đó gỡ lỗi. Ta cũng có thể đánh giá từng đặc trưng như một mục tiêu phụ và đệ quy cải thiện nó.
- Tạo thêm đặc trưng. Dùng phần dư của mô hình để tìm cách bổ sung đặc trưng. Ví dụ, lấy log xác suất của token kết luận, chạy nhiều lần mô hình, hoặc yêu cầu LLM sinh ra các nhãn phụ và đặc trưng bổ trợ.
- Thay đổi kiến trúc mô hình. Phần này hoàn toàn cắm-và-chạy. Không thích hồi quy logistic thì chuyển sang XGBoost, mạng nơ-ron, hay thậm chí hệ thống luật do LLM thực thi.
Thử nghiệm thực tế: phát hiện sự mỉa mai
Để cụ thể hóa, bài viết dùng bộ dữ liệu SemEval 2018 Task 3 — 4.618 dòng tweet được chuyên gia gán nhãn mỉa mai hay không (3.834 dùng để huấn luyện, 784 để kiểm thử).
Chỉ với một prompt đơn giản yêu cầu mô hình phán đoán nhị phân, kết quả đã khá ấn tượng:
| Chỉ số | Giá trị |
|---|---|
| TPR | 0,965 |
| FNR | 0,035 |
| Điểm Brier | 0,259 |
| F1 (@0,5) | 0,747 |
Điểm Brier khá tệ vì thiếu hiệu chuẩn — đoán ngẫu nhiên cũng được 0,25. Nhưng khi bọc nhãn LLM trong hồi quy logistic, điểm Brier giảm mạnh xuống 0,175 trong khi F1 giữ nguyên, vì thứ tự dự đoán không đổi.
Tiếp đó, tác giả mở rộng prompt để LLM trích xuất thêm 19 đặc trưng như: tweet có hài hước không, có mâu thuẫn cảm xúc không, có phải câu hỏi tu từ không, có phải khen đểu không, có liên quan chính trị không... Đồng thời bổ sung các đặc trưng tất định đếm được như độ dài tweet, số hashtag, số dấu chấm than, số emoji, có chứa URL hay không.
Kết quả cải thiện rõ rệt theo từng lớp đặc trưng:
| Đặc trưng | Brier | F1 (kiểm thử) |
|---|---|---|
| Chỉ nhãn LLM | 0,175 | 0,747 |
| + đặc trưng từ LLM | 0,131 | 0,768 |
| + đặc trưng tất định | 0,127 | 0,779 |
So sánh với các công trình đã công bố
Bảng so sánh trên tập kiểm thử SemEval 2018 Task 3A cho thấy bức tranh thú vị:
| Hệ thống | F1 |
|---|---|
| Đường cơ sở ngẫu nhiên | 0,373 |
| SVM + tf-idf | 0,589 |
| THU_NGN (vô địch cuộc thi) | 0,705 |
| NTUA-SLP (LSTM + attention) | 0,786 |
| Nhãn cứng từ LLM | 0,747 |
| LLM + hồi quy logistic | 0,779 |
Chỉ với một prompt đơn giản, bộ phân loại LLM đã vượt qua nhà vô địch cuộc thi (0,747 so với 0,705). Khi áp dụng tư duy kỹ thuật đặc trưng, khoảng tin cậy chồng lấn với mức tiên tiến nhất sau cuộc thi — mà chỉ cần một hồi quy logistic đặt trên các đặc trưng do LLM trích xuất.
Kết luận
Đưa LLM vào vai bộ phân loại đáng tin cậy là công việc khó nhọc nhưng có tiềm năng tác động lớn. Ngày càng nhiều nghiên cứu dựa vào LLM để phân loại — từ việc phân tích cách người dùng trò chuyện với ChatGPT đến các cuộc điều tra dữ liệu quy mô lớn. Những kết quả này đòi hỏi chất lượng cao.
May mắn thay, đã có một dòng nghiên cứu ngày càng dày khẳng định hướng tiếp cận này, tiêu biểu như Han và cộng sự (ICML 2024) với việc tự động thiết kế đặc trưng cho học bảng ít mẫu, Balek và cộng sự (2024) về sinh đặc trưng từ văn bản, hay Malberg, Mosca và Groh với FELIX (ECML PKDD 2024).
Hướng đi đáng chú ý tiếp theo là bộ phân loại dạng tác tử (agentic classifier): thay vì cố định tập đặc trưng, ta trao quyền cho LLM tự điều tra vấn đề và dùng chính đặc điểm của quá trình điều tra làm đặc trưng — về cơ bản là tự chấm điểm mức độ chặt chẽ và toàn diện của chính nó. Với một tập kiểm thử đáng tin cậy, ta có thể đưa ra những suy luận có giá trị thống kê.
