Vì Sao Chúng Tôi Fine-Tune SigLip (Và Vì Sao Đó Không Phải Lúc Nào Cũng Là Lựa Chọn Đúng)

Trong lĩnh vực công nghệ, việc lựa chọn giữa gọi API phân loại ảnh hay tự huấn luyện mô hình riêng luôn là bài toán khó. Alma Media, một công ty truyền thông và dịch vụ số của Phần Lan, đã chọn giải pháp fine-tune mô hình SigLIP bằng LoRA để xử lý hàng trăm nghìn ảnh bất động sản mỗi năm — nhưng họ cũng thẳng thắn thừa nhận rằng đây không phải là con đường duy nhất hay phù hợp cho tất cả mọi người.

Ảnh minh họa phòng khách và cầu thang - một ví dụ về bài toán gán nhãn đa lớp

Bài viết này được đồng tác giả bởi nhóm kỹ sư và chuyên gia dữ liệu tại Alma Media, tập trung vào một câu hỏi thường bị bỏ qua: Làm thế nào để xây dựng bộ phân loại ảnh trong bối cảnh kinh doanh thực tế, chứ không chỉ đơn thuần là so sánh chỉ số?

Bài Toán Gán Nhãn Ảnh Bất Động Sản

Alma Media xử lý hàng trăm nghìn tin đăng bất động sản mỗi năm, mỗi tin thường đi kèm hàng chục bức ảnh không có thông tin mô tả. Hệ thống tìm kiếm, gợi ý và nhiều ứng dụng nội bộ đều cần biết một bức ảnh là phòng khách, phòng bếp hay sân vườn.

Giải pháp của họ là tự động gán nhãn cho ảnh với 23 lớp phân loại khác nhau, bao gồm các loại phòng như PHÒNG KHÁCH, PHÒNG BẾP, PHÒNG NGỦ, cùng các nội dung sơ đồ như mặt bằng, ảnh chụp từ trên cao, hay ảnh tài liệu tiếp thị của môi giới.

Đây là một bài toán phân loại đa nhãn (multi-label classification) điển hình: một không gian có thể bao gồm nhiều loại phòng cùng lúc, và việc xác định nhãn nào quan trọng phụ thuộc vào ứng dụng cụ thể.

Ba Câu Hỏi Trước Khi Huấn Luyện Bất Cứ Thứ Gì

Câu Hỏi 1: Gọi API Hay Tự Huấn Luyện Mô Hình?

Việc lựa chọn giữa gọi API từ bên thứ ba hay xây dựng bộ phân loại riêng phụ thuộc nhiều vào trường hợp sử dụng cụ thể. Có những tác vụ dễ dàng "prompt" cho mô hình ngôn ngữ thị giác (VLM) như phân loại ô tô hay đồ gia dụng, nhưng có những tác vụ phức tạp hơn như dự đoán tỷ lệ nhấp chuột (CTR) cho thumbnail video trên YouTube – nơi bạn không thể diễn tả bằng lời.

Với trường hợp bất động sản, nhiều lớp như PHÒNG BẾP hay PHÒNG TẮM dễ dàng mô tả bằng lời, nhưng các lớp mơ hồ hơn như HÀNH LANG, GÁC XÉP hay GÓC CHẾT lại khó diễn đạt.

Chi phí là yếu tố then chốt. Với khối lượng hàng triệu ảnh, sự khác biệt giữa các phương pháp trở nên rõ rệt:

• Sử dụng API với model gemini-3.5-flash: khoảng $1.500 cho 1 triệu ảnh
• Tự chạy classifier trên AWS EC2 g4dn.xlarge (GPU T4): khoảng $0.37 cho 1 triệu ảnh – rẻ hơn khoảng 4000 lần

Tuy nhiên, nếu chỉ phân loại vài trăm ảnh mỗi ngày, chi phí không thực sự quan trọng. Vấn đề chỉ trở nên nghiêm trọng khi ở quy mô lớn.

Một ưu điểm lớn của việc tự huấn luyện là có được điểm số tin cậy (confidence score) rõ ràng cho từng lớp, có thể hiệu chỉnh khi cần. Trong khi đó, độ tin cậy từ VLM thường được biết đến là không chính xác, và các tag granular như PROBABLE/POSSIBLE/UNLIKELY cũng không đảm bảo độ tin cậy.

Sơ đồ quyết định lựa chọn phương pháp phân loại ảnh

Câu Hỏi 2: Chọn Mô Hình Nền Nào?

Khi quyết định tự huấn luyện, lựa chọn mô hình nền (foundation model) đóng vai trò quan trọng, vì các chiến lược tiền huấn luyện khác nhau tạo ra các biểu diễn (representation) khác nhau:

• SigLIP (Google): được huấn luyện trên ảnh có chú thích, tập trung vào các đối tượng "đáng chú thích" như chó, xe hơi, con người. Đặc tính hướng đối tượng cao, ít chú trọng đến phông nền.
• DINO (Meta): tự giám sát với mục tiêu ở cấp độ patch, mọi vùng của ảnh đều đóng góp vào loss. Phù hợp khi phông nền hoặc bố cục quan trọng.
• RADIO/AM-RADIO (NVIDIA): tổng hợp biểu diễn từ nhiều mô hình nền ViT khác nhau.
• I-JEPA (Meta): tự giám sát dựa trên masked prediction.

Câu Hỏi 3: Fine-Tune Hay Không?

Cách đơn giản nhất là huấn luyện một bộ phân loại tuyến tính trên các biểu diễn đã đóng băng (frozen) từ ViT. Cách này nhanh, có thể huấn luyện trên laptop trong vài phút với 100k mẫu.

Nếu quyết định fine-tune, phương pháp tốt nhất là sử dụng LoRA (Low-Rank Adaptation), giúp đóng băng phần lớn mô hình và chỉ huấn luyện một lớp tham số mỏng có thể chèn vào. LoRA giảm chi phí huấn luyện đáng kể mà vẫn đạt hiệu suất gần như fine-tune toàn bộ.

Vấn Đề Của Mô Hình Đóng Băng

Vấn đề lớn nhất với mô hình đóng băng là độ tin cậy phân loại thấp. Ở ngưỡng chuẩn 0.5, có tới 35% ảnh không nhận được nhãn nào. Hạ ngưỡng xuống giúp tăng độ phủ nhưng làm giảm độ chính xác (precision). Nhóm nghiên cứu phải thỏa hiệp với ngưỡng 0.2 – một con số không lý tưởng cho các ứng dụng hạ nguồn cần điểm số nhất quán giữa 23 lớp.

Biểu đồ minh họa điểm số tin cậy của mô hình đóng băng

Ngoài ra, một số lớp phổ biến như GARDEN (SÂN VƯỜN) và HALLWAY (HÀNH LANG) hoạt động kém, và các trường hợp biên như bàn ăn nhìn thấy qua cửa ra vào cũng gây khó khăn.

Kết Quả Thử Nghiệm: LoRA Tạo Ra Khác Biệt

Nhóm nghiên cứu so sánh ba phương pháp: SigLIP đóng băng, DINOv2 đóng băng, và SigLIP fine-tune bằng LoRA trên bộ dữ liệu 40.000 ảnh được chú thích thủ công.

Kết quả chính:

• Micro F1: LoRA đạt 82.6%, cao hơn khoảng 4 điểm so với cả hai mô hình đóng băng (78.4% cho SigLIP, 78.3% cho DINOv2)
• Sự cải thiện chủ yếu đến từ recall: tăng từ ~72.8% lên 79.3%, trong khi precision gần như không đổi
• Giảm tỷ lệ ảnh không được gán nhãn: từ 9.4% và 10.8% xuống còn 3.4% – thấp hơn cả tỷ lệ tự nhiên 3.9% của dữ liệu, đồng nghĩa với việc đôi khi gán nhãn thừa nhẹ

Đường cong Precision-Recall so sánh các phương pháp

Những cải thiện đáng chú ý nhất ở cấp độ lớp:

• GARDEN: tăng 26 điểm F1 so với SigLIP đóng băng
• DINING AREA: tăng 15 điểm F1

Tuy nhiên, một phát hiện thú vị là chỉ cần chọn đúng mô hình nền cũng đã tạo ra khác biệt lớn: DINOv2 đóng băng đạt 58% F1 cho lớp GARDEN, tăng 15 điểm so với SigLIP đóng băng, thu hồi hơn một nửa khoảng cách với mô hình fine-tune mà không cần huấn luyện thêm.

Vậy Khi Nào Nên Fine-Tune?

Quyết định fine-tune nên dựa trên ba yếu tố chính:

1. Vấn đề under-labeling: Nếu mô hình đóng băng bỏ sót quá nhiều ảnh, fine-tune là giải pháp hiệu quả. Trong trường hợp của Alma Media, vấn đề gần như biến mất hoàn toàn.

2. Chi phí và tần suất huấn luyện lại: Với bộ dữ liệu 40k mẫu, chi phí cho một đợt tìm kiếm siêu tham số chỉ khoảng $30 – không đáng kể. Nhưng nếu không gặp vấn đề under-labeling, việc sử dụng mô hình đóng băng sẽ tiết kiệm hơn, đặc biệt khi cần huấn luyện lại định kỳ: huấn luyện 23 đầu phân loại trên CPU chỉ mất vài phút, trong khi một đợt LoRA đầy đủ mất nhiều ngày trên GPU chuyên dụng.

3. Nhu cầu chính xác và linh hoạt: Mô hình fine-tune cho phép điều chỉnh ngưỡng linh hoạt hơn mà không làm tăng đột biến tỷ lệ under-labeling, rất quan trọng cho các ứng dụng cần kiểm soát độ chính xác thay đổi theo từng ngữ cảnh.

Biểu đồ tỷ lệ under-labeling theo ngưỡng hoạt động

Kết Luận

Trải nghiệm của Alma Media cho thấy không có giải pháp "một kích cỡ cho tất cả" trong phân loại ảnh. Bắt đầu nhỏ với VLM prompt để phân loại một phần dữ liệu, sau đó tiến tới bộ phân loại tuyến tính trên mô hình nền là con đường tiết kiệm. Fine-tune chỉ nên là bước cuối cùng khi bạn thực sự cần độ chính xác cao hơn và giải quyết được vấn đề under-labeling.

Quan trọng nhất: mô hình đã được fine-tune của họ đã chạy trong sản xuất, và chất lượng gán nhãn đủ tốt để Alma xây dựng các tính năng mới dựa trên nó. Với khối lượng hàng triệu ảnh, việc tiết kiệm $1500 mỗi triệu ảnh – và lợi ích từ các tính năng mới – đã chứng minh khoản đầu tư ban đầu là hoàn toàn xứng đáng.