Pipeline lọc dữ liệu

Bí quyết giúp mô hình video AI học nhanh và hiệu quả hơn: Nghệ thuật lọc dữ liệu

Trong vài năm qua, các mô hình tạo sinh hình ảnh và video đã có những bước tiến vượt bậc, nhưng điều thú vị là kiến trúc bên trong của chúng gần như không thay đổi đáng kể kể từ Stable Diffusion 3. Vậy điều gì tạo nên sự khác biệt? Câu trả lời nằm ở dữ liệu. Bài viết này từ đội ngũ Linum.ai sẽ mổ xẻ chi tiết cách họ xây dựng và phát triển hệ thống lọc dữ liệu — yếu tố được xem là "đòn bẩy" lớn nhất giúp mô hình sinh video học tốt hơn — từ những thuật toán cổ điển chạy trên CPU cho đến các mô hình AI tiên tiến nhất.

Sự tiến hóa của bộ lọc dữ liệu: Từ CPU đến GPU

Vài năm trước, quan điểm phổ biến là thu thập càng nhiều dữ liệu càng tốt cho quá trình tiền huấn luyện. Tuy nhiên, cách tiếp cận này đã được chứng minh là sai lầm. Nếu bạn đưa một lượng lớn dữ liệu chất lượng thấp (như ảnh JPEG bị nén nặng) vào quá trình huấn luyện, mô hình sẽ lãng phí sức mạnh để học cách bắt chước "nhiễu" này. Ngược lại, một bộ lọc dữ liệu tốt sẽ giúp mô hình tập trung vào việc học những gì thực sự quan trọng.

Đội ngũ Linum.ai đã trải qua ba giai đoạn chính trong việc phát triển hệ thống lọc dữ liệu của mình, mỗi giai đoạn đều mang đến những bài học quý giá.

Giai đoạn 2024: Lọc dữ liệu với chi phí thấp bằng CV truyền thống

Ở chặng đầu tiên, họ sử dụng các thuật toán thị giác máy tính (CV) cổ điển chạy trên CPU để tiết kiệm chi phí. Điều này bao gồm:

• Phát hiện cảnh (PySceneDetect): Cắt video thành các clip nhỏ tại các ranh giới cảnh, vì chuyển cảnh là quyết định của đạo diễn, không phải điều mô hình sinh video nên tự ý làm.
• Bộ phát hiện văn bản (EAST Detector): Lọc các video chứa quá nhiều chữ và đồ họa chuyển động, vì rất khó để mô tả chính xác bằng ngôn ngữ.
• Vector chuyển động H.264: Sử dụng dữ liệu có sẵn trong file video để xác định và lọc ra các clip có ít hoặc quá nhiều chuyển động — những clip này thường khó mô tả bằng lời.

Tuy nhiên, cách tiếp cận này nhanh chóng bộc lộ nhược điểm. Việc chạy trên CPU rất chậm và tốn thời gian, trong khi các thuật toán cũ như EAST hoạt động kém hiệu quả với văn bản nhỏ sau khi bị nén ảnh.

Đầu năm 2025: Thay thế bằng mô hình ngôn ngữ lớn tinh chỉnh

Sơ đồ chuyển đổi pipeline

Đây là bước ngoặt quan trọng. Thay vì cố gắng tối ưu các bộ lọc rẻ tiền, họ nhận ra cần đầu tư vào những bộ lọc tốt nhất có thể chi trả. Họ chuyển toàn bộ hệ thống sang GPU và thay thế các thuật toán thủ công bằng các mạng nơ-ron tiên tiến:

• AutoShot và TransNetV2 thay thế PySceneDetect để phát hiện cảnh chính xác hơn.
• PaddleOCR chạy trên TensorRT thay thế EAST, chỉ mất khoảng 36 giờ để xử lý hàng chục tỷ mẫu với chi phí dưới 10.000 USD.
• Một loạt các mô hình ngôn ngữ lớn (LLM) tinh chỉnh như Qwen-2-VL-2B thay thế toàn bộ các tập hợp thuật toán CV rối rắm.

Quá trình này cũng đòi hỏi một quy trình gán nhãn lặp đi lặp lại. Họ nhấn mạnh rằng việc xây dựng nhãn tự nhất quán khó hơn nhiều so với tưởng tượng. Ngay cả trong một nghiên cứu của Đại học Carnegie Mellon năm 2025, các chuyên gia điện ảnh cũng bất đồng với "ground truth" tới 24% số lần. Vì vậy, họ khuyên nên xây dựng một quy trình gán nhãn lặp: định nghĩa danh mục, gán nhãn khoảng 2.000 mẫu, tinh chỉnh LLM, đánh giá trên tập huấn luyện, rồi tinh chỉnh lại danh mục.

Cuối năm 2025: Học tăng cường với phần thưởng kiểm chứng (RLVR)

Ví dụ về điểm thẩm mỹ

Giai đoạn cuối cùng này đánh dấu sự thay đổi trong cách tiếp cận lọc thẩm mỹ. Ban đầu, họ cố gắng định nghĩa các đặc tính cụ thể (thiếu sáng, màu nhạt, v.v.) cho việc phân loại "xấu" vs "đẹp", nhưng điều này dẫn đến sự bùng nổ tổ hợp của các nhãn và gây khó khăn cho cả người gán nhãn lẫn mô hình.

Giải pháp là đơn giản hóa thành thang điểm từ 1 đến 4, và sử dụng kỹ thuật RLVR (Reinforcement Learning with Verifiable Rewards) — phổ biến từ DeepSeek R1 — để huấn luyện mô hình Qwen-2.5-VL-3B chấm điểm thẩm mỹ. Kỹ thuật này cho phép kiểm soát việc tinh chỉnh mô hình một cách chính xác hơn nhiều so với phương pháp SFT truyền thống, giống như dùng "dao mổ" thay vì "dao phay". Kết quả là mô hình chấm điểm thẩm mỹ mới vượt trội hơn hẳn so với phiên bản SFT.

Bài học rút ra cho các nhà phát triển AI

Pipeline lọc dữ liệu cuối cùng của họ cho hình ảnh đã giảm từ khoảng 15 tỷ ảnh xuống còn 250 triệu ảnh chất lượng cao (1.7% tỷ lệ giữ lại), trong khi với video, từ 1 tỷ clip giảm xuống còn 50 triệu (5%).

Dưới đây là ba bài học quan trọng nhất mà đội ngũ Linum.ai muốn chia sẻ:

• Đầu tư vào bộ lọc tốt nhất có thể chi trả, không phải rẻ nhất: Một bộ lọc tốt sẽ giúp mô hình học các chuyển động phức tạp (như chơi guitar) chỉ trong 24 giờ thay vì hàng tuần với dữ liệu kém chất lượng.
• Hãy dùng mạng nơ-ron thay vì các thuật toán CV thủ công: Các mạng nơ-ron được huấn luyện tốt sẽ thắng về độ chính xác và độ bao phủ trong hầu hết các trường hợp.
• Lọc dữ liệu là công việc không có hồi kết: Vì không thể tạo ra một bộ lọc hoàn hảo, việc phân chia thành các giai đoạn tiền huấn luyện và giữa huấn luyện là cần thiết. Giai đoạn đầu nên thoáng hơn để đảm bảo bao quát mọi phân bố dữ liệu, giai đoạn sau có thể siết chặt hơn.

Tóm lại, lọc dữ liệu chính là đòn bẩy lớn nhất để cải thiện chất lượng mô hình, bên cạnh việc tăng quy mô tính toán. Như câu nói vui của đội ngũ này: "Mô hình là những gì chúng ăn" (You are what you eat), vì vậy đừng bao giờ tiết kiệm sai chỗ trong việc xây dựng nguồn dữ liệu chất lượng.