Vì sao các tác tử nghiên cứu học máy không bị overfit?

Trong học máy, mục tiêu cốt lõi là khả năng tổng quát hóa chứ không phải ghi nhớ. Thế nhưng giới nghiên cứu vẫn quan sát một nghịch lý kéo dài: dù hàng nghìn nhóm liên tục tinh chỉnh mô hình dựa trên cùng một bộ benchmark cố định suốt nhiều năm, kết quả tốt trên benchmark vẫn chuyển hóa thành tiến bộ thật trên dữ liệu mới — điều mà lý thuyết kinh điển cho là không thể.

Nghịch lý overfit trong nghiên cứu học máy

Ai từng học thống kê cũng biết nguyên tắc cơ bản: bạn tách riêng một tập dữ liệu, không huấn luyện trên đó.Tập validation dùng để so sánh các phương án và tinh chỉnh siêu tham số trong quá trình xây dựng mô hình. Tập test (holdout) chỉ được chạm vào một lần duy nhất ở cuối cùng, vì quy trình huấn luyện chưa từng thấy nó.

Vấn đề nằm ở chỗ: nếu bạn liên tục kiểm tra trên tập validation, điều chỉnh quy trình, rồi kiểm tra lại theo vòng lặp, thì tập đó không còn "chưa từng thấy" nữa. Nó đã trở thành một phần của quy trình huấn luyện. Làm đủ nhiều lần, bạn có thể overfit chính nó.

Thực tế nghiên cứu học máy diễn ra đúng như vậy: cả cộng đồng cùng leo dốc trên một vài bộ benchmark không đổi suốt nhiều năm. Theo sách giáo khoa, các bảng xếp hạng lẽ ra phải tràn ngập mô hình "giỏi trên giấy, kém ngoài đời". Nhưng điều đó không xảy ra.

Các nghiên cứu xây dựng tập test hoàn toàn mới cho những benchmark cũ cho thấy phần lớn cải thiện vẫn chuyển hóa được. Câu hỏi đặt ra: vì sao?

Tác tử AI — đối tượng thí nghiệm có thể "reset"

Khó kiểm chứng giả thuyết này vì đối tượng thí nghiệm là cả một cộng đồng nghiên cứu: không thể xóa ký ức và chạy lại thập kỷ vừa qua trong điều kiện có kiểm soát.

Nhưng ngày nay đã có tác tử nghiên cứu dựa trên LLM có thể tự chạy vòng lặp tối ưu hóa học máy y hệt con người. Điều thú vị là chúng cũng không bị overfit. Khác biệt then chốt: một tác tử thì có thể reset — xóa ký ức, kiểm soát chính xác thông tin nó thấy, và chạy lại thí nghiệm.

Trong bài báo "What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents", nhóm nghiên cứu đã làm đúng như vậy.

Dao cạo Occam, phiên bản chính xác

Lời giải bắt đầu từ một ý tưởng cổ điển: dao cạo Occam — trong số các giả thuyết giải thích dữ liệu tốt như nhau, giả thuyết đơn giản hơn nhiều khả năng đúng hơn.

Trực giác này có dạng toán học chặt chẽ. Nếu bạn mô tả được giả thuyết của mình bằng một số bit rất nhỏ, ít hơn nhiều so với lượng cần để ghi nhớ toàn bộ dữ liệu huấn luyện, thì khi giả thuyết cô đọng đó hoạt động tốt trên dữ liệu huấn luyện, nó buộc phải hoạt động tốt trên dữ liệu mới.

Lý do là phép đếm: số lượng chuỗi ngắn là hữu hạn và ít. Càng ít giả thuyết ứng viên, xác suất một trong số chúng "lừa" được bạn trên tập huấn luyện nhờ may mắn càng thấp.

Nếu mô tả nén quá nhỏ để âm thầm ghi lại dữ liệu huấn luyện, thì khi nó hoạt động tốt, đó không thể là do ghi nhớ — đơn giản là nó không đủ chỗ. Nó phải nắm bắt được cấu trúc thật của dữ liệu.

Giả thuyết hấp dẫn ở đây: các chiến lược học máy thành công có tính nén rất cao. Một nhà nghiên cứu có thể xem xét hàng nghìn điểm benchmark, nhưng chiến lược cuối cùng sống sót thường chỉ là một danh sách ngắn những lựa chọn quen thuộc — họ kiến trúc, bộ tối ưu, lịch trình learning rate, cách xử lý dữ liệu, sơ đồ regularization.

Sức mạnh của người nghe am hiểu

Hãy hình dung bạn giải thích một pipeline học máy cụ thể cho một học sinh cấp ba thông minh, đủ chi tiết để em tái tạo lại. Đó sẽ là cuộc trò chuyện dài và vất vả: nào là gradient descent, mạng nơ-ron, PyTorch, learning rate... Gần như toàn bộ nội dung đó không đặc thù cho bài toán của bạn.

Giờ hãy giải thích cùng pipeline đó cho một kỹ sư ML chuyên nghiệp. Cuộc trò chuyện rút gọn còn vài câu. Bạn bỏ qua mọi thứ thuộc kiến thức chung và chỉ truyền đạt phần thực sự đặc thù: lựa chọn kiến trúc, batch size, optimizer, vài siêu tham số.

Người nghe càng am hiểu thế giới, thông điệp bạn cần gửi càng ngắn.

Đây chính là lúc LLM tỏa sáng. Các mô hình ngôn ngữ lớn mang trong mình lượng kiến thức thế giới khổng lồ: chúng biết công cụ ML vận hành thế nào, biết thuật toán tối ưu chuẩn, biết các mặc định thông dụng. Nếu một chi tiết không được nêu, chúng tự điền giá trị hợp lý. Điều đó biến chúng thành bộ giải mã nén xuất sắc: đưa cho LLM một thông điệp ngắn gọn kiểu chuyên gia, nó có thể khai triển thành quy trình hoàn chỉnh chạy được.

Thí nghiệm: ép chiến lược qua cửa hẹp

Thiết kế thí nghiệm gồm ba tác tử:

• Explorer (nhà thám hiểm): nhận bài toán ML mới, có toàn quyền truy cập tập validation, tự do thử nghiệm qua hàng trăm vòng để tối đa hóa hiệu năng validation. Đây chính là vòng leo dốc lẽ ra phải gây overfit.
• Compressor (bộ nén): đọc toàn bộ biên bản làm việc của explorer, cố chưng cất chiến lược thắng cuộc thành một prompt cực ngắn — chỉ vài token.
• Reproducer (bộ tái tạo): chỉ nhận prompt ngắn và dữ liệu huấn luyện, phải triển khai chiến lược từ đầu. Nó không được truy cập tập validation, code hay biên bản của explorer.

Prompt ngắn là kênh duy nhất để bất cứ thông tin nào học được từ tập validation truyền tới reproducer. Nếu reproducer khởi đầu từ con số không, chỉ với vài token, mà đạt hiệu năng tương đương explorer, thì mọi thông tin phụ thuộc validation cần thiết để xác định chiến lược đều lọt qua kênh tí hon đó. Nhóm nghiên cứu gọi đây là chứng chỉ nén đầu ra.

Kết quả: nén xuống 16-32 token

Kết quả gây ấn tượng mạnh. Trên tám bộ dữ liệu — gồm phân loại dạng bảng, phân loại ảnh, mô hình ngôn ngữ, mô hình diffusion và mô hình phần thưởng — prompt 32 token đủ để reproducer mới tinh sánh ngang với mô hình đã tối ưu của explorer trong phần lớn bài toán. Một chiến lược mô hình ngôn ngữ thậm chí sống sót qua nén chỉ với 16 token mà không mất hiệu năng.

Ví dụ minh họa cho thấy prompt nén trông như thế nào. Trong một thí nghiệm mô hình ngôn ngữ, explorer tìm ra công thức huấn luyện kiểu GPT tùy chỉnh. Với ngân sách 16 token:

QKn 12L768 Mu .1 R² b2M 4x

Với người đọc thường, chuỗi này vô nghĩa. Nhưng với một tác tử ML khác, nó nói lên điều cụ thể: QKn là chuẩn hóa QK, 12L768 là transformer 12 lớp chiều 768, Mu .1 là optimizer Muon với learning rate 0.1, R² là kích hoạt squared-ReLU, b2M là batch hai triệu token, 4x là khối feed-forward gấp bốn lần.

Nhưng cắt ngân sách xuống 8 token, prompt trở thành 12L768 Mu .1 R² — và reproducer không còn khớp với explorer nữa. Những mảnh bị mất mô tả các lựa chọn huấn luyện thực sự được đưa ra dựa trên dữ liệu, khác với mặc định hiển nhiên nhất. Ranh giới này rất quan trọng: nó chứng minh reproducer không thành công chỉ nhờ kiến thức có sẵn, mà vài token nén đang mang thông tin thực sự học được từ dữ liệu.

Bắt kẻ gian lận

Một lý thuyết tốt phải có khả năng bị phản bác — và lý thuyết này thì có. Nếu overfit thấp thực sự được giải thích bằng tính nén, thì những mô hình overfit thật phải thất bại khi đi qua kênh nén này.

Để kiểm chứng, nhóm nghiên cứu cố tình đẩy tác tử vào overfit bằng cách cho truy cập trực tiếp tập validation và yêu cầu tối đa hóa hiệu năng bằng mọi giá. Các tác tử "cắn câu": trong 38 trên 102 lần chạy, độ chính xác validation vượt độ chính xác thật trên tập held-out hơn 10%.

Đúng như dự đoán, khi nén qua prompt ngắn tới reproducer mới, những lợi thế đặc thù validation này biến mất. Việc nén phân tách được chiến lược chính đáng khỏi chiến lược overfit với độ chính xác rất cao.

Nén không chỉ giải thích vì sao tác tử nghiên cứu ít overfit, mà còn là công cụ phát hiện overfit — bằng cách đánh dấu những trường hợp không có mô tả ngắn nào tái tạo được kết quả.

Giới hạn và hàm ý

Cần lưu ý vài điểm. Toàn bộ khung lý thuyết giả định con đường duy nhất từ dữ liệu validation tới mô hình cuối là qua prompt đưa cho reproducer. Nếu một mô hình đã ghi nhớ dữ liệu validation trong quá trình pretraining, nó sẽ có kênh phụ vòng qua cửa hẹp. Nhóm nghiên cứu cho rằng điều này không xảy ra trong thí nghiệm: các tác tử cải thiện dần qua tìm kiếm thực sự thay vì đạt đỉnh ngay từ đầu, và hiệu năng suy giảm ở ngân sách token rất ngắn. Nhưng để giải quyết triệt để sẽ cần thử nghiệm với dữ liệu mới thu thập sau thời điểm cắt huấn luyện của mô hình.

Điều quan trọng nhất: kết quả này nói về tác tử LLM, vì đó là nơi có thể làm thí nghiệm. Nhưng bức tranh gợi ý mạnh mẽ về cộng đồng nghiên cứu con người. Khi một lĩnh vực dành nhiều năm leo dốc trên một benchmark cố định mà lợi ích vẫn chuyển hóa sang dữ liệu mới, có thể là vì cùng một lý do các chiến lược của tác tử sống sót qua prompt 32 token: những công thức thực sự hiệu quả thì đơn giản.

Hay nói cách khác: "Cái gì vừa vào được vài token thì không overfit."