Đừng Chỉ Xem LLM Là Trình Dự Đoán Token Kế Tiếp

Nói chính xác tuyệt đối thì phát biểu “LLM là trình dự đoán token kế tiếp” không sai, nhưng nó chỉ đúng ở mức xấp xỉ bậc không và bỏ qua bản chất thực sự của các mô hình ngôn ngữ lớn hiện đại. Khi các mô hình này phát ra token một cách tự hồi quy (autoregressive), hình dạng bên ngoài trông giống hệt một bộ dự đoán token — nhưng điều quan trọng nằm ở những gì cơ chế đó mã hóa bên trong.

Trong giai đoạn tiền huấn luyện (pre-training), mô hình liên tục nhận các token trước đó, nhìn vào token thực tế theo sau, và tăng xác suất để token đó được chọn. Toàn bộ quá trình diễn ra qua các hàm mất mát, gradient và cập nhật tham số — nhưng kết quả cuối cùng rất rõ ràng: token thực tế trong dữ liệu huấn luyện trở nên có khả năng xuất hiện cao hơn. Ở mức này, mô hình nền (base model) quả thực hoạt động như một bộ dự đoán token đơn thuần.

Sự Khác Biệt Đến Từ Hậu Huấn Luyện

Tuy nhiên, các LLM người dùng sử dụng ngày nay không còn là mô hình nền thuần túy. Chúng trải qua quá trình hậu huấn luyện (post-training), và một mảnh ghép quan trọng là học tăng cường với phần thưởng có thể kiểm chứng (RLVR). Trong giai đoạn này, mô hình không chỉ học từ các chuỗi văn bản đã tồn tại trong dữ liệu, mà còn tự khám phá bằng cách sinh ra các chuỗi mới và rút kinh nghiệm từ kết quả nhận được.

Hãy hình dung vòng lặp RLVR: Mô hình tạo ra một chuỗi token mới hoàn toàn do nó tự khám phá, sau đó chuỗi này được chấm điểm bằng phần thưởng. Nếu phần thưởng cao, mô hình sẽ học để tăng xác suất tạo ra những chuỗi tương tự. Điều này hoàn toàn khác với tiền huấn luyện — nơi mọi thứ đều đến từ các mẫu có sẵn trong kho dữ liệu. Với RLVR, LLM học từ chính những gì nó tự khám phá, không hề xuất hiện trong dữ liệu gốc.

Ẩn Dụ Cờ Vua Làm Sáng Tỏ Vấn Đề

Một cỗ máy chơi cờ giúp ta dễ hình dung sự khác biệt này. Hãy tưởng tượng hai hệ thống chơi cờ vua:

• Hệ thống thứ nhất: Được huấn luyện trên kho dữ liệu lớn các ván cờ của kiện tướng. Nó học cách kiện tướng phản ứng với từng thế cờ, và khi gặp thế cờ mới, nó dự đoán nước đi mà một kiện tướng có thể chọn. Đây thực sự là một "trình dự đoán nước đi".
• Hệ thống thứ hai: Một cỗ máy cờ lý tưởng đã khám phá mọi ván cờ có thể xảy ra. Từ đó, nó biết xác suất thắng từ mỗi thế cờ và chọn nước đi dẫn đến xác suất thắng cao nhất. Nó không chỉ học từ những ván cờ đã tồn tại, mà còn từ chính các ván cờ do mình tạo ra trong quá trình thăm dò.

Gọi hệ thống thứ hai là "trình dự đoán nước đi" nghe rất lạ. Nó không nhằm dự đoán nước đi xuất hiện tiếp theo trong bộ dữ liệu — nó nhắm đến việc chọn một nước đi để thắng cuộc.

Ý Nghĩa Với Người Dùng Việt Nam

Với cộng đồng AI Việt Nam — nơi ChatGPT, Claude hay các mô hình nội địa ngày càng phổ biến — hiểu đúng bản chất này giúp ta kỳ vọng hợp lý hơn vào các mô hình. Khi một AI tạo ra câu trả lời sáng tạo hay giải pháp mới lạ, đừng vội nghĩ đó chỉ là ghép nối xác suất từ dữ liệu cũ. Nó có thể đến từ quá trình khám phá trong hậu huấn luyện — thứ mà một "trình dự đoán token" đơn thuần không bao giờ làm được.

Ngoài RLVR, các kỹ thuật hậu huấn luyện khác cũng đóng vai trò quan trọng. Ví dụ, học tăng cường từ phản hồi con người (RLHF) giúp mô hình không chỉ bắt chước toàn bộ dữ liệu tiền huấn luyện mà còn hướng đến việc trở thành một trợ lý hữu ích. Kết hợp lại, các kỹ thuật này cho phép LLM vượt ra ngoài khuôn khổ dữ liệu ban đầu, khám phá tri thức mới mà không hề nằm trong văn bản đã thấy.

“Next-token predictor” là một cách nghĩ sai lầm. Nó chỉ mô tả hình dạng bên ngoài — từng token nối tiếp nhau — mà bỏ qua hoàn toàn những gì cơ chế đó mã hóa.

Một mô phỏng trợ lý hữu ích và tri thức được khám phá qua tìm tòi hoàn toàn có thể nằm gọn trong cùng một vòng lặp phát token. Chính điều đó biến LLM từ một công cụ đoán chữ thành một hệ thống có khả năng suy luận và giải quyết vấn đề ở mức độ sâu sắc hơn nhiều.