Sebastian Raschka ra mắt khóa video 11 giờ về tự tay xây dựng mô hình suy luận

Sebastian Raschka vừa phát hành một khóa học video hoàn chỉnh về cách tự tay xây dựng mô hình suy luận từ con số không, gồm 8 bài giảng với hơn 11 giờ lập trình trực tiếp bằng Python và PyTorch. Đây được xem là phần tiếp nối của khóa "Coding LLMs from the Ground Up" mà ông công bố năm ngoái.

Tổng quan các chủ đề trong khóa học xây dựng mô hình suy luận

Vì sao mô hình suy luận vẫn là chủ đề nóng

Theo Raschka, gần như toàn bộ các mô hình ngôn ngữ lớn (LLM) thế hệ hiện nay đều là mô hình suy luận hoặc có chế độ suy luận. Trong hơn hai năm qua, ông đã viết rất nhiều về chủ đề này trên blog Ahead of AI, bao gồm cả kỹ thuật điều chỉnh "mức độ suy luận" của các LLM đương đại.

Cách học hiệu quả nhất, theo ông, vẫn là tự cài đặt lại mọi thứ từ đầu. Đó cũng là triết lý của cuốn sách Build a Reasoning Model (From Scratch) và loạt video đi kèm.

Mô hình suy luận thực chất là một bước nâng cấp của LLM thông thường: bổ sung thêm quá trình hậu huấn luyện bằng học tăng cường với phần thưởng kiểm chứng được, và tùy chọn áp dụng các kỹ thuật mở rộng lúc suy diễn để giải những bài toán khó hơn.

Phân biệt LLM, mô hình suy luận và tác tử AI

Raschka sử dụng một phép so sánh khá dễ hiểu: mô hình là động cơ, còn khung tác tử (agent harness) là cỗ máy bao quanh nó. Khung tác tử chịu trách nhiệm quản lý ngữ cảnh phức tạp và cấp quyền truy cập công cụ cho mô hình.

• LLM thông thường: động cơ cơ bản, dùng cho hội thoại đơn giản.
• Mô hình suy luận: động cơ được nâng cấp, giải quyết bài toán khó tốt hơn.
• Khung tác tử: bộ máy giúp khai thác động cơ cho các tác vụ lớn như lập trình, đặt vé du lịch hay trợ lý cá nhân.

Tác tử có thể dùng LLM thường hoặc mô hình suy luận, nhưng mô hình suy luận là lựa chọn phổ biến hơn nhờ năng lực vượt trội.

Nội dung 8 bài giảng

Khóa học bắt đầu từ một mô hình Qwen3 cỡ nhỏ đã được huấn luyện trước, sau đó tự cài đặt các phương pháp suy luận. Danh sách bài giảng gồm:

1. Động lực và thiết lập môi trường: cài đặt phụ thuộc Python/PyTorch bằng uv, chọn phần cứng, kiểm tra CUDA hoặc Apple Silicon, xử lý sự cố môi trường.
2. Nạp mô hình nền, sinh văn bản và KV caching: tải trọng số Qwen3 0.6B, cài đặt giải mã tham lam (greedy decoding), sinh văn bản dạng streaming, thêm KV cache và kết hợp với torch.compile.
3. Xây dựng bộ kiểm chứng (verifier): trích xuất đáp án, chuẩn hóa, kiểm tra tương đương toán học, rồi dùng để đánh giá trên bộ dữ liệu MATH-500. Bộ kiểm chứng này còn đóng vai trò tạo tín hiệu phần thưởng cho học tăng cường về sau.
4. Mở rộng lúc suy diễn — lấy mẫu và tự nhất quán: cài đặt temperature scaling, lấy mẫu đa thức (multinomial sampling), lọc top-p, rồi kết hợp nhiều câu trả lời bằng bỏ phiếu đa số (self-consistency).
5. Mở rộng lúc suy diễn — chấm điểm và tự tinh chỉnh: tính log xác suất token và chuỗi, dùng để so sánh đáp án và phá thế hòa, xây vòng lặp tự phê bình và sửa câu trả lời.
6. Học tăng cường — cài đặt GRPO cho RLVR: sinh nhóm phản hồi, chấm điểm bằng verifier, chuyển điểm thành phần thưởng và lợi thế tương đối, huấn luyện với hàm mất mát GRPO rút gọn.
7. Học tăng cường — theo dõi, cắt tỉ lệ chính sách và số hạng KL: thêm các chỉ số như entropy, lợi thế, tỉ lệ chính sách bị cắt, số hạng KL, phần thưởng định dạng; phân tích hiện tượng "reward hacking".
8. Chưng cất mô hình suy luận: dùng đáp án do mô hình giáo viên mạnh hơn (DeepSeek R1) sinh ra để huấn luyện có giám sát, phân biệt chưng cất mềm/cứng và on-policy/off-policy.

Minh họa quy trình chưng cất tri thức từ mô hình giáo viên

Yêu cầu và điều kiện thực hành

Về kiến thức nền, Raschka khuyến nghị người học đã quen với Python và PyTorch. Nội dung được thiết kế độc lập, nên khóa học LLM trước đó là khuyến khích nhưng không bắt buộc.

Về phần cứng, các ví dụ sinh văn bản và đánh giá ban đầu có thể chạy trên CPU. Tuy nhiên, các thí nghiệm huấn luyện về sau sẽ thực tế hơn nhiều nếu có GPU. Video đầu tiên và kho mã nguồn đều có hướng dẫn chi tiết về phần cứng và môi trường.

Tài nguyên đi kèm

Loạt video này đồng hành cùng cuốn sách Build a Reasoning Model (From Scratch), phát hành qua Manning và Amazon, với bản in màu. Raschka gợi ý cách học sâu nhất: đọc một chương, chạy mã song song với video tương ứng, rồi làm bài tập.

Trích đoạn từ cuốn sách Build a Reasoning Model (From Scratch)

Ngoài ra, ông còn có khóa học ngắn khoảng 90 phút trên LinkedIn Learning mang tên AI Reasoning Models, phù hợp cho ai muốn nắm ý tưởng cốt lõi mà chưa cần đi sâu vào cài đặt.

Góc nhìn cho người học tại Việt Nam

Với cộng đồng AI và lập trình viên Việt Nam đang ngày càng quan tâm đến việc làm chủ công nghệ LLM, đây là nguồn tài liệu thực hành có giá trị cao. Thay vì chỉ dùng API của các mô hình đóng, việc tự tay cài đặt quy trình đánh giá, mở rộng suy diễn và học tăng cường sẽ giúp hiểu sâu bản chất — kỹ năng ngày càng được các công ty công nghệ trong nước săn đón.

Điểm thuận lợi là mô hình Qwen3 0.6B khá nhẹ, có thể thử nghiệm trên máy cá nhân hoặc thuê GPU theo giờ với chi phí khiêm tốn. Người học nên bắt đầu từ các bài về đánh giá và lấy mẫu trước, sau đó mới chuyển sang phần học tăng cường vốn đòi hỏi tài nguyên tính toán nhiều hơn.