Vì sao các mô hình AI đang trở nên 'ngu hơn' một cách có chủ đích?

Điểm số lý luận của các mô hình AI trên các bài kiểm tra toán và lập trình đang tăng chóng mặt, nhưng khả năng ghi nhớ sự kiện lại tụt dốc thảm hại. Các phòng nghiên cứu lớn đang cố tình thu nhỏ dung lượng tri thức trong mô hình để tập trung vào kỹ năng suy luận, vì chúng nhận ra rằng 'sự thật' sẽ nhanh chóng lỗi thời, còn quy trình tư duy thì không. Kết quả là một thế hệ AI nhẹ hơn, rẻ hơn, ít ảo giác hơn khi được trang bị thêm các công cụ tra cứu bên ngoài, và có thể chạy ngay trên một chiếc GPU chơi game phổ thông.

Cuộc đánh đổi lớn: Tri thức đổi lấy suy luận

Dữ liệu mới nhất cho thấy các mô hình như GLM-5.2 đạt 99,2% trên bài kiểm tra AIME 2026 chỉ với khoảng 40 tỷ tham số hoạt động cho mỗi token, trong khi Qwen3.5 đạt 91,3% với chỉ 17 tỷ tham số. Con số này đối lập hoàn toàn với thời kỳ GPT-4 (năm 2023) khi mô hình này cần tới 280 tỷ tham số hoạt động mà vẫn chật vật giải các bài toán AIME.

Tuy nhiên, nếu nhìn vào SimpleQA – bài kiểm tra về khả năng nhớ sự kiện thuần túy – bức tranh hoàn toàn đảo ngược. Mô hình dẫn đầu là Gemini 2.5 Pro với vỏn vẹn 53% độ chính xác, nghĩa là ngay cả AI tân tiến nhất cũng trả lời sai gần một nửa số câu hỏi. Các mô hình nhỏ còn tệ hơn: Qwen3.5 4B và 9B có tỷ lệ ảo giác lên tới 80-82%, gần như bịa ra câu trả lời khi không biết sự thật.

Sự sụt giảm về tham số không đến miễn phí. Các phòng nghiên cứu đang đánh đổi tri thức thế giới để lấy kỹ năng lý luận, và đây là một sự đánh đổi có chủ ý.

Vì sao tri thức chiếm nhiều tham số đến vậy?

Theo nghiên cứu "Physics of Language Models", mỗi tham số chỉ chứa được khoảng 2 bit tri thức thực tế. Nếu muốn mô hình biết rõ ngày sinh của mọi nhân vật lịch sử nhỏ lẻ trên Wikipedia, hay chi tiết API của mọi thư viện trong hệ sinh thái JavaScript, bạn sẽ phải trả giá bằng hàng nghìn tỷ tham số.

Ngược lại, khả năng suy luận nén tốt hơn nhiều so với dữ liệu sự kiện vì nó chỉ là một tập hợp nhỏ các quy trình được lặp đi lặp lại: chia nhỏ vấn đề, theo dõi trạng thái trung gian, tự kiểm tra, quay lui khi sai. Kỹ thuật distillation (chưng cất) và học tăng cường trên các bài toán có thể kiểm chứng đã chuyển được các kỹ năng này vào mô hình nhỏ một cách đáng kinh ngạc. Mô hình Phi-4 (14 tỷ tham số) là một ví dụ điển hình: giỏi toán nhưng dốt kiến thức thông thường – chính xác là những gì dữ liệu huấn luyện của nó chứa đựng.

Kiến thức 'thối rữa', quy trình thì không

Một chiến dịch huấn luyện AI tiên tiến có thể kéo dài nhiều tháng và tốn hàng trăm triệu đô la, nhưng ngay khi hoàn thành, những sự kiện bên trong nó đã bắt đầu lỗi thời. API thay đổi, giá cả biến động, con người đổi việc – một nửa những gì mô hình năm 2024 tin về hệ sinh thái JavaScript đã hết hạn trước khi nó được phát hành.

Nhưng quy trình suy luận không hề thối rữa: đại số vẫn hoạt động y như năm 1970, việc phân rã vấn đề hay phát hiện mâu thuẫn giữa hai nguồn vẫn vậy. Một mô hình thiên về quy trình sẽ không bị 'già cỗi' như mô hình nặng về tri thức – thứ mà lẽ ra không bao giờ nên nằm trong bộ trọng số (weights) ngay từ đầu. Đây là lập luận mạnh mẽ nhất cho cách tiếp cận này: tách biệt sản phẩm đắt đỏ, chậm chạp (mô hình đã huấn luyện) khỏi thứ thay đổi hằng ngày (cái gì đang là sự thật).

Hệ thống 'khung xương' gánh vác tri thức

Nếu mô hình không 'biết' nhiều, thì thứ khác phải biết – đó chính là harness (hệ thống dây nịt): tìm kiếm trên tập tri thức, gọi công cụ, tìm kiếm web, duyệt qua kho tài liệu. Mô hình chỉ đóng góp khả năng suy luận, còn mọi thứ nó suy luận về sẽ được cung cấp vào lúc chạy (runtime).

Chúng ta đã thấy điều này hoạt động: một coding agent không cần nhớ toàn bộ API của thư viện bạn đang dùng, vì nó tự tìm trong node_modules hoặc đọc tài liệu trước khi gọi bất kỳ hàm nào. Ký ức trước đây là chi phí cố định trong mỗi lượt suy luận, nay trở thành tra cứu theo nhu cầu, và kết quả luôn dựa trên phiên bản bạn thực sự cài đặt.

Tương lai: Mô hình hàng đầu chạy ngay trên GPU của bạn

Nếu xu hướng này tiếp tục trong vài năm tới, chúng ta sẽ có một mô hình với khả năng suy luận ở đẳng cấp hàng đầu, thậm chí đạt chất lượng 'Fable', chạy trên một GPU tiêu dùng duy nhất. Phần tính toán gần như đã sẵn sàng: DeepSeek V4-Flash chỉ dùng 13 tỷ tham số hoạt động mỗi token, nằm gọn trong tầm với của GPU thường.

Điều không vừa chính là 271 tỷ tham số còn lại nằm trong các chuyên gia (experts) – và phần lớn trong số đó là kho chứa tri thức, thứ mà cách tiếp cận này khiến trở nên tùy chọn. Nếu loại bỏ phần tri thức, tổng kích thước mô hình sẽ co về gần bằng kích thước hoạt động – một mô hình 20-40 tỷ tham số với lượng tử hóa 4-bit hoàn toàn nằm vừa trong 24GB VRAM của các card đồ họa gaming đã có từ 2022.

Sự đổi lại là nó sẽ không 'biết' nhiều. Nhưng khi được kết hợp với một harness tốt, đó gần như là tất cả những gì tôi cần từ một mô hình tiên tiến: chạy cục bộ, không tốn phí mỗi token và dữ liệu không rời khỏi máy.

Giải pháp gần như triệt để cho vấn đề ảo giác

Điểm hứa hẹn nhất của cách tiếp cận này là tác động lên ảo giác (hallucination). Khi một sự thật nằm trong bộ trọng số, nếu sai thì không thể tìm ra và không thể sửa – bạn không thể 'grep' hay 'diff' các trọng số, và việc hiệu chỉnh một lỗi có thể phá vỡ những thứ khác. Mô hình tuyên bố thông tin sai với sự tự tin trơn tru như thông tin đúng, và không có gì để đối chiếu.

Nhưng khi sự thật nằm bên ngoài, một câu trả lời sai sẽ có địa chỉ cụ thể. Mô hình trích dẫn một tài liệu, bạn mở tài liệu đó ra. Nếu tài liệu sai, bạn sửa tài liệu – và mọi truy vấn tương lai sẽ nhận được bản sửa, nhanh hơn nhiều so với chờ đợi một đợt huấn luyện mới kéo dài cả năm. Tra cứu không đưa bạn về tuyệt đối 0, vì mô hình vẫn có thể đọc sai nguồn hoặc ghép hai nguồn lại với nhau sai, nhưng một tuyên bố có nguồn gốc rõ ràng là thứ có thể kiểm chứng được – còn tuyên bố phát ra từ bộ trọng số thì không. Một sự thật sai trong kho tri thức chỉ là một lỗi dữ liệu bình thường – loại lỗi chúng ta đã biết cách truy vết, sửa chữa và viết test hồi quy.

Có thể trong tương lai, các mô hình sẽ không còn liệt kê 'ngày cắt dữ liệu huấn luyện' (knowledge cutoff) nữa, vì những gì còn lại trong trọng số sẽ lỗi thời theo đơn vị năm thay vì tuần. Mô hình chỉ đơn giản được cung cấp trạng thái hiện tại của thế giới tại thời điểm chạy – giống như cách một CPU được trao cho một chương trình.