Mô hình AI tiên phong có thể 'nhớ lại' tới 65% sự thật ban đầu không truy xuất được — chỉ bằng cách suy nghĩ lâu hơn

Khi các mô hình ngôn ngữ lớn (LLM) gặp hiện tượng ảo giác (hallucination), các nhà phát triển thường cho rằng mô hình thiếu dữ liệu cần thiết. Đội ngũ kỹ thuật chẩn đoán đó là lỗi thiếu kiến thức, và phản ứng tiêu chuẩn là tăng kích thước mô hình, mở rộng dữ liệu huấn luyện, hoặc xây dựng kiến trúc truy xuất phức tạp.

Một nghiên cứu mới từ các nhà nghiên cứu tại Google Research và Technion đã chứng minh rằng kiến thức thường không hề thiếu. Mô hình có thông tin được mã hóa dưới dạng tham số nhưng lại thất bại trong việc hiển thị nó trong quá trình sinh văn bản.

Các thí nghiệm của họ cho thấy các mô hình tiên phong như GPT-5 và Gemini-3 mã hóa được 95-98% các sự thật được kiểm tra. Điều này chỉ ra rằng trong nhiều trường hợp, khả năng truy xuất (recall) — chứ không phải mã hóa — là nút thắt chính cho độ chính xác thực tế. Hiểu được cách khai thác kiến thức hiện có thông qua tính toán tại thời điểm suy luận (inference-time computation) có thể giúp các đội ngũ kỹ thuật xây dựng ứng dụng đáng tin cậy hơn mà không nhất thiết phải dựa vào mô hình lớn hơn hay cơ sở dữ liệu ngoài.

Hồ sơ kiến thức: Đo lường những gì mô hình thực sự biết

Để lập bản đồ khoảng cách giữa lưu trữ và truy xuất, các nhà nghiên cứu đề xuất chuyển trọng tâm đánh giá từ độ chính xác cấp độ câu hỏi sang hồ sơ cấp độ sự thật (fact-level profiling). Thay vì chỉ chấm điểm xem LLM trả lời đúng hay sai một prompt riêng lẻ, kỹ thuật này kiểm tra một thông tin nền tảng qua nhiều điều kiện khác nhau: đánh giá xem sự thật có được lưu trữ trong tham số của mô hình hay không, có thể truy vấn từ các hướng và cách diễn đạt khác nhau không, và cần bao nhiêu nỗ lực tính toán để truy xuất.

Khuôn khổ này phân biệt giữa việc một sự thật được mã hóa dưới dạng tham số và việc nó được "biết". Mô hình mã hóa một sự thật nếu nó có thể tái tạo chính xác khi được cung cấp ngữ cảnh huấn luyện gốc. Mô hình biết một sự thật nếu nó có thể trả lời đáng tin cậy các câu hỏi về nó qua nhiều cách diễn đạt và hướng khác nhau.

"Các lỗi mã hóa và truy xuất là không thể phân biệt dưới các thước đo độ chính xác, nhưng chúng lại ngụ ý những giới hạn và giải pháp khác nhau," các nhà nghiên cứu viết. "Lỗi mã hóa đòi hỏi các can thiệp tiền huấn luyện, như tăng quy mô mô hình hoặc phạm vi dữ liệu. Lỗi truy xuất gợi ý các can thiệp hậu huấn luyện thường cải thiện cách mô hình sử dụng những gì chúng đã mã hóa."

Bài báo minh họa điều này bằng một sự thật mẫu: Oasis chơi buổi diễn đầu tiên tại câu lạc bộ Boardwalk. Dựa trên cách mô hình xử lý thông tin này, nghiên cứu phân loại kiến thức thành năm hồ sơ riêng biệt:

• Truy xuất trực tiếp: Mô hình mã hóa sự thật và dễ dàng truy cập để trả lời các câu hỏi trực tiếp mà không cần thêm tính toán suy luận.

• Lỗi mã hóa (kệ trống): Mô hình không mã hóa cũng không biết sự thật. Nó không thể hoàn thành một câu theo kiểu Wikipedia về những ngày đầu của Oasis, cũng như không trả lời được câu hỏi về sự kiện đó. Điều này cho thấy cần thêm dữ liệu tiền huấn luyện hoặc dung lượng mô hình lớn hơn.

• Lỗi truy xuất (mất chìa khóa): Mô hình có sự thật được mã hóa nhưng không thể truy cập. Nó có thể hoàn thành liền mạch văn bản huấn luyện gốc về Oasis, nhưng thất bại khi trả lời "Oasis chơi buổi diễn đầu tiên ở đâu?" — ngay cả khi được cho thời gian suy nghĩ.

• Truy xuất với suy nghĩ: Sự thật được mã hóa nhưng không thể truy cập trực tiếp. Nó chỉ được nhớ lại thành công khi mô hình sử dụng tính toán suy luận, như chuỗi suy nghĩ (Chain-of-Thought), để lấp đầy khoảng trống. Các nhà nghiên cứu gọi cơ chế này là hỗ trợ truy xuất (recall facilitation). Mô hình ban đầu có thể thất bại, nhưng khi tạo ra các suy nghĩ trung gian về lịch sử ban đầu của ban nhạc ở Manchester, nó tự "khởi động" để định vị và nhớ lại câu trả lời bị khóa.

• Suy luận không cần mã hóa: Mô hình chưa bao giờ mã hóa rõ ràng sự thật về Oasis. Thay vào đó, nó trả lời thành công bằng cách phỏng đoán hợp lý hoặc suy luận qua các sự thật đã mã hóa khác mà nó biết. Nó có thể suy ra câu trả lời bằng cách nối các điểm dữ liệu riêng biệt — như "Oasis thành lập tại Manchester", "Boardwalk là câu lạc bộ âm nhạc nổi tiếng thập niên 90 ở đó" và "Boardwalk từng tổ chức các buổi diễn sớm của những ban nhạc mới nổi".

Ảo giác về mở rộng quy mô, đuôi dài và sự hồi phục 'trên đầu lưỡi'

Các nhà nghiên cứu đã đánh giá 13 LLM trên hơn 4 triệu phản hồi. Họ sử dụng WikiProfile — một bộ benchmark gồm 2.150 sự thật trích từ Wikipedia — kiểm tra từng sự thật qua nhiều định dạng, từ hoàn thành ngữ cảnh chính xác đến xác minh trắc nghiệm.

Với các mô hình tiên phong như GPT-5 và Gemini-3, việc mã hóa đang đạt đến mức bão hòa. Các mô hình này mã hóa thành công 95-98% sự thật được kiểm tra. Tuy nhiên, chúng vẫn thất bại trong việc truy xuất trực tiếp 26-34% những sự thật đã mã hóa khi không được phép "suy nghĩ" thêm.

Suy nghĩ tại thời điểm suy luận hoạt động như một cơ chế phục hồi quan trọng. Cung cấp thêm nỗ lực tính toán giúp mô hình truy xuất thành công 40-65% các sự thật đã mã hóa mà ban đầu chúng không truy xuất trực tiếp được. Các nhà nghiên cứu so sánh điều này với trạng thái "trên đầu lưỡi" của con người, khi nỗ lực có chủ đích — như hồi tưởng lại ngữ cảnh — cuối cùng giúp nhớ ra thông tin.

Mở rộng quy mô mô hình không tự động giải quyết khoảng cách này. Ví dụ, họ phát hiện rằng khi mở rộng mô hình Gemma3 từ 1 tỷ lên 27 tỷ tham số, lỗi mã hóa giảm từ 85% xuống 23%. Nhưng đồng thời, tỷ lệ lỗi truy xuất tăng lên, đạt đỉnh 40% khi không có suy nghĩ.

Điều này cho thấy việc mở rộng quy mô chủ yếu giải quyết vấn đề lưu trữ chứ không phải vấn đề truy cập. Khi mô hình ghi nhớ nhiều sự thật hơn đáng kể, một lượng kiến thức lớn hơn bị kẹt trong trạng thái "đã mã hóa nhưng không thể truy cập". Phần lớn lỗi của mô hình chuyển từ thiếu dữ liệu sang truy xuất thất bại.

"Phát hiện của chúng tôi cho thấy khả năng truy xuất gắn chặt với các điều kiện mà sự thật được học, suy giảm khi truy vấn khác biệt với các mẫu từ thời điểm huấn luyện," các nhà nghiên cứu viết.

Cách người dùng đặt câu hỏi trực tiếp quyết định liệu mô hình có thể mở khóa câu trả lời đã lưu trữ hay không. Ví dụ, các thí nghiệm cho thấy các sự thật hiếm được mã hóa với tỷ lệ tương đương các sự thật phổ biến. Tuy nhiên, họ tìm thấy một khoảng cách truy xuất lớn giữa sự thật thuộc phần đuôi dài (long-tail) và những sự thật rất phổ biến, vượt quá 25% đối với các mô hình tiên phong.

Tương tự, các mô hình gặp khó khăn khi trả lời các câu hỏi ngược (yêu cầu chủ thể thay vì tân ngữ). Chẳng hạn, một mô hình có thể dễ dàng trả lời rằng Oasis chơi buổi diễn đầu tiên tại câu lạc bộ Boardwalk, nhưng lại thất bại khi được hỏi ai đã chơi buổi diễn đầu tiên tại chính câu lạc bộ đó. Trong khi đó, cùng một mô hình lại cho thấy nó biết câu trả lời đúng khi được đưa cùng câu hỏi ở định dạng trắc nghiệm.

"Trong khi những lỗi này thường được hiểu là hạn chế của trí nhớ hoặc mã hóa hai chiều, kết quả của chúng tôi cho một bức tranh khác: các sự thật hiếm thường được mã hóa nhưng không thể truy cập, và các sự thật ngược có thể được nhận diện ngay cả khi không thể sinh ra," các nhà nghiên cứu viết. "Điều này định hình lại cả hai hiện tượng như lỗi truy xuất chứ không phải 'thiếu kiến thức'."

Lợi ích của việc suy nghĩ và lời khuyên cho nhà phát triển

Tỷ lệ mã hóa cao của các mô hình tiên phong đòi hỏi một sự thay đổi trong cách các nhà phát triển tiếp cận tính chính xác và kiến trúc pipeline.

Đừng coi mọi lỗi thực tế là vấn đề truy xuất: Phản ứng mặc định của doanh nghiệp trước ảo giác thường là triển khai RAG (Retrieval-Augmented Generation), mở rộng cơ sở dữ liệu vector, hoặc nhập thêm tài liệu miền. Mặc dù cần thiết cho các cập nhật thời gian thực hoặc dữ liệu hoàn toàn không tồn tại, nghiên cứu này cho thấy tới 95-98% các sự thật tiêu chuẩn đã được mã hóa dưới dạng tham số. Nhiều lỗi có thể được khôi phục mà không cần truy xuất bên ngoài.

Sử dụng suy luận có chọn lọc: Việc suy nghĩ khôi phục được 40-65% các sự thật đã mã hóa mà mô hình không truy xuất trực tiếp. Tuy nhiên, nó tốn kém về mặt tính toán. Một kiến trúc thực tế gồm: gọi mô hình nhanh ở lượt đầu, sau đó thử lại với mức nỗ lực suy luận cao hơn khi độ tin cậy thấp. Các đội ngũ có thể tối ưu chi phí bằng cách định tuyến động các điều kiện khó — như thực thể hiếm hoặc câu hỏi ngược — đến các mô hình có khả năng suy luận.

Kiểm tra khả năng truy cập ngữ nghĩa, không chỉ độ chính xác benchmark: Các thước đo độ chính xác tiêu chuẩn che giấu khả năng thực sự của mô hình. Bộ đánh giá nên thăm dò cùng một sự thật nền tảng qua các cách diễn đạt, ngữ cảnh và hướng khác nhau để hiểu thực sự mô hình biết gì so với những gì nó có thể truy cập đáng tin cậy.

Tận dụng việc định dạng lại truy vấn và thử lại: Vì khả năng truy xuất phụ thuộc nhiều vào ngữ cảnh, cách đặt câu hỏi quyết định sự thành công. Thay đổi cấu trúc prompt, tạo ngữ cảnh trung gian liên quan, hoặc yêu cầu mô hình tạo chuỗi suy luận trước khi trả lời là những cơ chế đáng tin cậy giúp hiển thị thông tin mà prompt trực tiếp bỏ sót.

Hạn chế và bài học thực tế

Bộ benchmark WikiProfile dựa trên các sự thật bách khoa từ Wikipedia. Những phát hiện này có thể không hoàn toàn khái quát hóa cho các miền doanh nghiệp độc quyền hoặc chuyên biệt cao. Khả năng lưu trữ và truy xuất của một mô hình đối với một chỉ số nội bộ doanh nghiệp ngách có thể hoạt động khác với cách nó xử lý dữ liệu bách khoa công khai.

Việc lập hồ sơ đầy đủ cho một mô hình tiên phong trên bộ WikiProfile tốn khoảng 500 USD. Các nhà phát triển có thể giảm đáng kể chi phí này bằng cách bỏ qua các biến thể trắc nghiệm hoặc sử dụng ít mẫu phản hồi hơn cho mỗi câu hỏi.

Các đội ngũ có thể truy cập bộ benchmark WikiProfile trên Hugging Face để đánh giá hệ thống của riêng mình và xây dựng hồ sơ kiến thức tùy chỉnh. Xác định ứng dụng doanh nghiệp của bạn đang gặp "kệ trống" hay "mất chìa khóa" là bước đầu tiên để khắc phục nó.