Chỉ 40% số liệu AI trích dẫn dẫn ngược được về nghiên cứu gốc

Khi bạn hỏi một trợ lý AI "bao nhiêu phần trăm..." và nhận được một con số kèm nguồn trích dẫn, cảm giác thật yên tâm. Nhưng một cuộc truy vết quy mô lớn của Trakkr cho thấy niềm tin đó phần lớn là ảo giác: chỉ 40% số liệu được trích dẫn dẫn ngược được tới một nghiên cứu thật sự nói đúng con số đó.

Nhóm nghiên cứu đã đặt 200 câu hỏi cần câu trả lời là số liệu cho năm trợ lý AI phổ biến, rồi lần theo từng trang được trích dẫn, tiếp tục bấm vào nguồn của trang đó, sâu tới năm lớp. Tổng cộng 1.285 số liệu đã được kiểm tra.

Bức tranh tổng thể: bốn nhóm kết cục

Kết quả được phân thành bốn nhóm rõ rệt:

• 40% có nguồn thật: tìm được nghiên cứu gốc và nó nói đúng con số.
• 8% bị biến đổi: tìm được nghiên cứu, nhưng con số, đối tượng khảo sát, địa điểm hoặc thời gian đã bị thay đổi trên đường lan truyền.
• 40% không kiểm chứng được: trang được dẫn có nêu một nguồn thật, nhưng con số không có trong đó, hoặc nguồn bị khóa, đã biến mất.
• 11% đi vào ngõ cụt: không có nghiên cứu nào trên toàn bộ đường dẫn, mọi trang chỉ lặp lại con số mà không ghi nguồn.

Đáng chú ý là tỷ lệ này không phải hệ quả của cách đặt câu hỏi. Khi kiểm tra 300 số liệu trong câu trả lời của Google AI Overviews cho các lượt tìm kiếm thông thường, tỷ lệ có nguồn thật cũng đúng 40%.

Số liệu "thây ma": con số vẫn bước đi mà không có gì bên dưới

Nghiên cứu mở đầu bằng một ví dụ kinh điển: câu hỏi "bao nhiêu phần trăm nhân viên bán hàng bỏ cuộc sau một lần theo dõi?". Cả năm trợ lý đều trả lời 44%. Nhưng khi truy vết:

1. AI Overviews dẫn tới trang thống kê của một công ty bán hàng từ năm 2020.
2. Liên kết "nguồn" ở đó dẫn tới bài mẫu của một cây viết tự do, có từ năm 2017.
3. Bài đó chỉ liệt kê vài slide, danh sách blog và hai bản tin — không có nghiên cứu nào về việc theo dõi khách hàng.

Không khảo sát, không mẫu, không ngày tháng. Đó là một "số liệu thây ma" — con số vẫn tiếp tục lan truyền dù không có bất kỳ nền tảng nghiên cứu nào phía sau.

Vấn đề nằm ở trang được trích dẫn, không phải ở việc AI bịa số

Một phát hiện quan trọng: phần lớn thời gian AI không bịa ra con số. Trang mà nó trích dẫn có chứa con số đó tới 82% trường hợp. Vấn đề là trích dẫn trang nào.

Chỉ 21% các trang được trích dẫn cho một con số là bản thân nghiên cứu gốc. Hơn một nửa là blog doanh nghiệp. Cộng thêm các bài báo và trang tổng hợp số liệu, phần lớn trích dẫn rơi vào những trang được dựng lên để thu thập số liệu từ nơi khác — thường không có liên kết ngược.

Xuất phát điểm quyết định đích đến:

• Từ công ty nghiên cứu hoặc cơ quan chính phủ: khoảng 61-62% đường dẫn tới được nghiên cứu khớp.
• Từ blog doanh nghiệp: 37%.
• Từ trang tổng hợp số liệu: 35%.

Ngay cả các công ty nghiên cứu cũng hụt 38% số lần, thường vì báo cáo đầy đủ nằm sau một biểu mẫu đăng ký.

Một trích dẫn cho bạn biết AI tìm thấy con số ở đâu, chứ không phải con số đó đến từ đâu.

Ngay cả khi tìm được nghiên cứu, con số vẫn có thể đã bị bóp méo

Trong số các số liệu dẫn tới được nghiên cứu gốc, 17% đã bị thay đổi trên đường đi. Chỉ khoảng một phần tư trường hợp là các chữ số bị sửa; phần lớn là bối cảnh bị bóp méo:

• Con số thay đổi: 26%
• Đối tượng đo thay đổi: 20%
• Năm thay đổi: 17%
• Nguồn thay đổi: 16%
• Đối tượng được hỏi thay đổi: 14%

Một ví dụ điển hình: năm 2004, nghiên cứu của Sillence và cộng sự quan sát 15 phụ nữ Anh đánh giá các trang web sức khỏe, và 94% bình luận của họ về việc từ chối một trang là liên quan tới thiết kế. Hai mươi năm sau, qua các thông cáo báo chí và bài báo, nó biến thành "94% ấn tượng đầu tiên về một website liên quan tới thiết kế" — và AI Overviews khẳng định điều đó như một sự thật phổ quát.

Năm trợ lý, một câu hỏi, năm con số khác nhau

Sự đồng thuận tạo cảm giác như bằng chứng. Nhưng không phải.

Với câu hỏi "bao nhiêu phần trăm marketer dùng công cụ tự động hóa marketing?", năm trợ lý đưa ra các con số từ 49% đến 96%. Trong 71 câu hỏi mà cả năm đều trả lời bằng phần trăm, có 28 câu nhận được bốn hoặc năm con số khác nhau. Khoảng cách trung vị giữa con số cao nhất và thấp nhất là 16 điểm phần trăm.

Đáng lo hơn: có bốn số liệu được cả năm trợ lý cùng trích dẫn mà không có nghiên cứu nào phía sau:

• 44% nhân viên bán hàng bỏ cuộc sau một lần theo dõi.
• 90% người dùng mạng xã hội theo dõi ít nhất một thương hiệu.
• 75% người tìm kiếm không bao giờ cuộn qua trang kết quả đầu tiên.
• Chi phí giữ chân khách hàng thấp hơn 5 đến 25 lần so với chi phí giành khách mới.

So sánh giữa các trợ lý

ChatGPT có tỷ lệ trích dẫn có nguồn thật cao nhất — 57% — nhưng cũng trích dẫn ít số liệu nhất: chỉ 1,3 số liệu mỗi câu trả lời, so với 6,8 của Claude.

• ChatGPT: 57% có nguồn, 1,3 số liệu/câu trả lời
• Perplexity: 46% có nguồn, 2,2 số liệu/câu trả lời
• AI Overviews: 39% có nguồn, 4,8 số liệu/câu trả lời
• Gemini: 38% có nguồn, 6,2 số liệu/câu trả lời
• Claude: 38% có nguồn, 6,8 số liệu/câu trả lời

Bốn trợ lý sau nằm trong khoảng tin cậy chồng lấn của nhau nên nhóm nghiên cứu không xếp hạng.

Người dùng và người xuất bản nên làm gì?

Với người dùng, nhóm nghiên cứu đưa ra ba lời khuyên thực tế:

1. Theo trích dẫn, rồi theo tiếp một lần nữa. Nếu trang được dẫn là danh sách thống kê hoặc blog doanh nghiệp, hãy bấm vào liên kết của chính trang đó để đi thêm một bước.
2. Kiểm tra ai được hỏi, bao nhiêu người và khi nào. Phần lớn sai lệch nằm ở bối cảnh chứ không phải con số.
3. Đừng coi sự đồng thuận là kiểm chứng. Năm trợ lý cùng đưa một con số không có nghĩa là năm nguồn độc lập.

Với người xuất bản nội dung, bài học cũng rõ: đặt phương pháp cạnh con số (mẫu, ngày tháng, liên kết nguồn trên cùng trang), để báo cáo ở nơi công khai thay vì sau biểu mẫu, và kiểm tra xem AI đang trích dẫn trang nào cho số liệu của bạn — rất có thể đó là một bài tổng hợp đã sao chép bạn với con số cũ hơn.

Với độc giả công nghệ Việt Nam, đây là lời nhắc nhở đáng giá: khi AI trả lời một con số trong báo cáo, slide thuyết trình hay bài viết của bạn, hãy kiểm tra tới cùng. Một trích dẫn trông có vẻ chuyên nghiệp chưa chắc đã dẫn tới sự thật — và đôi khi con số đã đi lang thang hai mươi năm mà không có gì đỡ bên dưới.