Một nghiên cứu mới tiết lộ rằng các mô hình ngôn ngữ lớn (LLM) dùng để đánh giá hồ sơ bệnh án do AI soạn thảo gần như "mù" với lỗi thiếu sót thông tin — chúng chỉ giỏi phát hiện nội dung sai hoặc thêm vào, nhưng lại bỏ lỡ các chi tiết quan trọng bị bỏ quên. Nhóm tác giả đã phát triển một phương pháp tái cấu trúc tác vụ giúp phát hiện lỗi thiếu sót hiệu quả hơn, với tỷ lệ cảnh báo sai thấp và chi phí vận hành giảm đáng kể.

Nghiên cứu: AI "mù" với lỗi thiếu sót trong hồ sơ bệnh án — và cách khắc phục

Trong bối cảnh các trợ lý AI ngày càng phổ biến trong việc soạn thảo hồ sơ bệnh án (clinical notes) cho bác sĩ, một câu hỏi quan trọng được đặt ra: Liệu các mô hình đánh giá (LLM judges) có thể phát hiện chính xác những thông tin mà AI đã bỏ sót? Nghiên cứu mới từ nhóm tác giả Sebastian Fox và cộng sự cho thấy một điểm mù nghiêm trọng: các mô hình đánh giá dường như chỉ xác minh được những gì có mặt trong văn bản, mà không nhận biết được những gì thiếu vắng so với cuộc trò chuyện ban đầu.

Vấn đề: "Mù lòa với sự thiếu sót" (Omission Blindness)

Trong nghiên cứu y khoa, các trợ lý AI khác nhau (ambient AI scribes) thường mắc lỗi phổ biến nhất là bỏ sót thông tin — tức là những chi tiết đã được trao đổi trong buổi khám nhưng lại không được ghi lại trong hồ sơ. Cách kiểm tra chuẩn hiện nay là dùng một LLM khác đóng vai "giám khảo" — đọc hồ sơ so với bản ghi âm cuộc trò chuyện để chỉ ra lỗi.

Tuy nhiên, nghiên cứu đã xây dựng một bộ dữ liệu chuẩn gồm 500 cặp hồ sơ chỉ chứa một lỗi duy nhất: 298 cặp có một sự kiện được xác định chắc chắn đã bị bỏ sót và 202 cặp đối chứng có dữ liệu bị thêm vào hoặc thay đổi. Kết quả cho thấy:

Khi phát hiện nội dung thêm vào hoặc thay đổi, độ chính xác phân biệt của 8 mẫu thiết kế giám khảo đạt 0,79 – 0,94 (trên thang 0,5 là tung đồng xu).
Khi phát hiện thiếu sót, các mẫu này chỉ đạt 0,50 – 0,63 — gần như chỉ ngang với việc đoán mò.

Vì sao LLM không phát hiện được lỗi thiếu?

Nhóm nghiên cứu cho rằng nguyên nhân nằm ở cách LLM giám khảo hoạt động theo kiểu "xác minh sự hiện diện" (verifying presence) thay vì suy luận về sự vắng mặt. Các thay đổi về cách viết câu hỏi (wording), bỏ phiếu (voting) hay tối ưu prompt bằng thuật toán GEPA chỉ thay đổi ngưỡng vận hành, nhưng không tạo ra khả năng phát hiện thiếu sót thực sự nào.

"Trên từng hồ sơ riêng lẻ, không có thiết kế nào đánh dấu lỗi thiếu sót đáng tin cậy thường xuyên hơn các hồ sơ hoàn hảo," — trích từ tóm tắt nghiên cứu.

Giải pháp: Tái cấu trúc bài toán

Thay vì hỏi LLM "có lỗi gì không?", nhóm tác giả đề xuất một cách tiếp cận khác:

Liệt kê các sự kiện mà cuộc trò chuyện (transcript) xác lập.
Kiểm tra từng sự kiện xem có được ghi lại trong hồ sơ hay không.

Phương pháp này được thực hiện theo hai cách độc lập:

Pipeline theo từng sự kiện (per-fact pipeline): Đánh dấu các sự kiện bị thiếu kèm mức độ nghiêm trọng với tỷ lệ cảnh báo sai chỉ 2,7%.
Prompt được tiến hóa bằng GEPA (thực hiện trong một lần gọi duy nhất): Phát hiện được 36,9% lỗi thiếu sót (so với 24,6% của pipeline), với tỷ lệ cảnh báo sai 6,2% và chi phí chỉ bằng 1/10 so với pipeline.

Xác nhận từ bác sĩ và ứng dụng thực tế

Một bác sĩ tác giả đã xác nhận 70 mục, và khi hai phương pháp này có kết quả khác nhau, ông đứng về phía pipeline trong 10/10 trường hợp (p = 0,002). Một bác sĩ lâm sàng thứ hai, không phải tác giả, đã chấm điểm mức độ nghiêm trọng theo thang điểm mù và đưa ra kết quả nhất quán.

Tuy nhiên, cả hai phương pháp đều thất bại với các lỗi thiếu sót mà sự kiện bị bỏ quên nhưng được nhắc lại ở nơi khác trong hồ sơ. Khi áp dụng lên các hồ sơ thực tế từ vendor AI trong một cuộc khảo sát đi kèm, không có ngưỡng chuẩn nào chuyển giao trực tiếp, nhưng giải pháp gọi đơn (single call) được hiệu chỉnh lại vẫn phát hiện nhiều lỗi hơn mẫu tốt nhất trong 8 thiết kế ban đầu, với tỷ lệ cảnh báo sai chỉ bằng một nửa.

Ý nghĩa với ngành y tế và AI

Nghiên cứu này đặt ra một vấn đề lớn: Nếu LLM giám khảo không thể nhận diện lỗi thiếu sót trong hồ sơ AI viết, thì việc phụ thuộc vào các hệ thống kiểm tra tự động hiện nay có thể dẫn đến những sai sót nghiêm trọng trong chẩn đoán và điều trị. Ở các bệnh viện Việt Nam đang bắt đầu áp dụng AI trong khâu hành chính — như biên bản hội chẩn hay tóm tắt bệnh án — việc hiểu rõ giới hạn này là rất cần thiết trước khi tin tưởng tuyệt đối vào công cụ tự động.

Nhóm tác giả đã công bố toàn bộ bộ benchmark, prompt và kết quả đánh giá trên arXiv, cho phép cộng đồng nghiên cứu và phát triển tiếp tục cải thiện khả năng phát hiện thiếu sót của AI trong lĩnh vực nhạy cảm như y tế.

Điểm mù của LLM trong kiểm tra hồ sơ bệnh án: AI chỉ phát hiện được những gì "có mặt"