Kiểm toán Ontario phát hiện AI ghi chú y khoa thường xuyên "ảo tưởng" và sai sót nghiêm trọng

Các hệ thống AI được phê duyệt cho các nhà cung cấp dịch vụ chăm sóc sức khỏe tại Ontario thường xuyên bỏ sót các chi tiết quan trọng, chèn thông tin sai lệch và bị "ảo tưởng" nội dung mà neither bệnh nhân nor nhân viên y tế nào đề cập đến. Đây là kết quả từ một cuộc kiểm tra của Văn phòng Kiểm toán trưởng Ontario đối với hệ thống của 20 nhà cung cấp được chấp thuận.

Các phát hiện này là một phần của báo cáo rộng lớn hơn về tình trạng sử dụng AI trong các dịch vụ công của tỉnh bang, tập trung cụ thể vào chương trình AI Scribe do Bộ Y tế Ontario khởi xướng cho các bác sĩ, y tá và chuyên gia y tế.

Trong quá trình mua sắm, các quan chức đã tiến hành đánh giá bằng cách sử dụng các bản ghi âm giả lập giữa bác sĩ và bệnh nhân. Sau đó, các chuyên gia y tế đã xem xét bản ghi gốc cùng với các ghi chú do AI tạo ra để đánh giá độ chính xác.

Kết quả tìm được thực sự gây sốc đối với bất kỳ ai quan tâm đến độ chính xác của AI trong các tình huống quan trọng.

Theo báo cáo, chín trong số hai mươi hệ thống AI đã "bịa đặt thông tin và đưa ra gợi ý cho kế hoạch điều trị của bệnh nhân" mà không hề được thảo luận trong các bản ghi âm. Những người đánh giá đã phát hiện những thông tin sai lệch có khả năng gây thảm khốc trong các mẫu báo cáo, chẳng hạn như ghi nhận không tìm thấy khối u hoặc bệnh nhân bị lo âu, mặc dù những vấn đề này chưa bao giờ được thảo luận.

Đặc biệt đáng báo động, mười hai trong số hai mươi hệ thống được đánh giá đã chèn thông tin thuốc sai vào ghi chú của bệnh nhân. Mười bảy hệ thống "bỏ sót các chi tiết chính về vấn đề sức khỏe tâm thần của bệnh nhân" đã được thảo luận trong bản ghi. Sáu hệ thống thậm chí "bỏ sót hoàn toàn hoặc một phần các vấn đề sức khỏe tâm thần của bệnh nhân hoặc thiếu các chi tiết chính".

OntarioMD, một nhóm cung cấp hỗ trợ cho các bác sĩ trong việc áp dụng công nghệ mới và tham gia vào quá trình mua sắm AI Scribe, đã khuyến nghị rằng bác sĩ nên xem xét thủ công các ghi chú AI của họ để đảm bảo độ chính xác. Tuy nhiên, báo cáo lưu ý rằng không có tính năng xác nhận bắt buộc nào trong bất kỳ hệ thống nào được chấp thuận trong chương trình AI Scribe.

Việc các hệ thống AI mắc lỗi không phải là điều quá mới mẻ. Tuy nhiên, các công cụ được đánh giá ở đây dành cho bác sĩ chứ không phải người tiêu dùng, và hiệu suất kém như vậy đòi hỏi một lời giải thích. Một phần lớn báo cáo đổ lỗi cho cách thức các hệ thống này được đánh giá.

Theo báo cáo, trọng số được đưa ra cho các danh mục hiệu suất khác nhau của AI Scribe rất kỳ lạ. Trong khi 30% điểm đánh giá của một nền tảng chỉ phụ thuộc vào việc họ có sự hiện diện tại Ontario hay không, thì độ chính xác của ghi chú y tế chỉ đóng góp 4% vào tổng điểm.

Các kiểm soát thiên kiến chỉ chiếm 2% tổng điểm đánh giá; các đánh giá về mối đe dọa, rủi ro và quyền riêng tư chiếm thêm 2%; và việc tuân thủ SOC 2 Type 2 đóng góp thêm 4 điểm phần trăm.

Nói cách khác, các tiêu chí liên quan đến độ chính xác, kiểm soát thiên kiến và các biện pháp bảo vệ an ninh và quyền riêng tư chính chỉ chiếm một phần nhỏ trong tổng điểm đánh giá cho các hệ thống AI Scribe.

"Việc đánh giá trọng số không chính xác có thể dẫn đến việc lựa chọn các nhà cung cấp có công cụ AI tạo ra hồ sơ y tế không chính xác hoặc thiên kiến, hoặc thiếu sự bảo vệ đầy đủ để bảo vệ thông tin sức khỏe cá nhân nhạy cảm," báo cáo nhận định về chế độ chấm điểm này.

Văn phòng The Register đã liên hệ với Bộ Y tế Ontario để xin ý kiến về báo cáo và xem liệu họ có định tuân theo các khuyến nghị cho chương trình AI Scribe hay không, nhưng chưa nhận được phản hồi ngay lập tức. Một người phát ngôn của Bộ cho biết CBC vào thứ Tư rằng hơn 5.000 bác sĩ tại Ontario đang tham gia chương trình AI Scribe và chưa có báo cáo nào về việc bệnh nhân bị tổn hại liên quan đến công nghệ này.