Bẫy nguy hiểm của AI: Mô hình càng tự tin thì càng dễ sai — và cách doanh nghiệp phát hiện ra

Trong quy trình phát triển các công cụ hỗ trợ bởi mô hình ngôn ngữ lớn (LLM), có một bước mà hầu hết đội ngũ thường bỏ qua vì nó tẻ nhạt, tốn thời gian và không tạo ra kết quả hiển thị trước mắt người dùng cuối: kiểm chứng xem điều mô hình nói có thực sự đúng hay không — không phải trôi chảy, không phải mạch lạc, mà là chính xác trong việc xác định câu trả lời đúng cho vấn đề cụ thể mà công cụ được xây dựng để giải quyết.

Khoảng cách giữa "output nghe có vẻ đúng với tôi" và "output được xác minh là chính xác" chính là nơi mà hầu hết các công cụ AI doanh nghiệp thất bại một cách âm thầm. Chúng vượt qua kiểm tra nội bộ vì output nghe có lý. Chúng thất bại trong sản xuất thực tế vì những người kiểm tra không đối chiếu với ground truth (dữ liệu chuẩn xác) — họ chỉ đánh giá dựa trên trực giác về một câu trả lời tốt trông như thế nào.

Sự khác biệt này càng trở nên quan trọng khi các công cụ LLM chuyển từ phụ kiện năng suất thành những thành phần ảnh hưởng đến quyết định kinh doanh thực tế. Nếu công cụ AI đang định hình cách một nhà phân tích điều tra vấn đề chất lượng dữ liệu, cách một nhân viên tuân thủ quyết định có nên chuyển hồ sơ bị đánh dấu lên hay không, hay cách một đội ngũ vận hành phân loại lỗi xác thực — thì độ chính xác của output có hậu quả thực sự. "Có vẻ hợp lý" không phải là một tiêu chuẩn đánh giá đầy đủ cho điều đó.

Đánh giá định tính thực sự bắt được những gì?

Phương pháp đánh giá tiêu chuẩn cho output của LLM trong các công cụ doanh nghiệp là đánh giá định tính: Một mẫu output được một người có kiến thức chuyên môn xem xét, đánh giá dựa trên mô hình tinh thần về câu trả lời tốt trông như thế nào, và prompt sẽ được điều chỉnh nếu quá nhiều output có vẻ sai.

Cách tiếp cận này bắt được một lớp vấn đề cụ thể: Các output hiển nhiên sai, định dạng kém, hoặc lạc đề. Đây là những vấn đề thực sự đáng để xử lý. Nhưng chúng cũng là những vấn đề dễ dàng nhất.

Điều mà đánh giá định tính thường xuyên bỏ lỡ là lớp output sai theo những cách khó nhận ra nếu không đối chiếu với một nguồn bên ngoài. Một lời giải thích tự tin xác định sai nguyên nhân gốc, bằng ngôn ngữ nghe có vẻ uy quyền, dựa trên lý luận nghe hợp lý — thứ này vượt qua đánh giá định tính. Nhưng nó thất bại ngay khi một người có đủ ngữ cảnh kiểm tra với những gì thực sự đã xảy ra.

Trong một hệ thống mà giá trị cốt lõi phụ thuộc vào độ chính xác, "nghe có vẻ hợp lý" không giống với "đúng". Hai khái niệm này có thể phân kỳ đáng kể, và đánh giá định tính sẽ không bao giờ cho bạn biết khi nào chúng tách rời nhau.

Bộ khung đánh giá (eval harness) thực sự trông như thế nào?

Giải pháp thay thế là xây dựng một bộ khung đánh giá (eval harness) — hệ thống chấm điểm output của mô hình dựa trên ground truth được gán nhãn: Một tập hợp các trường hợp mà câu trả lời đúng đã được biết, qua đó bạn có thể đo lường độ chính xác thay vì độ mạch lạc.

Tác giả Arun Mishra đã xây dựng bộ khung này khi phát triển một công cụ giải thích nguyên nhân gốc cho tình trạng lệch dữ liệu di trú (data migration drift). Prototype đầu tiên tạo ra những lời giải thích trôi chảy, nghe cụ thể và vượt qua đánh giá định tính. Nhưng khi kiểm tra với các trường hợp đã biết trước nguyên nhân, lời giải thích sai nhiều đến mức đáng lo ngại.

Bộ khung đánh giá được xây dựng gồm ba phần:

Phần một — Bộ dữ liệu ground truth tổng hợp: Các trường hợp mà câu trả lời đúng được biết bằng cách thiết kế. Điều này có nghĩa là chủ động đưa các nguyên nhân cụ thể, có kiểm soát vào một pipeline thử nghiệm — thay đổi schema, lỗi logic chuyển đổi (transformation logic bugs), thay đổi hành vi hệ thống nguồn — ghi lại chính xác những gì đã đưa vào, và chạy mô hình trên các sự kiện lệch dữ liệu phát sinh. Câu trả lời đúng cho mỗi trường hợp chính là nguyên nhân được chủ động tạo ra.

Việc làm cho các kịch bản tổng hợp đủ thực tế để hữu ích đòi hỏi sự tỉ mỉ hơn mong đợi. Các phiên bản đầu quá sạch sẽ — tín hiệu lệch dữ liệu quá rõ ràng so với sự kiện lệch thực tế trong sản xuất. Thêm nhiễu thực tế, tín hiệu chồng lấn, và các trường hợp có nhiều nguyên nhân khả dĩ xuất hiện đồng thời chính là điều làm cho bộ dữ liệu tổng hợp thực sự dự đoán được hiệu suất ngoài đời thực.

Phần hai — Hàm chấm điểm đánh giá output có xếp hạng: Chấm đúng/sai nhị phân không đủ khi mô hình tạo ra một danh sách các nguyên nhân có khả năng nhất thay vì một câu trả lời duy nhất. Một lời giải thích xác định đúng nguyên nhân gốc ở vị trí khả dĩ thứ ba khác biệt đáng kể so với một lời giải thích xếp nó ở vị trí cao nhất. Hàm chấm điểm đánh giá hai chiều: Sự hiện diện (presence) — câu trả lời đúng có xuất hiện trong output không — và thứ hạng (rank) — mức độ nổi bật của nó so với các lựa chọn sai. Hai yếu tố này kết hợp thành một điểm số có trọng số, khen thưởng cả việc tìm ra câu trả lời đúng lẫn xếp hạng nó một cách hợp lý.

Phần ba — Đánh giá có hệ thống trên toàn bộ bộ dữ liệu tổng hợp thay vì kiểm tra ngẫu nhiên. Chạy bộ khung trên toàn bộ tập dữ liệu sẽ phơi bày các mô hình mà kiểm tra ngẫu nhiên bỏ lỡ: Loại vấn đề nào mô hình xử lý đáng tin cậy, loại nào nó liên tục sai, và tổ hợp tín hiệu nào tạo ra tỷ lệ cao nhất các lời giải thích sai nhưng tự tin.

Kết quả đánh giá đã phơi bày điều gì?

Kết quả mang lại nhiều thông tin hơn bất kỳ đánh giá định tính nào có thể cung cấp.

Các kịch bản thay đổi schema đạt điểm cao — mô hình đáng tin cậy khi xác định các thay đổi schema ở khâu thượng nguồn khi bằng chứng hiện hữu và rõ ràng. Lỗi logic chuyển đổi khó hơn — mô hình nhất quán trong việc xác định đúng danh mục chung nhưng lại gán sai thay đổi cụ thể gây ra vấn đề, đặc biệt khi nhiều thay đổi được thực hiện gần nhau. Các kịch bản tín hiệu chồng lấn là khó nhất — những trường hợp hai nguyên nhân khác nhau xảy ra gần nhau về thời gian tạo ra tỷ lệ cao nhất các lời giải thích sai nhưng đầy tự tin.

Phát hiện cuối cùng đó là điều mà đánh giá định tính không bao giờ khám phá ra: Sự tự tin mà mô hình thể hiện không tương quan với độ chính xác — nó tự tin nhất trong những trường hợp mà nó sai nhiều nhất. Nếu không có bộ khung đánh giá đo lường so với ground truth, mô hình đó sẽ vẫn vô hình.

Ý nghĩa thực tiễn cho triển khai AI doanh nghiệp

Đối với các đội ngũ triển khai công cụ LLM trong môi trường doanh nghiệp — đặc biệt là những công cụ ảnh hưởng đến cách mọi người điều tra vấn đề, phân loại cảnh báo, hoặc đưa ra quyết định định tuyến — câu hỏi quan trọng cần trả lời trước khi đưa vào sản xuất là: Chúng ta đã đo lường độ chính xác dựa trên các trường hợp có biết câu trả lời đúng, hay chúng ta chỉ xem xét liệu output có vẻ hợp lý hay không?

Nếu câu trả lời là vế sau, công cụ đã được kiểm tra về độ trôi chảy và mạch lạc nhưng không phải về độ chính xác. Đó là hai thuộc tính khác nhau. Đối với các công cụ định hình quyết định kinh doanh, độ chính xác mới là điều quan trọng.

Xây dựng bộ dữ liệu ground truth tổng hợp là phần khó nhất và cũng là phần đáng đầu tư nhất. Nó buộc bạn phải định nghĩa chính xác "đúng" nghĩa là gì cho trường hợp sử dụng cụ thể của bạn — hóa ra đây lại là một bài tập hữu ích độc lập với quá trình đánh giá. Hàm chấm điểm và cơ sở hạ tầng bộ khung khá đơn giản một khi bạn đã có định nghĩa đó. Nếu không có nó, bạn đang đo lường thứ khác với thứ bạn đang cố đảm bảo.

Arun Mishra là một kiến trúc sư doanh nghiệp (enterprise architect).