Khi câu trả lời đúng là 'không có gì', pipeline LLM của bạn trả về gì?

Trong các hệ thống ứng dụng mô hình ngôn ngữ lớn (LLM), chúng ta thường dành rất nhiều công sức để xây dựng các cơ chế đảm bảo đầu ra luôn hợp lệ: thử lại khi lỗi, bắt buộc trả về JSON theo schema, thêm bước kiểm chứng, ép mô hình phải chọn một đáp án. Nhưng ít ai đặt câu hỏi ngược lại: điều gì sẽ xảy ra khi câu trả lời đúng thực sự là không có gì cả?

Nghịch lý của sự tự tin

Các cơ chế mà chúng ta thêm vào với mục đích tăng độ tin cậy thường vô tình tạo ra một hiệu ứng ngược. Khi kết quả trả về không được phép rỗng, mô hình sẽ bị đẩy vào tình huống buộc phải đưa ra một câu trả lời — kể cả khi trong dữ liệu không hề tồn tại thông tin đó.

"Các cơ chế đảm bảo độ tin cậy mà chúng ta thêm vào pipeline LLM thường chính là thứ khiến chúng đưa ra câu trả lời sai một cách đầy tự tin."

Ví dụ điển hình:

• Retrieval rỗng bị coi là lỗi. Khi bước truy xuất (retrieval) trả về 0 kết quả, hệ thống thường tự động thử lại, mở rộng truy vấn, hoặc ép mô hình phải trả lời từ ngữ cảnh nghèo nàn.
• Schema bắt buộc có trường trả lời. Nếu đầu ra phải khớp với một cấu trúc cố định, mô hình sẽ bịa ra giá trị để lấp đầy khoảng trống.
• Bước kiểm chứng tự động chuyển hướng. Khi câu trả lời đầu tiên bị đánh giá là không tốt, hệ thống yêu cầu thử lại — nhưng lại không bao giờ cho phép lựa chọn "không trả lời".

Kết quả là một sự tự tin sai lệch (false confidence): hệ thống đưa ra câu trả lời mạch lạc, đúng định dạng, nhưng hoàn toàn không có căn cứ.

Tại sao điều này quan trọng với ứng dụng thực tế?

Với người dùng Việt Nam, các sản phẩm dựa trên LLM ngày càng phổ biến — từ trợ lý ảo chăm sóc khách hàng, tra cứu văn bản pháp luật, đến chatbot nội bộ hỏi đáp tài liệu doanh nghiệp. Trong những bối cảnh này, một câu trả lời rỗng trung thực luôn tốt hơn một câu trả lời sai được trình bày trôi chảy.

Lấy ví dụ một chatbot tra cứu luật: nếu người dùng hỏi về một quy định chưa được ban hành hoặc không có trong cơ sở dữ liệu, việc mô hình "tự tin" bịa ra một điều khoản có thể dẫn đến hậu quả pháp lý thực tế. Tương tự, trong hệ thống hỏi đáp nội bộ, một câu trả lời sai về quy trình vận hành có thể gây thiệt hại tài chính.

Cách thiết kế pipeline tôn trọng "sự trống rỗng"

Để giải quyết, các kỹ sư cần coi "không có câu trả lời" là một kết quả hợp lệ, không phải là lỗi cần khắc phục. Một số nguyên tắc:

• Cho mô hình quyền từ chối. Thiết kế prompt và schema có một trường rõ ràng như không_đủ_thông_tin hoặc no_answer, và cho phép giá trị đó được trả về bình thường.
• Phân biệt lỗi kỹ thuật và thiếu dữ liệu. Timeout hay lỗi mạng là một loại lỗi — cần thử lại. Còn truy xuất rỗng nghĩa là câu trả lời có thể không tồn tại — cần xử lý khác hoàn toàn.
• Kiểm tra ngưỡng tự tin ở tầng truy xuất. Thay vì luôn chuyển toàn bộ kết quả cho mô hình, hãy đặt ngưỡng điểm tương đồng tối thiểu trước khi đưa vào ngữ cảnh.
• Ghi log các trường hợp rỗng. Đây là dữ liệu quý để cải thiện, chứ không phải sự cố cần che giấu.

Kết luận

Một pipeline LLM trưởng thành không phải là pipeline luôn luôn trả lời được, mà là pipeline biết khi nào nên im lặng. Việc thêm các cơ chế "đảm bảo" mà không tính đến trường hợp câu trả lời đúng là không có gì sẽ chỉ biến hệ thống thành một cỗ máy tạo ra sự tự tin giả. Với những ứng dụng đòi hỏi độ chính xác cao — pháp lý, y tế, tài chính — đây là bài học mà các đội ngũ phát triển tại Việt Nam cần đặc biệt lưu tâm khi đưa sản phẩm AI vào thực tế.