Đánh giá AI độc lập: Lời hứa chưa trọn vẹn từ các chuyên gia

Các phòng thí nghiệm AI đang đặt uy tín của mình vào bài kiểm tra mô hình (benchmark) — hệ thống đánh giá được cho là khách quan và chính xác, dùng để đo xem sản phẩm AI này có tốt hơn sản phẩm khác hay không. Tuy nhiên, theo bà Irene Solaiman, Giám đốc chính sách của Hugging Face, những phương pháp đằng sau các bài đánh giá này vẫn còn phức tạp và đang trong quá trình hoàn thiện.

Phát biểu tại sự kiện TechCrunch Disrupt tuần trước, bà Solaiman nhận định rằng việc kiểm thử cần được thống nhất thành một ngành khoa học nhất quán hơn nếu ngành công nghiệp muốn dựa vào chúng trong tương lai. Vậy liệu chúng ta có thể tin tưởng vào những bài kiểm tra đang được công bố hiện nay?

Tin tưởng là một khái niệm có trọng lượng

"Tin tưởng là một thuật ngữ có trọng lượng lớn. Về việc liệu chúng ta có thể tin tưởng kết quả hay không, một phần quan trọng là liệu bạn có thể tái lập kết quả đánh giá đó không? Bạn có mức độ truy cập cần thiết vào chính mô hình đó không — đây là lúc trọng số mở (open weights) phát huy vai trò to lớn", bà Solaiman chia sẻ.

Khả năng tái lập trong đánh giá mô hình từ lâu đã là một trong những khía cạnh khó nhằn nhất của quy trình benchmark, và vẫn là chủ đề tranh luận sôi nổi trong ngành. Ngoài tính hợp lệ của từng bài kiểm tra riêng lẻ, còn có câu hỏi về cách so sánh bài kiểm tra này với các bài đánh giá khác.

"Chúng là một ngành khoa học đang phát triển — nơi chúng ta chưa biết cách so sánh chúng với nhau một cách có ý nghĩa", bà nói thêm. "Chúng bắt đầu mất hiệu quả tương đối nhanh, và chúng ta chưa có một hệ sinh thái phát triển mạnh mẽ như cần thiết".

Mô hình đánh giá viên độc lập: Kỳ vọng và hoài nghi

Ý tưởng về các đánh giá viên độc lập (embedded evaluator) — trong đó các bên quan sát thứ ba được cho là "trung lập" được đặt vào bên trong các tổ chức AI — đã trở nên phổ biến trong vài tháng gần đây, khi các phòng thí nghiệm AI vật lộn với hàng loạt sự cố an toàn làm dấy lên lo ngại về những tác hại tiềm ẩn của công nghệ này. Bản thân Hugging Face từng là mục tiêu của một trong những sự cố như vậy.

Thay vì để chính phủ chủ động quản lý nhằm xác định và giảm thiểu các lo ngại về an toàn mô hình, các phòng thí nghiệm đã đẩy mạnh giải pháp bên thứ ba. Tuy nhiên, vẫn còn những nghi ngờ về mức độ trung lập hay hiệu quả thực sự của các đánh giá viên này. Quyết định thuê Accenture làm đánh giá viên đầu tiên của Anthropic đã vấp phải không ít phản ứng trái chiều, khi một số nhà phê bình chế giễu ý tưởng rằng công ty tư vấn này đủ năng lực cho nhiệm vụ đặt ra.

Bà Solaiman cũng nhấn mạnh sự thiếu chuẩn hóa:

"Hiện có một cơn khát về hệ sinh thái đánh giá viên độc lập, nhưng các tiêu chuẩn xác định ai là đánh giá viên hiệu quả trên những nhiệm vụ nào cần được chuẩn hóa hơn rất nhiều".

Từ đánh giá mô hình đến đánh giá toàn bộ hệ thống

Các bài đánh giá giờ đây đang chuyển từ việc chỉ kiểm tra bản thân mô hình sang kiểm tra toàn bộ hệ thống xung quanh mô hình — bao gồm cả harness (công cụ người dùng sử dụng để truy cập mô hình) và agent. Theo bà Solaiman, harness có ảnh hưởng lớn đến hiệu suất của mô hình, và một mô hình yếu hơn nhưng có harness tốt hơn hoàn toàn có thể vượt qua một mô hình tiên tiến.

"Các bài đánh giá dạng tác tử (agentic eval) thực sự rất khó và rất tốn kém. Chúng ta có nhiều bài đánh giá cho mô hình hơn... Chúng ta chưa có nhiều đánh giá cho harness, và chúng ta đang phát triển các bài đánh giá tốt hơn cho tác tử tổng thể — bởi vì đó là nơi nhiều người đang thu được giá trị thực sự", bà nói thêm.

Nói cách khác, lĩnh vực đánh giá hiện đang ở trong tình trạng khá hỗn loạn. Nếu benchmark muốn tiếp tục được xem là công cụ hữu ích cho các nhà lãnh đạo ngành, có lẽ cần một cách tiếp cận thống nhất hơn trên toàn ngành — nơi mọi người cùng đứng trên một trang.

Góc nhìn cho độc giả Việt Nam

Câu chuyện này đặc biệt đáng chú ý với cộng đồng AI Việt Nam, nơi nhiều startup và nhóm nghiên cứu đang xây dựng sản phẩm dựa trên các mô hình mã nguồn mở. Khả năng tái lập kết quả đánh giá và minh bạch trọng số mở là yếu tố then chốt để các đội ngũ trong nước có thể lựa chọn mô hình phù hợp, thay vì chỉ tin vào những con số benchmark được công bố từ các phòng thí nghiệm lớn. Khi các bài đánh giá chuyển sang đo lường cả harness và agent, doanh nghiệp Việt Nam cũng cần lưu ý rằng hiệu suất thực tế trên sản phẩm của mình có thể khác biệt đáng kể so với điểm số trên giấy.