Chỉ số Trí tuệ của Artificial Analysis lên bản 5.0: Thước đo mới cho các mô hình AI

Trong bối cảnh các mô hình ngôn ngữ lớn ra mắt liên tục với những tuyên bố "vượt trội" khó kiểm chứng, cộng đồng nghiên cứu ngày càng cần một thước đo độc lập và minh bạch. Artificial Analysis vừa công bố phương pháp luận cho Chỉ số Trí tuệ (Intelligence Index) phiên bản 5.0, đánh dấu một bước tiến đáng kể trong cách đánh giá năng lực thực sự của các mô hình.

Chín bài kiểm tra, bốn nhóm năng lực

Chỉ số Trí tuệ của Artificial Analysis không dựa vào một bài kiểm tra duy nhất mà là trung bình có trọng số của bốn nhóm năng lực, mỗi nhóm chiếm 25%:

• Công việc tri thức (Knowledge Work): gồm AA-Briefcase v1.1 (15%), AutomationBench-AA (5%) và GDP.pdf (5%)
• Lập trình (Coding): gồm FrontierCode 2.0 (15%) và Terminal-Bench 4.0 (10%)
• Khoa học (Science): gồm Terminal-Bench-Science 0.1 (15%) và CritPt v2 – tập khó (10%)
• Kiến thức tổng quát (General): gồm AA-Omniscience v1.1 (15%) và HLE-Diamond (10%)

Đáng chú ý, phiên bản 5.0 đưa vào nhiều bài kiểm tra mang tính tác nhân (agentic) — tức mô hình không chỉ trả lời câu hỏi mà còn phải tự vận hành công cụ, chạy lệnh trong môi trường sandbox và tạo ra sản phẩm đầu ra hoàn chỉnh.

Bài kiểm tra AA-Briefcase mô phỏng những dự án công việc kéo dài nhiều tuần, với hàng nghìn tệp đầu vào và các nhiệm vụ liên kết chặt chẽ — gần với môi trường làm việc văn phòng thực tế hơn bất kỳ bài trắc nghiệm nào.

Điểm mới đáng chú ý: Minh bạch và chống "ảo giác"

Một trong những điểm sáng của phương pháp luận là cách xử lý vấn đề ảo giác (hallucination) — khi mô hình tự tin đưa ra câu trả lời sai. Bài AA-Omniscience v1.1 tính hai thành phần riêng biệt: độ chính xác (10%) và tỷ lệ không ảo giác (5%). Điểm số chỉ được cộng khi mô hình trả lời đúng, bị trừ khi bịa đặt, còn việc từ chối trả lời được giữ nguyên mức trung tính.

Cách tính này tạo động lực để mô hình "biết mình không biết" thay vì đoán liều — một kỹ năng quan trọng trong các ứng dụng AI doanh nghiệp, nơi một câu trả lời sai có thể gây hậu quả nghiêm trọng.

Bốn nguyên tắc cốt lõi

Artificial Analysis cho biết phương pháp của họ được định hướng bởi bốn nguyên tắc:

• Chuẩn hóa: mọi mô hình được đánh giá trong cùng điều kiện, cùng chiến lược gợi ý và tham số nhiệt độ
• Không thiên vị: tránh phạt oan những mô hình tuân thủ đúng hướng dẫn
• Zero-shot: đánh giá bằng chỉ dẫn rõ ràng, không đưa ví dụ mẫu
• Minh bạch: công khai toàn bộ mẫu gợi ý, tiêu chí và hạn chế

Về tham số kỹ thuật, các mô hình không suy luận được chạy ở nhiệt độ 0, còn mô hình suy luận ở mức 0,6. Điểm số chủ yếu dùng phương pháp pass@1 — mô hình phải trả lời đúng ngay lần đầu tiên.

Điều gì đã thay đổi so với bản trước?

Phiên bản 5.0 có vài thay đổi đáng chú ý. Bài GDPval-AA bị loại khỏi chỉ số tổng hợp và chuyển thành đánh giá độc lập — dù trước đó từng là thành phần trong các phiên bản 4.x. Bộ câu hỏi AA-Omniscience cũng được tinh gọn từ 6.000 xuống còn 3.000 câu, sau khi loại bỏ những câu quá dễ và những câu đã công khai.

Ngoài chỉ số chính, nhóm nghiên cứu còn chạy các bài đánh giá riêng về đa ngôn ngữ (dựa trên Global-MMLU-Lite), thị giác, toán học và y tế. Tuy nhiên, các kết quả này không được cộng vào điểm tổng hợp.

Ý nghĩa với thị trường AI

Với người dùng và doanh nghiệp Việt Nam đang cân nhắc lựa chọn mô hình AI, những chỉ số kiểu này có giá trị tham khảo rõ ràng hơn các bảng xếp hạng dựa trên cảm tính. Việc tách bạch giữa năng lực lập trình, khoa học và công việc tri thức giúp tổ chức chọn đúng mô hình cho đúng bài toán — thay vì chạy theo một con số tổng hợp chung chung.

Dẫu vậy, chính Artificial Analysis cũng thừa nhận giới hạn: đây là bộ đánh giá chủ yếu bằng tiếng Anh và dựa trên văn bản, nên chưa phản ánh đầy đủ hiệu năng với tiếng Việt hay các tác vụ đặc thù. Người dùng vẫn nên tự kiểm nghiệm trên chính dữ liệu của mình trước khi đưa ra quyết định triển khai.