"Bản đồ điểm chuẩn": 90% giờ làm việc tại Mỹ nằm ngoài tầm phủ của các bài kiểm tra AI

Các bộ benchmark AI đã bùng nổ về số lượng trong vài năm trở lại đây, nhưng mức độ bao phủ những công việc thực sự tạo ra giá trị kinh tế thì vẫn còn rất hạn chế. Mercor vừa công bố Bản đồ Điểm chuẩn (Benchmark Map) — bước đi đầu tiên trong tham vọng xây dựng một nguồn dữ liệu toàn diện, được cập nhật liên tục, nhằm hiểu rõ năng lực của AI trên toàn bộ nền kinh tế.

90% giờ làm việc nằm ngoài vùng phủ của benchmark

Mỗi ô vuông trên bản đồ đại diện cho một trong 923 nghề nghiệp theo phân loại ONET của Bộ Lao động Mỹ, được gom thành 22 nhóm ngành nghề. Mỗi nghề được tô đậm nhạt tùy theo tỷ lệ nhiệm vụ công việc có xuất hiện trong danh sách benchmark AI ban đầu. Đáng chú ý, một câu hỏi (prompt) benchmark có thể được ánh xạ tới nhiều nhiệm vụ ONET cùng lúc.

Kết quả cho thấy:

• Chỉ 208 trong tổng số 923 nghề có ít nhất một nhiệm vụ được phủ bởi từ 5 prompt benchmark trở lên.
• 6 trong 22 nhóm ngành nghề hoàn toàn không có nghề nào đạt được ngưỡng này.
• Hệ quả là khoảng 90% tổng giờ làm việc của người Mỹ dành cho những nhiệm vụ ít hoặc không hề được kiểm chứng bởi các benchmark hiện có.

Nói cách khác, chúng ta đang rất khó đánh giá liệu các mô hình AI mạnh nhất hiện nay thực sự làm tốt đến đâu đối với chính công việc mà người lao động Mỹ đang làm mỗi ngày.

"Các mô hình có thể đạt điểm rất cao trên benchmark, nhưng điều đó không đồng nghĩa với việc chúng giỏi những việc mà phần lớn người lao động thực sự phải làm."

Benchmark tập trung vào nhóm nghề lương cao

Mức độ bao phủ của các benchmark hiện nay không hề ngẫu nhiên. Bản đồ cho thấy cộng đồng AI đang ưu tiên những thị trường lao động lớn nhất trước tiên. Cụ thể, những nghề có tổng quỹ lương hàng năm cao hơn có xác suất được benchmark phủ sóng cao hơn rõ rệt, ngay cả khi đã kiểm soát yếu tố mức độ phơi nhiễm với AI.

Ví dụ dễ thấy: các benchmark trong danh sách ban đầu bao phủ rất kỹ nhiệm vụ của luật sư — nhóm nghề được đánh giá là phơi nhiễm cao với AI — nhưng gần như bỏ trắng nhiệm vụ của thư ký pháp lý hay thư ký tòa án, dù mức độ phơi nhiễm AI tương đương. Phần đuôi dài gồm những công việc tri thức thu nhập trung bình, quy mô nhỏ hơn, đang bị bỏ lại phía sau.

Một yếu tố dự báo khác là tầm quan trọng của nhiệm vụ theo O*NET. Những nhiệm vụ được chuyên gia trong ngành chấm điểm quan trọng nhất có xác suất xuất hiện trên benchmark cao gấp 6–10 lần so với những nhiệm vụ bị chấm điểm thấp nhất.

Phương pháp luận: từ O*NET đến 29 bộ benchmark

Để đo lường mức độ bao phủ, nhóm nghiên cứu bắt đầu với danh sách 29 bộ benchmark được chọn lọc vì chất lượng và mức độ liên quan đến kinh tế. O*NET chia lực lượng lao động Mỹ thành 923 nghề, mỗi nghề có danh sách "nhiệm vụ" toàn diện — tổng cộng 18.797 nhiệm vụ trên tất cả các nghề.

Quy trình gồm các bước chính:

• Dùng một LLM giám khảo để gắn nhãn mỗi prompt benchmark với các nhiệm vụ O*NET tương ứng, có tham chiếu kiểm chứng bằng chuyên gia con người trên bộ APEX của Mercor.
• Một nhiệm vụ O*NET được coi là "được phủ" nếu được ánh xạ tới ít nhất 5 prompt từ 29 bộ benchmark.
• Kết hợp với ước lượng tỷ lệ thời gian làm việc của từng nhiệm vụ (theo Hatgis-Kessell và cộng sự) để suy ra tỷ lệ bao phủ trên toàn nền kinh tế.

Nhóm tác giả nhấn mạnh kết quả này còn mang tính tạm thời, vì danh sách 29 benchmark chưa đại diện hoàn hảo cho toàn bộ hệ sinh thái benchmark kinh tế. Họ cũng giới hạn số benchmark mỗi nhóm ngành để tăng độ phủ, đồng thời chủ động loại các benchmark đã bão hòa nhằm tránh thổi phồng năng lực thực tế của mô hình.

Vì sao các dự đoán theo nghề vẫn khó?

Đo lường năng lực mô hình theo từng nghề nghiệp là điều thiết yếu — cho doanh nghiệp chọn mô hình phù hợp, cho nhà hoạch định chính sách dự báo tác động kinh tế của AI, và cho người lao động cân nhắc sự nghiệp. Nhưng đây là bài toán khó, và cách tiếp cận đơn giản nhất là lấy trung bình điểm của mô hình trên mọi prompt liên quan đến nghề đó lại vướng một vấn đề: các benchmark phủ những nhiệm vụ khác nhau với mật độ rất chênh lệch, nên trung bình cộng sẽ vô tình đặt quá nhiều trọng số vào những nhiệm vụ được benchmark dày đặc.

Giải pháp tiềm năng là gia trọng theo phân loại O*NET, để mỗi nhiệm vụ có trọng số ngang nhau trong điểm trung bình của nghề. Thử nghiệm bước đầu trên bộ APEX cho bốn nghề (ngân hàng đầu tư, luật, kế toán và kỹ thuật phần mềm) cho thấy điểm có gia trọng và không gia trọng khá tương đồng — nhưng vấn đề là chưa đến một phần ba số nhiệm vụ O*NET liên quan đủ độ phủ để đưa vào tính toán.

Những trở ngại còn ở phía trước

Ngay cả khi mở rộng ra hàng chục bộ benchmark, nhóm nghiên cứu vẫn thẳng thắn liệt kê các rào cản:

• Độ phủ quá mỏng: Với quy mô khổng lồ của nền kinh tế Mỹ, mỗi nghề và nhiệm vụ chỉ có rất ít mục benchmark, khiến ước lượng thiếu vững chắc — chỉ một hai mục chất lượng kém cũng đủ làm lệch điểm.
• Độ bão hòa không đồng đều: Có mục benchmark đã cũ và dễ với mô hình hiện tại, có mục vẫn chưa giải được. Hiện chưa có cách gia trọng minh bạch theo chất lượng.
• Yếu tố con người: Trong thực tế, AI chủ yếu hỗ trợ con người chứ chưa tự động hóa trọn vẹn chức danh công việc. Đo lường đúng năng lực nghề nghiệp cần tính cả mức độ AI nâng cao năng suất của người dùng.
• Giới hạn vật lý: Nghiên cứu của Dingel và Neiman ước tính chỉ 37% việc làm tại Mỹ có thể làm hoàn toàn từ xa, nghĩa là khoảng 63% gắn với yếu tố thể chất khó đưa vào benchmark hiện tại. Khi robot phát triển nhanh, nhu cầu về benchmark cho nhiệm vụ vật lý sẽ trở nên cấp thiết.

Ý nghĩa với thị trường và người dùng Việt Nam

Với Việt Nam — nơi các doanh nghiệp đang tích cực thử nghiệm AI trong chăm sóc khách hàng, lập trình, kế toán và vận hành — phát hiện này là lời nhắc đáng cân nhắc. Điểm số trên các bảng xếp hạng quốc tế như MMLU hay SWE-bench có thể không phản ánh đúng năng lực mô hình khi áp vào quy trình công việc đặc thù của từng doanh nghiệp, đặc biệt là tiếng Việt và các tác vụ nghiệp vụ nội địa chưa từng xuất hiện trong benchmark quốc tế.

Do đó, khi đánh giá một mô hình AI để triển khai thực tế, doanh nghiệp nên:

• Xây dựng bộ kiểm thử nội bộ dựa trên chính dữ liệu và quy trình của mình thay vì chỉ tin vào benchmark công khai.
• Kiểm tra kỹ khả năng xử lý tiếng Việt và nghiệp vụ đặc thù trước khi mở rộng quy mô.
• Coi điểm benchmark là tín hiệu tham khảo, không phải thước đo tuyệt đối cho hiệu quả công việc.

Bản đồ của Mercor vạch ra một sự thật khó chịu: càng tin vào con số benchmark, chúng ta càng dễ bỏ qua những khoảng trống lớn trong hiểu biết về năng lực AI — đúng ở nơi phần lớn công việc thực tế đang diễn ra.