Giới thiệu Agent Reading Test: Tiêu chuẩn đo lường khả năng đọc web của tác nhân AI

Giới thiệu Agent Reading Test: Tiêu chuẩn đo lường khả năng đọc web của tác nhân AI

Các tác nhân lập trình AI (AI coding agents) như Claude Code, Cursor hay GitHub Copilot ngày càng đóng vai trò quan trọng trong quy trình phát triển phần mềm, đặc biệt là trong việc đọc và xử lý tài liệu kỹ thuật. Tuy nhiên, hầu hết các tác nhân này thường gặp phải các "chế độ lỗi thầm lặng" (silent failure modes), nơi nội dung bị cắt bớt, mã CSS che khuất văn bản thực, hoặc rendering phía client trả về vỏ rỗng.

Để giải quyết vấn đề này, một dự án mới mang tên Agent Reading Test đã được ra mắt như một tiêu chuẩn đo lường (benchmark) chuyên biệt.

Cách thức hoạt động của bài kiểm tra

Thay vì yêu cầu tác nhân đi săn tìm các token thử nghiệm (canary tokens) — điều này có thể gây ra nhiễu loạn cho các bộ lọc tính liên quan — Agent Reading Test giao cho các tác nhân những nhiệm vụ tài liệu thực tế. Các trang thử nghiệm được thiết kế xoay quanh các vấn đề cụ thể đã được ghi nhận trong "Agent-Friendly Documentation Spec".

Chỉ sau khi tác nhân hoàn thành tất cả các nhiệm vụ, chúng mới được cung cấp thông tin về các token canary và báo cáo những token nào đã tìm thấy. Người dùng sau đó dán kết quả vào biểu tính điểm để đánh giá.

Các kịch bản thử nghiệm chính

Bài kiểm tra bao gồm 10 trường hợp thử nghiệm khác nhau, mỗi trường hợp nhắm vào một điểm yếu cụ thể của pipeline lấy dữ liệu web:

• Giới hạn độ dài: Một trang 150K ký tự với các token canary ở vị trí 10K, 40K, 75K, 100K và 130K để xác định chính xác nơi giới hạn cắt bớt (truncation) của tác nhân phát huy tác dụng.
• Nhiễu CSS: 80K ký tự CSS nội tuyến trước nội dung thực tế để kiểm tra xem tác nhân có phân biệt được tiếng ồn CSS với tài liệu hay không.
• Client-side Rendering: Nội dung chỉ xuất hiện sau khi JavaScript thực thi. Hầu hết các tác nhân hiện nay chỉ nhìn thấy một vỏ rỗng ở trường hợp này.
• Nội dung dạng Tab: 8 biến thể ngôn ngữ trong các tab, với token canary ở tab 1, 4 và 8 để kiểm tra độ sâu mà tác nhân đọc vào nội dung tab đã được tuần tự hóa.
• Xử lý lỗi: Máy chủ trả về HTTP 200 kèm theo thông báo "không tìm thấy trang" để kiểm tra khả năng nhận diện trang lỗi của tác nhân.
• Phân tích Markdown: Markdown với khối mã không được đóng, khiến mọi thứ sau nó trở thành "mã".
• So sánh định dạng: Các token canary khác nhau giữa phiên bản HTML và Markdown để kiểm tra xem tác nhân có yêu cầu định dạng tốt hơn hay không.
• Chuyển hướng (Redirect): Chuyển hướng 301 đến một tên máy chủ khác. Hầu hết các tác nhân sẽ không theo dõi do biện pháp bảo mật, trong khi token canary nằm ở phía bên kia.
• Bối cảnh đám mây: Ba nền tảng đám mây với các tiêu đề "Bước 1/2/3" giống hệt nhau để kiểm tra khả năng xác định phần tử.
• Giao diện điều hướng: Nội dung thực bị chôn vùi sau 50% chrome điều hướng (sidebar) để kiểm tra xem tác nhân có đọc qua phần thanh bên tuần tự hóa hay không.

Hệ thống điểm số và hiệu suất

Bài kiểm tra có điểm tối đa là 20 điểm. Mỗi token canary tìm được mang lại 1 điểm, và câu trả lời đúng cho các câu hỏi định tính cũng được tính 1 điểm each.

Điểm số hoàn hảo là rất khó đạt được với bất kỳ tác nhân hiện tại nào. Các bài kiểm tra được hiệu chỉnh sao cho mỗi chế độ lỗi sẽ ảnh hưởng thực tế đến ít nhất một số tác nhân. Phạm vi điểm số điển hình cho các tác nhân hiện nay có lẽ dao động từ 14 đến 18 trên 20, tùy thuộc vào pipeline lấy dữ liệu web của nền tảng đó.

Agent Reading Test là một dự án đồng hành cùng với "Agent-Friendly Documentation Spec". Nếu Spec tập trung vào việc đánh giá xem các trang tài liệu có phục vụ tốt cho tác nhân AI hay không, thì Agent Reading Test đảo ngược góc nhìn: nó đo lường xem tác nhân AI xử lý các trang web đó tốt đến đâu.

Mã nguồn của dự án đã được công khai trên GitHub dưới tên agent-ecosystem/agent-reading-test.