Microsoft ra mắt ASSERT: Khung kiểm thử hành vi AI tự động từ mô tả văn bản

Microsoft ra mắt ASSERT: Khung kiểm thử hành vi AI tự động từ mô tả văn bản

Các nhà nghiên cứu và phòng thí nghiệm AI đã đạt được những bước tiến vượt bậc trong việc đánh giá các mô hình AI, từ an toàn và tuân thủ cho đến sự phù hợp. Tuy nhiên, các công ty và nhà phát triển đang đối mặt với một nhu cầu cụ thể mới: đảm bảo rằng hệ thống AI của họ hoạt động đúng như mong định cho sản phẩm hoặc dịch vụ riêng của họ.

Để làm đơn giản hóa quy trình kiểm thử này, Microsoft vào thứ Ba đã công bố ASSERT, viết tắt của Adaptive Spec-driven Scoring for Evaluation and Regression Testing (Đánh giá dựa trên đặc tả thích ứng cho Kiểm thử và Đánh giá Hồi quy).

Khung mã nguồn mở này, theo Microsoft, giúp việc đánh giá hành vi AI dành riêng cho ứng dụng trở nên dễ dàng bằng cách sử dụng AI để chuyển đổi các mô tả mục tiêu, chính sách hoặc hành vi mong muốn cấp cao bằng ngôn ngữ tự nhiên thành các bài kiểm tra chi tiết và có điểm số.

Sơ đồ khung ASSERT của Microsoft

ASSERT nhận các mô tả hành vi mong đợi và chính sách của mô hình AI bằng ngôn ngữ đơn giản, chuyển đổi chúng thành một tập hợp có cấu trúc gồm các hành vi chấp nhận được và không chấp nhận được, tạo ra các tình huống vấn đề và trường hợp kiểm thử, chạy chúng đối với hệ thống mục tiêu và chấm điểm kết quả. Nó cũng có thể ghi lại các đường đi mà hệ thống AI thực hiện, bao gồm các hành động trung gian và lệnh gọi công cụ, để các nhà phát triển có thể kiểm tra nơi xảy ra lỗi.

Các nhà phát triển cũng có thể cung cấp ngữ cảnh hệ thống, công cụ và các ràng buộc nếu họ muốn tùy chỉnh thêm phạm vi của các bài đánh giá.

Ví dụ, một nhà phát triển có thể quy định rằng một tác nhân AI nghiên cứu tài liệu không được gửi email cho người bên ngoài công ty, giới hạn thông tin mật chỉ dành cho các giám đốc cấp cao (C-level) và cung cấp các bản tóm tắt ngắn gọn có tính đến ngữ cảnh trước đó. ASSERT sẽ sử dụng các quy tắc này để tạo các trường hợp kiểm tra kiểm tra xem hệ thống có tuân thủ các quy tắc đó một cách liên tục hay không.

Theo Microsoft, khung này lấp đầy khoảng trống mà các bài đánh giá chung chung hơn không thể làm được khi các mô hình AI được dự định hoạt động theo cách được định hình bởi ngữ cảnh, chính sách và công cụ của ứng dụng hoặc sản phẩm.

"Một trong những điều chúng tôi học được là các bài đánh giá hoàn toàn quan trọng để đưa ra quyết định tốt," Sarah Bird, giám đốc sản phẩm của Responsible AI tại Microsoft, cho biết. "Bởi vì nếu bạn không hiểu hành vi của hệ thống AI, sẽ rất khó biết liệu nó có đáp ứng được tiêu chuẩn của tổ chức của bạn hay không [...] Những gì chúng tôi tìm thấy là nếu bạn thực sự muốn có một hệ thống đáng tin cậy, bạn nên đánh giá nhiều khía cạnh hơn dành riêng cho ứng dụng."

Bird cho biết ASSERT có thể được sử dụng để đánh giá hệ thống khi chúng đang được xây dựng, sau khi triển khai và thậm chí cả để giám sát liên tục.

Việc phát hành công cụ này diễn ra trong bối cảnh sự chuyển đổi dần dần nhưng rộng rãi hơn trong ngành công nghiệp AI. Khi các mô hình ngày càng trở nên mạnh mẽ hơn, các nhà nghiên cứu đang tập trung vào việc kiểm thử có thể lặp lại và các kiểm tra hồi quy, với các điểm chuẩn như HELM của Stanford, AILuminate của MLCommons và các nhóm đánh giá như METR tung ra các thước đo để đánh giá cách các mô hình hoạt động trong các điều kiện khác nhau.