Microsoft mã nguồn mở RAMPART và Clarity để nâng cao an toàn cho AI tác tử

Microsoft mã nguồn mở RAMPART và Clarity để nâng cao an toàn cho AI tác tử

Vào thứ Tư vừa qua, Microsoft đã công bố mã nguồn mở hai công cụ AI mới được thiết kế để giúp các nhà phát triển và đội ngũ an ninh xây dựng cũng như duy trì các tác nhân AI (AI agents) an toàn hơn. Hai công cụ này bao gồm RAMPART, một khung kiểm thử rủi ro, và Clarity, một tác nhân hỗ trợ tư duy thiết kế.

RAMPART: Kỷ luật kỹ thuật trong an toàn AI

Công cụ đầu tiên mang tên RAMPART, viết tắt của Risk Assessment and Measurement Platform for Agentic Red Teaming (Nền tảng Đánh giá và Đo lường Rủi ro cho Đội đỏ Tác tử AI). Đây là một khung làm việc pytest dành cho các ứng dụng AI tác tử, được xây dựng dựa trên bộ công cụ mã nguồn mở PyRIT của Microsoft. RAMPART cho phép nhúng các bài kiểm thử "đội đỏ" (red-team) tự động vào các quy trình CI/CD.

Công cụ này cho phép các nhà phát triển mô phỏng các kịch bản tấn công thực tế — chẳng hạn như tiêm lệnh (prompt injection) — và xác minh rằng các tác nhân AI vẫn nằm trong các giới hạn đã được phê duyệt về công cụ, hành động và hành vi. Ngoài ra, nó còn hỗ trợ các thử nghiệm thống kê, cho phép các đội ngũ thiết lập các chính sách như "hành động này phải an toàn trong ít nhất 80% số lần chạy", để tính đến tính chất xác suất của các mô hình.

"Đã đến lúc chúng ta ngừng nói về an toàn AI như một triết học và bắt đầu coi an toàn AI là một kỷ luật kỹ thuật," Ram Shankar Siva Kumar, chuyên gia dữ liệu và người sáng lập đội đỏ AI của Microsoft, chia sẻ với The Register.

Microsoft hiện đang sử dụng RAMPART nội bộ. Mặc dù không thể cung cấp chi tiết cụ thể, Kumar cho biết một nhà nghiên cứu bảo mật đã phát hiện ra một vấn đề, và sau đó đội đỏ của Microsoft đã sử dụng RAMPART để kiểm tra lỗi đó trên toàn bộ ứng dụng AI tác tử.

"RAMPART có thể lấy một vector tấn công cụ thể đó và tìm thấy gần 100 biến thể khác nhau của vector đó," Kumar nói. "Và sau đó chúng tôi có thể sử dụng RAMPART để kiểm tra tài sản này, xem liệu nó có hoạt động không chỉ một lần, không phải hai lần, mà là gần 300 lần. Chúng tôi cũng có thể thực hiện điều này trong bối cảnh các cuộc hội thoại nhiều vòng."

Khung kiểm thử này cũng cho phép các nhà phát triển tích hợp các biện pháp giảm thiểu vào sản phẩm. "Họ có thể sử dụng RAMPART để xem liệu việc khắc phục thực sự có hiệu quả không, không chỉ chống lại một vector mà nhà nghiên cứu bảo mật tìm thấy, mà còn chống lại nhiều biến thể khác nhau của những vector đó," Kumar giải thích.

Clarity: "Bảng phản hồi" trước khi viết mã

Công cụ AI thứ hai mà Microsoft mã nguồn mở là một tác nhân gọi là Clarity. Nó được thiết kế để đóng vai trò là một "bảng phản hồi có cấu trúc giúp các đội ngũ tìm ra xem họ có đang xây dựng đúng thứ mình cần trước khi viết bất kỳ dòng mã nào", theo một bài đăng blog của Kumar.

Ví dụ, một nhà phát triển muốn thêm tính năng cộng tác thời gian thực vào trình soạn thảo tài liệu. Họ nói điều này với Clarity, và tác nhân sẽ phản hồi lại với các câu hỏi tương tự như những gì "các kiến trúc sư giàu kinh nghiệm, quản lý sản phẩm và kỹ sư an toàn sẽ hỏi", theo Microsoft.

Một câu trả lời mẫu của Clarity được hiển thị trên GitHub: "Trước khi chúng ta thiết kế điều đó — điều gì sẽ xảy ra khi hai người cùng chỉnh sửa một đoạn văn vào cùng một lúc? Bạn có cần thời gian thực thực sự (con trỏ, hiện diện), hay yêu cầu thực tế là 'không ai mất dữ liệu'? Những điều đó dẫn đến các kiến trúc rất khác nhau."

Về bản chất, công cụ AI này nhằm mục đích trả lời câu hỏi nhà phát triển đang cố gắng giải quyết vấn đề gì với ứng dụng, và điều gì có thể sai sót, cũng như "thảo luận" các vấn đề này trước khi việc viết mã bắt đầu.

"Về bản chất, nó mang tính hợp tác," Kumar nói. "Nó giúp đội ngũ lùi lại một bước và nói, 'Này, trước khi chúng ta xây dựng điều này, liệu chúng ta có đang đi đúng hướng không? Vì viết mã là rẻ. Chỉ cần một cái búng tay là có thể tạo ra một hệ thống hoàn chỉnh. Chúng ta có đang làm điều này theo cách hợp lý không?'"