CrabTrap: Proxy HTTP sử dụng LLM để bảo vệ các AI Agent trong môi trường sản xuất

CrabTrap: Proxy HTTP sử dụng LLM để bảo vệ các AI Agent trong môi trường sản xuất

Brex đã công bố mã nguồn mở CrabTrap, một công cụ proxy HTTP được thiết kế để bảo vệ các tác nhân AI (AI agents) khi vận hành thực tế. Hệ thống này hoạt động dựa trên cơ chế "LLM-as-a-judge", cho phép đánh giá và chặn các yêu cầu nguy hiểm theo thời gian thực dựa trên các chính sách đã định sẵn.

Giao diện CrabTrap

Giải pháp bảo mật cho kỷ nguyên AI Agent

Khi các ứng dụng ngày càng tích hợp sâu các tác nhân AI tự động, vấn đề bảo mật và kiểm soát hành vi của chúng trở nên cấp thiết hơn bao giờ hết. CrabTrap ra đời để giải quyết lỗ hổng này bằng cách đóng vai trò như một lớp bảo vệ trung gian thông minh giữa AI agent và thế giới bên ngoài.

Cơ chế hoạt động của CrabTrap

CrabTrap hoạt động bằng cách chặn (intercept) mọi yêu cầu HTTP mà AI agent của bạn gửi đi trước khi chúng thực sự tiếp cận đích đến. Quy trình xử lý bao gồm các bước chính sau:

• Chặn yêu cầu: Mọi request đi qua proxy đều bị dừng lại để kiểm tra.
• Đánh giá chính sách: Hệ thống sẽ so sánh yêu cầu với các quy tắc tĩnh hoặc sử dụng một LLM (Mô hình ngôn ngữ lớn) để phán xét tính hợp lệ dựa trên ngữ cảnh.
• Quyết định thời gian thực: Yêu cầu sẽ được cho phép đi tiếp hoặc bị chặn ngay lập tức tùy thuộc vào kết quả đánh giá.

Tính năng nổi bật

CrabTrap không chỉ đơn thuần là một tường lửa (firewall) truyền thống mà còn cung cấp khả năng quan sát sâu sắc cho các đội ngũ kỹ sư:

• LLM-as-a-judge: Sử dụng sức mạnh của trí tuệ nhân tạo để hiểu ngữ cảnh của các yêu cầu phức tạp mà các quy tắc tĩnh (static rules) không thể phát hiện.
• Nhật ký chi tiết: Ghi lại rõ ràng từng quyết định, giúp người dùng biết được yêu cầu bị chặn do khớp với quy tắc tĩnh hay do phán xét của LLM.
• Dễ dàng tùy chỉnh: Người dùng có thể chỉnh sửa hoặc thêm mới các quy tắc để CrabTrap hoạt động hiệu quả nhất với hệ thống của mình.

"Chúng tôi không chờ đợi hệ sinh thái bắt kịp. Chúng tôi tìm ra khoảng trống, xây dựng giải pháp và tung ra thị trường." - Đội ngũ phát triển Brex.

CrabTrap hiện đã có sẵn trên GitHub và hoàn toàn miễn phí cho cộng đồng phát triển. Brex cũng đang tuyển dụng các kỹ sư muốn cùng xây dựng các công cụ hạ tầng tiên tiến cho tương lai của AI.