Cựu nhân viên Anthropic và cựu COO METR ra mắt startup kiểm định an toàn AI, gọi vốn 40 triệu USD

Trong bối cảnh lo ngại về những rủi ro từ AI ngày càng lớn, hai nhà sáng lập Rune Kvist và Rajiv Dattani tin rằng họ có giải pháp giúp ngăn chặn các AI agent hành xử ngoài tầm kiểm soát bên trong doanh nghiệp.

Xuất phát từ trăn trở về an toàn AI

Chỉ một ngày sau khi nhà nghiên cứu Jacob Coxon của Anthropic nghỉ việc vì lo ngại AI có thể hủy diệt loài người trong thập kỷ này, Kvist và Dattani — hai anh em cột chèo — đã chia sẻ về ý tưởng của mình.

Kvist từng là nhân viên giai đoạn đầu của Anthropic, còn Dattani là cựu COO của METR, tổ chức nghiên cứu an toàn AI. Cả hai cho rằng nghịch lý lớn nhất của AI nằm ở chỗ: càng thông minh, AI càng khó triển khai và khó kiểm soát hơn, chứ không phải dễ hơn.

"AI đang thông minh lên với tốc độ ngày càng nhanh. Điều bất ngờ là khi AI thông minh hơn, việc áp dụng nó lại trở nên khó khăn và khó kiểm soát hơn, chứ không phải dễ hơn." — Rune Kvist

Họ thành lập startup Artificial Intelligence Underwriting Company (AIUC), hướng tới việc mang an toàn AI đến cho các doanh nghiệp và những công ty xây dựng mô hình, AI agent. Các khách hàng được startup này nêu tên gồm Cursor, Lovable, Harvey và ElevenLabs.

Gọi vốn 40 triệu USD và áp mô hình an ninh mạng vào AI

Vòng Series A trị giá 40 triệu USD do Ribbit Capital dẫn dắt, cùng sự tham gia của First Harmonic. Trước đó, AIUC đã gọi được 15 triệu USD vòng hạt giống từ Nat Friedman thông qua quỹ NFDG, cùng Emergence, Terrain và Ben Mann — nhà đồng sáng lập Anthropic. Tổng vốn của công ty hiện đạt 55 triệu USD.

Điều thu hút nhóm nhà đầu tư tên tuổi này là cách AIUC áp dụng một mô hình an ninh mạng quen thuộc vào một nhóm rủi ro AI hoàn toàn mới. Công ty xây dựng một lớp kiểm toán và chứng nhận độc lập cho các AI agent.

Kvist lý giải rằng ngân hàng, bệnh viện, chính phủ và quân đội không còn từ chối triển khai AI vì mô hình chưa đủ thông minh, mà vì họ đã cam kết với khách hàng về những gì hệ thống sẽ và không làm — và hiện chưa ai có thể bảo đảm điều đó.

Lấy cảm hứng từ tiêu chuẩn an ninh mạng phổ biến SOC 2, AIUC phát triển tiêu chuẩn mang tên AIUC-1 cùng dịch vụ kiểm thử để xác thực các agent theo tiêu chuẩn này.

Tiêu chuẩn xây từ ý kiến của chính người mua

Để xây dựng tiêu chuẩn, AIUC tập hợp một liên minh khoảng 250 chuyên gia an ninh và quản trị rủi ro — chính là nhóm khách hàng mua agent. Dattani cho biết công ty gặp họ hàng tháng và đặt câu hỏi: khi mua agent từ một nhà cung cấp, họ sẽ tìm kiếm điều gì, muốn hỏi những gì và muốn thấy điều gì được giải quyết.

Những phản hồi đó định hình nên các bài kiểm thử. Startup chạy mỗi agent qua bộ khoảng 5.000 bài test để xem nó hành xử ra sao trong các tình huống liên quan đến jailbreak, ảo giác (hallucination) và rò rỉ dữ liệu. Kết quả tạo ra báo cáo dài khoảng 100 trang, chỉ rõ agent hoạt động an toàn và đáng tin ở đâu, và có vấn đề ở đâu.

Đáng chú ý, AIUC dùng chính AI agent để chạy kiểm thử và AI để phân tích dữ liệu, nhưng con người vẫn xác minh bản kiểm toán cuối cùng, theo Kvist.

Bối cảnh ngành và ý nghĩa với doanh nghiệp

Cách làm này không quá xa lạ. METR — nơi Dattani làm COO giai đoạn 2024–2025 và hiện vẫn là thành viên hội đồng quản trị — cũng thực hiện kiểm thử tương tự cho các phòng thí nghiệm tiên phong, dù trước đây chủ yếu tập trung vào hiệu năng (liệu agent có thể hoàn thành nhiệm vụ một cách đáng tin cậy hay không). METR là một trong những tổ chức nghiên cứu độc lập mà OpenAI từng dùng để điều tra sự cố Hugging Face.

Gần đây, CEO Anthropic Dario Amodei cũng kêu gọi ngành AI tiết chế tốc độ phát triển mô hình tiên phong, với lý do số vụ việc hành vi xấu gia tăng nhanh chóng. Ông đề xuất yêu cầu các phòng thí nghiệm tiên phong sử dụng bên đánh giá độc lập nhúng tại chỗ để quan sát và xác minh an toàn, đồng thời nêu tên METR như một lựa chọn.

AIUC không đề xuất nhúng nhân sự vào cơ sở khách hàng, nhưng ý tưởng tổng thể thì tương tự: mang đến cho doanh nghiệp một đánh giá độc lập về mức độ an toàn của AI agent.

"Đây là chỗ nó vượt qua và bạn có thể tin tưởng. Còn đây là chỗ có những lo ngại. Bạn nên biết rõ những điều đó trước khi đưa ra quyết định mua." — Rajiv Dattani

Đối với doanh nghiệp Việt Nam đang bắt đầu ứng dụng AI agent vào chăm sóc khách hàng, tài chính hay vận hành nội bộ, mô hình kiểm định độc lập kiểu này có thể là tham chiếu đáng lưu tâm: khi AI ngày càng tự chủ, câu hỏi không chỉ là "AI làm được gì" mà còn là "ai bảo đảm nó không làm điều mình không được phép".