Vera Platforms: Đưa AI agent vào DevOps một cách an toàn

Trong thế giới DevOps, một sai sót nhỏ cũng có thể gây hậu quả khôn lường. Khi AI agent được kỳ vọng đảm nhận những công việc này, câu hỏi đặt ra không còn là "AI viết code giỏi đến đâu" mà là "liệu nó có đáng tin khi chạm vào hạ tầng thật hay không".

Vì sao DevOps là môi trường khắc nghiệt với AI

Khác với việc sinh code — nơi AI được phép sai và sửa — thao tác trên hạ tầng đang vận hành production không có chỗ cho sai lầm. Một thay đổi nhầm lẫn có thể khiến dịch vụ sập, mở ra lỗ hổng bảo mật hoặc xóa mất dữ liệu.

"Hạ tầng đang chạy không khoan nhượng. Một thay đổi sai có thể làm sập dịch vụ, tạo lỗ hổng bảo mật hoặc xóa dữ liệu. Sai lầm thường không thể đảo ngược, và không có cách nào thử nghiệm an toàn: chạy code lên hạ tầng production chỉ để xem điều gì xảy ra không phải là một lựa chọn."

Đó là nhận định của Ang Chen, CEO Vera Platforms và là phó giáo sư tại Đại học Michigan. Ông cùng các cộng sự đã dành nhiều năm nghiên cứu cách đánh giá năng lực DevOps của AI agent, đồng thời xây dựng một môi trường mô phỏng để các mô hình học tập.

Những điểm yếu cố hữu của các mô hình hàng đầu

Kết quả nghiên cứu cho thấy ngay cả những mô hình mạnh nhất cũng bộc lộ lỗ hổng cơ bản. Theo Chen, Claude của Anthropic dù rất giỏi sinh mã Python nhưng vẫn vấp phải giới hạn nền tảng khi làm DevOps.

Ví dụ điển hình: khi được yêu cầu gỡ bỏ tài nguyên trên AWS, cả Claude lẫn Codex của OpenAI đều không nhận ra tài nguyên có thể nằm ở nhiều region khác nhau. Chúng chỉ xử lý ở region mặc định us-east-1 và bỏ sót phần còn lại.

Nguyên nhân gốc rễ, theo Chen, là các mô hình đã "đọc" rất nhiều mã nguồn công khai nhưng lại tiếp xúc quá ít với dữ liệu vết vận hành (operational tracing) — thứ phản ánh cách hệ thống thực sự chạy trong môi trường production.

Ba sản phẩm của Vera Platforms

Startup này đang triển khai giải pháp theo ba lớp:

• vera-gym: môi trường sân chơi mô phỏng hạ tầng production, nơi agent được luyện tập mà không gây rủi ro thật.
• vera-bench: bộ kiểm tra đo lường chính xác agent mắc lỗi ở đâu trong các tác vụ DevOps.
• vera-agents: các AI agent đã được huấn luyện trong vera-gym, sẵn sàng triển khai cho công việc vận hành.

Bộ kiểm tra CloudOpsBench vừa công bố kế thừa nghiên cứu từ năm 2024 đã trình bày tại hội nghị NeurIPS. Theo Chen, Claude và Codex chỉ đạt tỷ lệ vượt qua khoảng 50% — một con số cho thấy độ khó rất cao của bộ tác vụ.

Các bài kiểm tra bao gồm những công việc thực tế như xóa các S3 bucket đã ngừng sử dụng, sửa chữa pipeline xử lý sự kiện tuân thủ, và khôi phục cơ chế tự động mở rộng ghi cho DynamoDB. Đáng chú ý, toàn bộ tác vụ được biên soạn bởi các kỹ sư vận hành hạ tầng cấp cao với nhiều năm kinh nghiệm và trải qua quy trình phản biện nghiêm ngặt.

Mô phỏng thay vì đốt tiền trên cloud thật

Ưu điểm lớn của bộ kiểm tra này là không cần triển khai lên cloud thật. Vera Platforms xây dựng một trình mô phỏng độ trung thực cao bắt chước hành vi của Amazon.

"Chúng tôi có một trình mô phỏng độ trung thực cao mô phỏng hành vi của Amazon. Hiệu suất của agent trên cloud thật và trong trình mô phỏng của chúng tôi giống hệt nhau. Với mỗi API, chúng tôi đều có so sánh và agent nhìn thấy cùng một thứ."

Cách tiếp cận này đặc biệt có ý nghĩa với các đội ngũ DevOps tại Việt Nam, nơi chi phí thử nghiệm trên cloud thật có thể là gánh nặng với startup và doanh nghiệp vừa và nhỏ. Một môi trường mô phỏng đáng tin cậy giúp giảm rủi ro lẫn chi phí khi đánh giá công cụ AI trước khi đưa vào vận hành.

Lộ trình và kỳ vọng

Theo Chen, vera-agents dự kiến ra mắt vào quý I/2027. Trong các công trình học thuật, nhóm nghiên cứu mô tả hạ tầng cloud là "công việc quan trọng nhưng tẻ nhạt". Và có lẽ, với thêm một chút huấn luyện bài bản, AI agent có thể đảm nhận phần việc đó — để mọi thứ tiếp tục diễn ra nhàm chán, theo nghĩa tốt nhất của từ này.