Freestyle: Hạ tầng Sandbox tốc độ cao dành riêng cho AI Coding Agents

Ben và Jacob, hai nhà đồng sáng lập của Freestyle, đã công bố ra mắt nền tảng đám mây được thiết kế riêng cho các tác nhân AI (AI Coding Agents). Xuất phát từ kinh nghiệm xây dựng các công cụ cho AI làm việc với SQL và hệ thống serverless, họ nhận thấy thế hệ tác nhân AI hiện đại đòi hỏi quyền kiểm soát toàn diện hơn nhiều so với các công cụ tối giản trước đây.

Freestyle được xây dựng để cung cấp các môi trường "sandbox" có thể thay thế cho các máy chủ EC2 truyền thống từ góc nhìn của AI, nhưng đi kèm với những khả năng vượt trội về hiệu suất và quản lý trạng thái.

Tốc độ và Công nghệ Forking độc đáo

Một trong những tính năng nổi bật nhất của Freestyle là tốc độ khởi tạo và khả năng sao chép máy ảo (VM).

Các môi trường sandbox trên nền tảng này có thể khởi động hoàn chỉnh chỉ trong khoảng 500ms. Tuy nhiên, điểm đột phá nằm ở công nghệ nhân bản (forking) mà nhóm phát triển đã thực hiện:

• Nhân bản bộ nhớ tức thì: Freestyle có thể nhân bản một sandbox theo chiều ngang mà không cần dừng quá trình chạy, với độ trễ không quá 400ms. Điều này không chỉ là sao chép hệ thống tệp tin, mà là sao chép toàn bộ trạng thái bộ nhớ.
• Bảo tồn trạng thái thực: Nếu bạn đang ở giữa một trang web với các hiệu ứng hoạt hình, đang chạy một máy chủ Minecraft, hoặc gặp một lỗi trong quy trình xử lý, tất cả các trạng thái đó sẽ được giữ nguyên y hệt trên các bản sao.
• Snapshot và Hibernate: Người dùng có thể lưu trạng thái (snapshot) máy ảo và quay lại nó sau vài tuần, hoặc tạm ngưng (hibernate) VM và trả tiền 0 đồng trong thời gian chờ.

Sức mạnh của Linux ảo hóa đầy đủ

Khác với nhiều giải pháp sandbox dựa trên container, Freestyle cung cấp các máy ảo Linux đầy đủ với quyền truy cập root thực thụ.

• Môi trường hoàn chỉnh: Hệ thống chạy Debian đầy đủ, hỗ trợ nhiều người dùng, sử dụng systemd init thay vì runc, và hỗ trợ đầy đủ các tính năng như eBPF hay FUSE.
• Tương thích cao: Mọi thứ mà AI mong đợi hoạt động trên Debian đều sẽ hoạt động trên các VM này.
• Ảo hóa lồng nhau: Hỗ trợ chạy VM bên trong VM, Docker, hoặc bất kỳ stack ảo hóa nào mà tác nhân AI cần, bao gồm cả hỗ trợ KVM đầy đủ.

Hạ tầng Bare Metal tự chủ

Để đạt được các thông số kỹ thuật khắt khe này, Freestyle đã quyết định tự xây dựng hệ thống rack máy chủ vật lý (bare metal) của riêng mình. Trong quá trình thử nghiệm, nhóm nhận thấy việc di chuyển VM giữa các nút đám mây (cloud nodes) thông thường không đạt được hiệu suất mong muốn.

Mặc dù đã xem xét các dịch vụ bare metal của Google Cloud và AWS, nhưng chi phí hàng tháng của các nhà cung cấp này tương đương với tổng chi phí mua sắm phần cứng. Do đó, việc đầu tư vào hạ tầng riêng là lựa chọn tối ưu để kiểm soát hiệu năng và chi phí.

Mục tiêu cuối cùng của Freestyle là xây dựng hạ tầng cần thiết để tái tạo quy trình phát triển phần mềm (dev loop) của con người ở quy mô đa khách hàng (multi-tenant) khổng lồ của AI. Điều này đảm bảo các máy ảo này vừa đủ mạnh mẽ như những máy mà các nhà phát triển quen dùng, vừa có thể được cấp phát (provision) chỉ trong vài giây.