Freestyle: Hạ tầng Sandbox đám mây chuyên biệt cho các tác nhân lập trình AI

Ben và Jacob, hai nhà đồng sáng lập của Freestyle, đã công bố một nền tảng đám mây mới được thiết kế đặc biệt cho thế hệ tiếp theo của các tác nhân lập trình (Coding Agents). Trong khi các tác nhân AI đầu tiên chủ yếu hoạt động dựa trên các quy trình công việc và công cụ tối giản, thế hệ hiện nay đòi hỏi sức mạnh tính toán đầy đủ của một máy tính. Freestyle giải quyết vấn đề này bằng cách cung cấp các "sandbox" (môi trường cách ly) có thể thay thế hoàn toàn cho các máy chủ EC2 truyền thống, nhưng với các tính năng nâng cấp vượt trội.

Sao chép trạng thái bộ nhớ tức thì

Điểm nổi bật nhất của Freestyle là khả năng "fork" (nhánh hóa) một sandbox theo chiều ngang mà không gây độ trễ quá 400ms. Điều này không chỉ đơn thuần là sao chép hệ thống tệp, mà là sao chép toàn bộ bộ nhớ của máy ảo.

Điều này mang lại những khả năng ấn tượng:

• Nếu bạn đang ở giữa một trang web với các hiệu ứng hoạt hình đang chạy, tất cả các bản sao chép sẽ hiển thị chính xác trạng thái đó.
• Một máy chủ Minecraft đang chạy sẽ được sao chép cùng với từng khối và người chơi trong trạng thái hiện tại.
• Một lỗi xuất hiện trong quy trình cục bộ sẽ được giữ nguyên trong tất cả các bản fork để phục vụ việc gỡ lỗi.

Tính năng này cũng hỗ trợ snapshotting (tạo ảnh chụp nhanh), cho phép người dùng lưu trạng thái làm việc và quay lại sau vài tuần mà không mất dữ liệu.

Hiệu suất và hạ tầng Bare Metal

Các sandbox của Freestyle có khả năng khởi động chỉ trong khoảng 500ms. Để đạt được hiệu năng này, nhóm phát triển đã chuyển sang sử dụng các hệ thống rack bare metal (máy chủ vật lý) riêng của mình.

Trong quá trình thử nghiệm, họ nhận thấy rằng việc di chuyển máy ảo giữa các nút đám mây thông thường không đạt được hiệu suất mong muốn. Sau khi nhận được báo giá từ Google Cloud và AWS cho các nút bare metal và thấy chi phí hàng tháng tương đương với tổng chi phí phần cứng, họ quyết định tự xây dựng hạ tầng vật lý của riêng mình.

Môi trường Linux đầy đủ

Khác với các giải pháp dựa trên container, Freestyle cung cấp các máy ảo Linux đầy đủ với quyền truy cập root thực sự. Nền tảng hỗ trợ:

• Chạy Debian hoàn chỉnh với nhiều người dùng và sử dụng systemd init thay vì runc.
• Hỗ trợ ảo hóa phần cứng đầy đủ (KVM), cho phép chạy máy ảo bên trong máy ảo, Docker hoặc bất kỳ stack ảo hóa nào mà tác nhân AI cần.
• Các công nghệ hiện đại như eBPF và Fuse.
• Mạng lưới Linux đầy đủ với quyền root.

Mục tiêu của Freestyle là xây dựng hạ tầng cần thiết để tái tạo vòng lặp phát triển của con người ở quy mô đa người dùng khổng lồ của AI, đảm bảo các máy ảo này vừa mạnh mẽ như những gì lập trình viên quen dùng, vừa có thể được cấp phát trong vài giây.