Encore đưa microVM Linux chạy trên Apple Silicon

21 tháng 8, 2026·10 phút đọc

Encore đã xây dựng crackling, một giao diện microVM duy nhất điều khiển Firecracker trên Linux và Virtualization.framework của Apple trên macOS. Nhờ đó kỹ sư có thể chạy hệ thống build ngay trên laptop Mac thay vì phụ thuộc máy chủ dùng chung sau bốn năm.

Encore đưa microVM Linux chạy trên Apple Silicon

Từ giữa năm 2022, mọi bản build của Encore đều chạy trong một microVM Firecracker. Firecracker rút gọn phần cứng mô phỏng xuống mức tối thiểu mà nhân Linux cần, nên mỗi bản build vừa có mức cô lập của máy ảo, vừa khởi động nhanh gần như container.

Vấn đề nằm ở chỗ Firecracker chạy trên KVM, đòi máy chủ Linux có /dev/kvm, thứ không Mac nào có. Đội ngũ duy trì dự án từng từ chối một bản thử nghiệm chạy trên Virtualization.framework của Apple và tuyên bố chưa có kế hoạch hỗ trợ macOS.

Giao diện crackling cho microVMGiao diện crackling cho microVM

Bốn năm làm việc từ xa với hệ thống build

Mỗi kỹ sư mới được cấp một môi trường riêng trên máy chủ build dùng chung, truy cập qua Tailscale. Một script chạy một lần sẽ đăng nhập bằng quyền root, lấy khóa công khai từ GitHub, tạo tài khoản và thêm vào các nhóm kvm và docker.

Đưa thay đổi lên môi trường đó cần script thứ hai. Nó đọc tên người dùng và cổng từ một file cấu hình CUE riêng cho từng kỹ sư, vì ai cũng dùng chung một máy và phải tự tránh trùng nhau.

Phần nhị phân khá đơn giản: biên dịch chéo với GOOS=linux GOARCH=amd64, đồng bộ kết quả bằng rsync, rồi đếm số file đã chuyển để biết có cần khởi động lại hay không.

Phần image mới khó. Firecracker khởi động từ một thiết bị khối, còn Docker tạo ra các lớp (layer). Không tìm được công cụ sẵn có để chuyển đổi, nhóm tự viết, một nửa chạy trên laptop và một nửa qua SSH.

Hàm squash_layers trích xuất lại từng lớp theo thứ tự manifest, xóa các marker whiteout .wh..wh..opq bằng find, ghi cứng /etc/resolv.conf vì máy ảo không có DNS, lấy biến môi trường từ cấu hình Docker bằng jq, rồi gọi mksquashfs. Kết quả được lưu đệm theo id image để bỏ qua toàn bộ đường đi khi không có gì thay đổi.

Cái giá của vòng lặp dài

Thiết lập này chạy được, nên nó tồn tại từ 2022 đến khi bị thay thế. Nhưng chi phí khó biện minh ở một công ty lấy việc phát triển backend mượt mà làm cốt lõi.

Đặt breakpoint trên máy local không bao giờ dừng. Đọc log phải tail file qua SSH. Gắn profiler phải chép lên máy chủ trước. Mỗi thay đổi phía khách đều qua docker save, rsync, giải nén và mksquashfs trên máy dùng chung, trong khi đồng nghiệp cũng đang build ở đó.

Vòng lặp dài đến mức người ta phải nghĩ hai lần trước khi thử một ý tưởng mới.

Nhóm đã xem các giải pháp sẵn có. Container của Apple đạt phiên bản 1.0 hồi tháng 6, Lima và Tart đã làm việc này nhiều năm, podman cũng làm được qua libkrun. Trên máy M3 trở lên chạy macOS 15, thậm chí có thể có /dev/kvm trong một máy ảo Linux và chạy Firecracker nguyên bản.

Không giải pháp nào phủ cả hai nền tảng. Dùng chúng sẽ tạo ra một cách chạy build thứ hai, hành xử khác biệt và chỉ tồn tại trên laptop.

Crackling: một API, hai backend

Crackling là một daemon và CLI khởi động image OCI thành máy ảo Linux nhẹ trên cả hai nền tảng, với một agent trong máy khách và một giao thức chung. Trên Linux vẫn là Firecracker. Trên macOS là Virtualization.framework, hay VZ.

Crate lõi không phụ thuộc hypervisor nào. Nó mô tả máy qua MachineSpec gồm vcpus, bộ nhớ, kernel, rootfs, đĩa phụ, card mạng, vsock và phần mở rộng riêng cho từng backend. Trạng thái runtime do MachineState theo dõi.

Cả hai backend cùng triển khai MachineBackend: start, shutdown, pause, resume, snapshot, wait, dispose và connect_vsock khi có. Khả năng của chúng vẫn khác nhau. Firecracker có thiết bị tap trên máy chủ và dịch vụ metadata MMDS. Virtualization.framework có thiết bị NAT tích hợp, chia sẻ thư mục virtiofs và Rosetta để chạy nhị phân x86 trong máy khách arm64.

Mỗi backend báo cáo tính năng nó hỗ trợ trước khi máy được tạo, để daemon điều chỉnh spec. Yêu cầu cho tính năng không có sẽ thất bại ngay tại ranh giới API và nêu rõ tên tính năng.

Trên Linux, mỗi máy ảo là một tiến trình con Firecracker riêng, điều khiển qua REST API trên Unix socket. Các tiến trình này có thể sống lâu hơn daemon. Một scope systemd tạm thời giữ chúng khỏi bị thu hồi. Daemon lưu cả PID lẫn thời điểm khởi động để PID bị tái sử dụng không trỏ nhầm sang tiến trình khác.

Trên macOS, máy ảo VZ nằm trong tiến trình của daemon và kết thúc cùng nó, nên thao tác Adoption trả về lỗi.

Cả hai backend đều được build và kiểm thử trong mọi pull request: Firecracker trên runner Ubuntu x86_64, VZ trên runner macOS arm64. Phần logic độc lập backend chạy với backend giả trên cả hai runner.

Vòng lặp kiểm chứng của agentVòng lặp kiểm chứng của agent

Ràng buộc luồng của Virtualization.framework

Các kiểu VZVirtualMachine, VZVirtualMachineConfiguration và thiết bị của framework đều không gửi được giữa các luồng (!Send + !Sync). Mọi lệnh gọi và completion handler phải chạy trên hàng đợi dispatch tuần tự đã tạo máy ảo. Phần còn lại của daemon dùng tokio, vốn chuyển future giữa các luồng tùy ý.

Không cách sắp xếp nào vừa giữ được đối tượng máy ảo qua điểm await, vừa thỏa cả hai ràng buộc. Nhóm tạo và truy cập mọi máy ảo trên một DispatchQueue tuần tự cấp tiến trình. Registry máy ảo chỉ mở cho các closure được dispatch vào hàng đợi đó.

Phần bất đồng bộ là một handle thông thường, gửi closure chỉ chứa dữ liệu Send rồi chờ phản hồi. Nhờ vậy trình biên dịch ngăn đối tượng !Send bị bắt giữ ngoài ý muốn.

Cấu hình cũng !Send, nên việc hạ cấp được chia hai pha. Một MachineSpec trở thành cấu trúc chỉ chứa dữ liệu Send trên tokio, rồi cấu trúc đó thành VZVirtualMachineConfiguration trên hàng đợi.

Làm lại đường ống image

Tạo root filesystem khởi động từ image OCI thông thường cần quyền root và loop mount, cả hai đều không có trên macOS. Tạo initramfs thường gọi binary cpio. Công cụ extract-vmlinux của cây nhân viết cho x86 bzImage, không giải nén được nhân arm64.

Không hypervisor nào khởi động được nếu thiếu ảnh nhân chưa nén. File vmlinuz của bản phân phối arm64 thường là file EFI zboot, tức một chương trình EFI nhỏ bọc payload đã nén để firmware giải nén lúc khởi động. Ở đây không có firmware, nên nhóm tự bóc lớp vỏ, nhận diện qua chữ ký MZ và zimg.

Đưa nhân đã nén cho Virtualization.framework sẽ làm nó lỗi ở bước start với thông báo nội bộ chung chung, không chi tiết. Nhóm từng mất cả buổi chiều ký lại binary vì nghi entitlement. Giờ họ kiểm tra chữ ký ARMd ở offset 0x38 để xác định ảnh arm64 Image thô.

Các lớp OCI được áp dụng hoàn toàn trong không gian người dùng, tôn trọng các mục whiteout .wh. như trước nhưng chạy trong tiến trình và không cần dọn dẹp sau đó. Việc kéo image cũng cần bộ phân giải nền tảng riêng, vì mặc định dựa vào hệ điều hành máy chủ và không bao giờ khớp image linux/arm64 khi yêu cầu từ Mac.

Cả initramfs dạng cpio newc và gzip được tạo bằng Rust thuần. Mặc định rootfs nằm trong bộ nhớ cho đến khi máy ảo dừng. Image được giải nén một lần, ghi sentinel .built, rồi công bố bằng đổi tên nguyên tử để sự cố không làm hỏng bộ đệm.

Mỗi máy ảo nhân bản rootfs từ bộ đệm bằng clonefile trên APFS, bằng reflink FICLONE trên hệ thống file Linux hỗ trợ, hoặc chép thường ở nơi khác.

Agent trong máy khách

Hai nền tảng đều có vsock. Nhân virt của Alpine cung cấp AF_VSOCK dưới dạng module nạp được, nên /init phải nạp vsock, vmw_vsock_virtio_transport_common và vmw_vsock_virtio_transport trước khi có thể lắng nghe.

Các module này mang chuỗi vermagic phải khớp chính xác với nhân đang chạy. Sai lệch sẽ khiến quá trình nạp thất bại mà không có thông tin hữu ích: máy ảo khởi động, agent không lên, máy chủ chờ một kết nối không bao giờ tới.

Agent là một binary musl tĩnh, build cho aarch64-unknown-linux-musl trên Mac và x86_64-unknown-linux-musl cho máy amd64. Nó lắng nghe trên AF_VSOCK và dùng giao thức đóng khung nhỏ: header 8 byte, sau đó là khung điều khiển hoặc dữ liệu thô, mỗi thao tác một kết nối.

Giao thức hỗ trợ exec có stream stdout và stderr, shell tương tác trên PTY, cp hai chiều, và forward biến kết nối thành đường hầm tới một cổng trong máy khách. Nhờ vsock, máy khách không cần cấu hình mạng thủ công hay SSH daemon.

Mạng ra ngoài là tùy chọn riêng. Truy cập vào trong chỉ qua forward của mặt phẳng điều khiển, xác thực bằng token riêng cho từng máy ảo, tạo lúc khởi động.

Trên macOS, đầu máy chủ của kết nối là một kết nối VZVirtioSocketDevice, và file descriptor phải được dup(2) ngay, vì framework đóng bản gốc khi đối tượng Objective-C bị giải phóng. Trên Linux, đó là Unix socket với bắt tay dạng văn bản, phản hồi phải đọc từng byte một.

Snapshot và giới hạn của Apple

Firecracker lưu trạng thái bộ nhớ và thiết bị qua PUT /snapshot/create. Một spec có restore_from sẽ sinh tiến trình VMM mới, kiểm tra dấu vân tay máy chủ, nạp snapshot ở trạng thái tạm dừng rồi tiếp tục mà không khởi động lại. Thượng nguồn chỉ phục hồi trên cùng kiến trúc và cùng phiên bản Firecracker.

Virtualization.framework có vẻ cung cấp điều tương tự qua saveMachineStateToURL, và validateSaveRestoreSupport trả về thành công. Nhưng thao tác lưu lại thất bại với VZErrorInternal, ngay cả trên máy ảo tối giản chỉ có thiết bị vsock.

Nguyên nhân: chạy máy ảo chỉ cần entitlement com.apple.security.virtualization, ai cũng ký được. Lưu máy ảo cần thêm com.apple.private.virtualization, thứ Apple không cấp cho ứng dụng bên thứ ba. Vì validator không kiểm tra entitlement thứ hai, framework báo hỗ trợ rồi lỗi khi gọi.

Máy ảo bị treo trong hàng đợi tin nhắnMáy ảo bị treo trong hàng đợi tin nhắn

Góc nhìn

Với kỹ sư Việt Nam thường phát triển trên macOS, đây là bài học về cái giá của môi trường phát triển phụ thuộc hạ tầng từ xa. Mỗi vòng lặp build qua SSH đều cộng thêm độ trễ và giảm số thử nghiệm dám làm, nhất là khi máy chủ dùng chung cho cả nhóm.

Cách Encore làm cũng đáng tham khảo: giữ phần lõi độc lập hypervisor, để Linux và macOS dùng chung một giao thức với agent trong máy khách. Khi một nền tảng bị giới hạn, chỉ cần báo rõ tính năng không hỗ trợ tại ranh giới API thay vì thất bại mơ hồ ở giữa chừng.

Còn với những ai đang cân nhắc chạy máy ảo Linux trên Mac, câu chuyện về chữ ký kernel và entitlement của Apple là lời nhắc: thông báo lỗi chung chung thường che một điều kiện rất cụ thể.

Nguồn: encore.dev · Quy trình biên tập

Chia sẻ:FacebookX