Uberblok: Bảo tàng tương tác khám phá bên trong hệ thống tập tin ZFS

Một kỹ sư có nhiều năm kinh nghiệm trong lĩnh vực lưu trữ vừa giới thiệu Uberblok, một bảo tàng trực tuyến tương tác dành riêng cho ZFS – hệ thống tập tin mà anh cho là "tác phẩm kỹ thuật đáng ngưỡng mộ nhất" trong sự nghiệp của mình.

Dự án đưa người xem đi sâu vào các cơ chế phức tạp bên trong ZFS thông qua sơ đồ động, hình ảnh trực quan và giải thích chi tiết. Toàn bộ mã nguồn cũng được công khai trên GitHub để cộng đồng có thể đóng góp và chỉnh sửa.

Minh họa hệ thống lưu trữ và ZFS

Hành trình qua kiến trúc ZFS

Uberblok được tổ chức như một bảo tàng với các "phòng" nối tiếp nhau, mỗi phòng tương ứng với một chủ đề kỹ thuật quan trọng. Điểm khởi đầu là phòng trưng bày uberblock – nơi giải thích về bản ghi nhỏ bé nhưng nắm giữ toàn bộ "gốc rễ" của một pool.

Điểm đáng chú ý là cách bảo tàng trình bày về vòng uberblock (uberblock ring). Mỗi đĩa mang bốn nhãn (label), mỗi nhãn chứa một vòng 128 KiB các uberblock. Một uberblock mới không bao giờ ghi đè cái cũ mà chuyển sang vị trí kế tiếp theo công thức txg N mod số vị trí. Khi import pool, ZFS đọc mọi vị trí của mọi nhãn và chọn uberblock hợp lệ có txg cao nhất.

Người xem có thể thay đổi kích thước sector của đĩa để thấy số vị trí trong vòng thay đổi theo thời gian thực: 128 vị trí với sector 512 byte, 64 với ashift 11, 32 với đĩa sector 4K phổ biến hiện nay, và 16 khi vượt quá ngưỡng đó. Ngoài ra còn có chế độ xem 3D cho phép xoay vòng bằng chuột hoặc phím mũi tên.

Mỗi uberblock bắt đầu bằng cùng một số magic 0x00bab10c – đọc là "oo-ba-bloc".

Các chủ đề kỹ thuật được khám phá

Bảo tàng được chia thành 14 khu vực, bao quát gần như toàn bộ kiến trúc ZFS:

• Cây dữ liệu và uberblock: các con trỏ khối nối tiếp nhau đến tận cùng, và lần ghi biến cây mới thành cây hiện hành
• Copy-on-write, checksum và tự phục hồi: vì sao pool luôn nhất quán mà không cần fsck, và cách nó phát hiện đĩa "nói dối"
• Transaction group (txg): quá trình open, quiescing và syncing – cách hàng nghìn lần ghi gộp thành một lần commit
• Vdev: mirror, raidz, draid, log, cache, special – cây thiết bị nằm dưới một pool
• RAID-Z: các dải có độ rộng thay đổi, và lý do không tồn tại "lỗ hổng ghi" (write hole)
• Snapshot và clone: thời điểm sinh và deadlist – khối dữ liệu này thuộc về snapshot nào?
• ARC: bộ nhớ đệm "học từ những gì nó đã quên"
• Metaslab và space map: tìm không gian trống nhanh chóng nhờ nhật ký cấp phát chỉ ghi thêm
• ZIL và SLOG: đường đi của một lần ghi đồng bộ
• send/receive: biến dataset thành luồng dữ liệu, và phần chênh lệch giữa hai snapshot
• Nén, dedup, mã hóa: ba phép biến đổi trong pipeline ghi, cùng chi phí thực tế của dedup

Lời tri ân cho một công trình kỹ thuật

Phần giới thiệu của Uberblok dành nhiều dung lượng để ghi nhận những người đã tạo nên ZFS. Jeff Bonwick dẫn dắt quá trình phát triển, với Bill Moore là đồng trưởng nhóm, và Matt Ahrens là một trong hai tác giả gốc.

Công việc bắt đầu năm 2001 với hai kỹ sư tại Sun Microsystems và được tích hợp vào Solaris ngày 31/10/2005. Bonwick từng tóm tắt cột mốc này bằng con số: 584 tệp tin, 92.000 dòng thay đổi, 56 bằng sáng chế, 5 năm. Ngày 17/11 cùng năm, ông viết: "Tôi vô cùng tự hào về đội ngũ ZFS, và biết ơn sâu sắc: không ai có thể một mình làm được công việc ở quy mô này."

Bảo tàng cũng ghi nhận văn hóa kỹ thuật của Sun thời kỳ đó – nơi các kỹ sư công bố cách hệ thống của họ vận hành, như slab allocator (Bonwick, USENIX 1994) hay DTrace (Bryan Cantrill, Michael Shapiro và Adam Leventhal, 2004). Và tất nhiên, không thể thiếu OpenZFS – dự án được công bố năm 2013 bởi cộng đồng Linux, FreeBSD, Mac OS X và illumos, với hơn 700 người được liệt kê trong tệp AUTHORS.

Xây dựng bằng "bầy đàn AI agent"

Điều thú vị là Uberblok được tác giả xây dựng cùng Algotitan – tổ chức "bầy đàn agent" (agent swarm) của anh. Đây là một ví dụ đáng chú ý về cách các công cụ AI tạo sinh đang dần trở thành trợ thủ trong việc xây dựng tài liệu kỹ thuật và ứng dụng giáo dục phức tạp.

Tác giả bày tỏ mong muốn nhận được các chỉnh sửa từ cộng đồng, thừa nhận rằng nhiều người trên diễn đàn Hacker News có thể hiểu rõ các cơ chế nội tại này hơn anh. Với độc giả Việt Nam quan tâm đến hệ thống lưu trữ, đây là nguồn tài liệu tham khảo miễn phí đáng giá, đặc biệt hữu ích cho những ai đang tìm hiểu về ZFS trong môi trường máy chủ, TrueNAS hay các hệ thống NAS tự xây dựng.

Bạn có thể truy cập bảo tàng tại uberblok.storagebits.workers.dev và xem mã nguồn tại kho GitHub của Algotitan.