Dùng animation để hiểu sâu hơn về hệ thống: cách LLM giúp kỹ sư nhìn thấy lỗi ẩn

Marc Brooker, một kỹ sư hệ thống có tiếng, vừa chia sẻ một phương pháp học tập thú vị: dùng mô hình ngôn ngữ lớn (LLM) để tạo ra các animation mô phỏng hành vi của hệ thống phân tán. Thay vì chỉ đọc tài liệu hay biểu đồ, việc "nhìn thấy" hệ thống chuyển động giúp kỹ sư hình thành trực giác về cách nó vận hành — và quan trọng hơn, cách nó thất bại.

Trực giác là chìa khóa để hiểu hệ thống phức tạp

Brooker cho biết trước đây ông thường dùng LLM để đặt câu hỏi kiểm tra hiểu biết của bản thân về một hệ thống. Gần đây, ông chuyển sang một kỹ thuật khác: xây dựng animation.

Animation giúp chúng ta hình thành trực giác về cách và tại sao hệ thống hoạt động, hoặc cách và tại sao nó thất bại.

Cách làm này đặc biệt hữu ích với các hệ thống phân tán, nơi các lỗi hiếm gặp và tương tác phức tạp thường khó hình dung qua văn bản hay biểu đồ tĩnh.

Những ví dụ đáng chú ý

Brooker đưa ra một loạt ví dụ được ghi lại từ môi trường thử nghiệm thực tế, sau đó dựng thành animation bằng Kiro và KiroCrew, chủ yếu với mô hình Opus 5.5.

Raft có thể mất ghi nếu một node nói dối về fsync()

Đây là ví dụ gây bất ngờ nhất: một cụm Raft vẫn có thể mất dữ liệu ghi nếu chỉ một thành viên có lớp lưu trữ "nói dối" về kết quả gọi fsync(). Nói cách khác, khi tầng lưu trữ báo đã đồng bộ xuống đĩa nhưng thực tế chưa, cơ chế đồng thuận vẫn có thể bị phá vỡ.

Postgres và trạng thái siêu bền vững

Brooker từng xây dựng Stability Sim để giúp kỹ sư hiểu về metastable failure (lỗi siêu bền vững) — trạng thái mà hệ thống không tự phục hồi dù tải đã giảm. Nhiều người vẫn hoài nghi liệu hiện tượng này có thực sự xảy ra trong hệ thống production.

Animation từ trace thật của Postgres 16 chạy trên MicroVM đã chứng minh điều ngược lại:

• Trước cú tăng tải, cơ sở dữ liệu xử lý dễ dàng 20 truy vấn/giây nhờ toàn bộ working set nằm trong page cache.
• Sau cú tăng tải, bộ nhớ bị chiếm dụng bởi các truy vấn (mỗi truy vấn tốn khoảng 12MB), khiến chúng phải đọc từ đĩa thay vì page cache và chạy chậm hơn.
• Hệ thống rơi vào vòng xoáy tự củng cố.

Điểm đáng chú ý: ngay cả hệ thống đơn giản, không phân tán cũng có thể gặp hiện tượng này.

etcd và bão gửi lại ở tầng ứng dụng

Một ví dụ khác với etcd: khi tải ghi tăng đột biến, các peer bị quá tải trông như "không khả dụng", kích hoạt một cơn bão gửi lại ở tầng ứng dụng. Brooker nhấn mạnh rằng etcd là phần mềm chất lượng, được dùng rộng rãi, nên kinh nghiệm vận hành không đủ để loại bỏ hoàn toàn những vấn đề kiểu này.

Garbage Collection và tính siêu bền vững

Khi viết bài Garbage Collection and Metastability, Brooker từng bị một học giả hệ thống nổi tiếng gọi đó là "chuyện hoang đường". Animation mới từ etcd đã đưa ra bằng chứng thực tế:

• Hệ thống chạy ổn định ở 500 lượt đọc/giây.
• Cú tăng tải lên 1000 lượt đọc/giây khiến thời gian dành cho GC tăng, thời gian lưu giữ đối tượng trung bình tăng theo, và CPU còn lại cho tác vụ đọc giảm đi.
• Vòng lặp tự củng cố hình thành, và hệ thống không thể phục hồi nếu không có can thiệp từ bên ngoài.

Brooker tin rằng hiện tượng tương tự có thể xảy ra trên runtime không có GC, do khối lượng công việc trong bộ cấp phát bộ nhớ tăng lên — dù ông chưa tái hiện được điều này.

Ý nghĩa với kỹ sư Việt Nam

Với các đội ngũ phát triển backend và hạ tầng tại Việt Nam, những animation kiểu này là công cụ đắc lực khi:

• Đào tạo nội bộ về hệ thống phân tán, vốn khó truyền đạt bằng tài liệu.
• Điều tra sự cố liên quan đến tăng tải đột biến, timeout dây chuyền hay hàng đợi tích tụ.
• Kiểm tra giả định về độ tin cậy của tầng lưu trữ và cơ chế đồng thuận.

Bài học cốt lõi: phần mềm "đã được chứng minh trong production" không miễn nhiễm với các hành vi bất thường. Việc trực quan hóa hệ thống bằng animation — với sự hỗ trợ của LLM — là cách hiệu quả để phát hiện những điểm mù mà kinh nghiệm vận hành có thể bỏ sót.