Discord Xây Dựng SCP Để Tự Động Hóa Vận Hành ScyllaDB Ở Quy Mô Khổng Lồ

Discord đã chia sẻ cách họ tái thiết lập hoạt động cơ sở dữ liệu xung quanh một khung điều phối (orchestration) nội bộ mới gọi là Scylla Control Plane (SCP). Hệ thống này cho phép đội ngũ cơ sở hạ tầng nhỏ gọn của Discord tự động hóa các tác vụ quản lý cụm ScyllaDB ở quy mô lớn — những việc trước đây tốn nhiều ngày công sức thủ công.

Nền tảng hiện nay tự động hóa các hoạt động phức tạp như nâng cấp theo lượt (rolling upgrades), mở rộng cụm, cung cấp cụm bóng (shadow cluster) và khôi phục nút trên hàng trăm nút cơ sở dữ liệu, giúp giảm đáng kể chi phí vận hành và rủi ro.

Thách thức của hạ tầng siêu quy mô

Động thái này phản ánh thách thức ngày càng lớn mà các nền tảng siêu quy mô (hyperscale) phải đối mặt: vận hành các cơ sở dữ liệu phân tán ngày càng phức tạp với một đội ngũ kỹ sư tương đối nhỏ. Đội ngũ Persistence Infrastructure của Discord quản lý hàng chục cụm ScyllaDB chứa hàng trăm nút (node), lưu trữ dữ liệu cốt lõi của nền tảng bao gồm tin nhắn, kênh và máy chủ.

Về mặt lịch sử, các hoạt động này phụ thuộc vào các tập lệnh Python và shell mong manh, đòi hỏi kiến thức sâu sắc về hệ thống và sự giám sát thủ công liên tục. Theo Discord, gánh nặng vận hành đã trở nên không bền vững khi quy mô và độ phức tạp của hạ tầng tăng lên.

Scylla Control Plane (SCP): Tự động hóa bằng YAML

Để giải quyết vấn đề này, Discord đã phát triển SCP như một khung điều phối và tự động hóa tổng quát, được xây dựng xung quanh các tác vụ có thể tái sử dụng, quy trình công việc (workflows) và các công việc có thể tiếp tục (resumable jobs).

Hệ thống cho phép kỹ sư định nghĩa các hoạt động trên toàn cụm theo kiểu khai báo (declaratively) bằng YAML, đồng thời thực thi tự động các kiểm tra an toàn, thử lại (retries), xác thực phụ thuộc, kiểm soát đồng thời và bảo vệ hoàn nguyên (rollback).

Khung này được thiết kế cụ thể để giải quyết ba điểm yếu chính trong bộ công cụ cũ của công ty:

• Thứ tự thực thi không an toàn.
• Không thể phục hồi sau sự gián đoạn.
• Khó khăn trong việc mở rộng tự động hóa cho các kịch bản vận hành mới.

SCP giới thiệu các điều kiện tiên quyết rõ ràng, duy trì trạng thái thông qua SQLite, phân loại lỗi, cảnh báo qua webhook và tính song song có thể cấu hình, đảm bảo rằng các hoạt động có thể tiếp tục an toàn ngay cả sau khi gặp lỗi hoặc gián đoạn.

Tự động hóa Shadow Clusters

Một trong những cải tiến đáng kể nhất liên quan đến việc sử dụng shadow clusters (cụm bóng) của Discord — các bản sao sản xuất đầy đủ, tạm thời nhận lưu lượng truy cập thực tế để xác thực các bản nâng cấp ScyllaDB và thay đổi hạ tầng trước khi chúng ảnh hưởng đến hệ thống trực tiếp.

Trước đây, việc cung cấp các môi trường này đòi hỏi sự phối hợp thủ công rộng rãi, bao gồm cấu hình nút, thiết lập sao chép, xác thực và tháo dỡ. SCP hiện nay tự động hóa phần lớn quy trình này, giảm các hoạt động từng tiêu tốn hơn một ngày sự chú ý của kỹ sư xuống thành các quy trình công việc có thể chạy phần lớn mà không cần giám sát.

Việc tự động hóa này đặc biệt quan trọng vì Discord thường xuyên gặp các trường hợp ngoại lệ (edge cases) chỉ xuất hiện dưới quy mô và mô hình lưu lượng truy cập của nền tảng. Theo công ty, một số vấn đề liên quan đến nâng cấp chỉ bộc lộ khi mọi nút trong cụm đã được cập nhật, do đó việc mô phỏng sản xuất thực tế là rất cần thiết.

Đảm bảo an toàn vận hành

Một trọng tâm chính của hệ thống là đảm bảo an toàn vận hành trong các môi trường phân tán, nơi những sai lầm có thể lan truyền qua các cụm. SCP sử dụng các điều khiển đồng thời có thể cấu hình cho phép kỹ sư định nghĩa các quy tắc như "không bao giờ khởi động lại nút trên nhiều vùng sẵn sàng (availability zones) cùng một lúc", bảo vệ sự đồng thuận và tính sẵn sàng của cụm trong quá trình bảo trì.

Khung này cũng thực thi tính idempotency (định thức) cho các tác vụ, đảm bảo rằng các công việc bị gián đoạn có thể thử lại an toàn mà không làm hỏng trạng thái hoặc nhân đôi hành động.

Discord nhấn mạnh rằng lợi ích lớn nhất của hệ thống không chỉ là tốc độ, mà là giảm tải nhận thức (cognitive load). Kỹ sư không còn cần phải giám sát thủ công từng bước cho các quy trình bảo trì chạy dài; thay vào đó, các quy trình công việc thực thi tự động và chỉ đưa ra vấn đề khi cần sự can thiệp của con người.

Xu hướng vận hành hạ tầng mới

Công việc của Discord phản ánh xu hướng lớn hơn trong các tổ chức siêu quy mô hướng tới việc xây dựng các mặt phẳng điều khiển (control planes) và hệ thống điều phối nội bộ cho hạ tầng trạng thái (stateful infrastructure). Các công ty vận hành cơ sở dữ liệu phân tán lớn ngày càng nhận ra rằng các tập lệnh ad-hoc và sổ tay vận hành thủ công trở thành gánh nặng vận hành khi hệ thống mở rộng.

Cuối cùng, Scylla Control Plane của Discord làm nổi bật sự tiến hóa rộng lớn hơn trong kỹ thuật hạ tầng: chuyển từ các hoạt động dựa trên tập lệnh sang các hệ thống điều phối khai báo và có khả năng phục hồi. Khi cơ sở dữ liệu phân tán trở thành nền tảng của các nền tảng hiện đại, khả năng tự động hóa nâng cấp, khôi phục, mở rộng và xác nhận một cách an toàn trở nên quan trọng ngang hàng với chính cơ sở dữ liệu đó.

Đối với Discord, kết quả là một sự thay đổi vận hành đáng kể. Các tác vụ từng yêu cầu sự chú ý liên tục của con người trong hơn một ngày giờ đây có thể được khởi chạy, giám sát và tiếp tục an toàn với sự can thiệp tối thiểu, biến hoạt động cơ sở dữ liệu từ các quy trình thủ công mong manh thành các quy trình công việc đáng tin cậy và có thể lặp lại.