Netflix xây dựng "hạ tầng con người" để vận hành các sự kiện phát sóng trực tiếp quy mô lớn

Netflix đã vượt qua nền tảng video theo yêu cầu truyền thống để trở thành một nền tảng phát sóng trực tiếp, kết hợp hệ thống kỹ thuật tự động với một lớp vận hành con người có cấu trúc. Trong khi công ty dành nhiều năm để hoàn thiện việc phân phối không đồng bộ, các sự kiện trực tiếp lớn như trận đấu quyền anh Tyson vs. Paul thu hút khoảng 108 triệu người xem đã đòi hỏi một cách tiếp cận mới để quản lý hạ tầng thời gian thực. Điều này dẫn đến việc tạo ra cái gọi là "hạ tầng con người", một tầng vận hành chuyên dụng được thiết kế để xử lý tính chất khó lường trước của các buổi phát sóng trực tiếp.

Sự thay đổi này phản ánh những thách thức mà toàn ngành đang đối mặt. Amazon Web Services cung cấp dịch vụ Elemental MediaLive để giúp các đài truyền hình quản lý các tác vụ đồng bộ hóa và mã hóa tương tự ở quy mô lớn. Các đối thủ lớn khác như Disney+ Hotstar cũng từng chia sẻ về việc quản lý mức độ đồng thời kỷ lục trong các giải đấu cricket toàn cầu. Giống như những người đồng cấp này, Netflix hiện nay phải cân bằng giữa việc mở rộng tự động và sự giám sát của con người trong các khung giờ cao điểm, nơi các thuật toán tiêu chuẩn có thể thiếu bối cảnh cần thiết để phản hồi với các sự cố độc nhất.

Đường truyền dữ liệu giám sát nóng (Telemetry Hot Path)

Một phần quan trọng trong chiến lược này là "đường truyền dữ liệu giám sát nóng". Hầu hết các đường ống quan sát (observability pipelines) được xây dựng để tối ưu hóa chi phí và tính toàn vẹn của dữ liệu hơn là tốc độ thuần túy, điều này hoạt động tốt cho video theo yêu cầu nơi độ trễ ngắn trong phân tích là không đáng kể.

Tuy nhiên, đối với các sự kiện trực tiếp, Netflix đã cô lập các chỉ số quan trọng nhất của mình vào một luồng dữ liệu độ trễ thấp. Điều này cho phép nhóm vận hành phát hiện và khắc phục sự cố phân phối trong vài mili-giây, ngăn chặn các lỗi cục bộ biến thành sự cố toàn diện. Đường ống cụ thể này ưu tiên các điểm đánh dấu quan trọng như lỗi khởi động và tỷ lệ bộ đệm (rebuffer rates) thay vì các nhật ký nền ít khẩn cấp hơn.

Trung tâm Vận hành Trực tiếp

Ngoài phần mềm, Netflix đã thiết lập một Trung tâm Vận hành Trực tiếp (Live Operations Centre) đóng vai trò là trung tâm phản ứng sự cố. Nhóm kỹ thuật lưu ý rằng lớp này cung cấp cấu trúc chỉ huy có thể bỏ qua các giao thức tự động hóa khi các trường hợp cạnh (edge cases) không lường trước phát sinh.

Các công cụ tùy chỉnh được xây dựng cho trung tâm này cho phép các kỹ sư điều hướng lưu lượng truy cập và cân bằng lại dung lượng giữa các khu vực khác nhau ngay lập tức. Cài đặt này chia sẻ các nguyên tắc với hạ tầng YouTube Live, vốn cũng dựa vào giám sát thời gian thực và các tùy chọn ghi đè thủ công trong các luồng phát sóng toàn cầu khổng lồ.

Hành trình kiến trúc từ vật lý sang phát trực tiếp thời gian thực toàn cầu đã được Kasia Trapszo khám phá gần đây tại QCon London. Bài thuyết trình đã làm nổi bật cách các sự kiện trực tiếp buộc phải chuyển từ việc ủy quyền thời gian thực thuần túy sang các mô hình lai hỗ trợ "cửa sổ xác thực" (validation windows) và sự suy giảm graceful (graceful degradation) để duy trì quyền truy cập của người dùng trong thời gian lưu lượng truy cập tăng đột biến.

Bằng cách biến chuyên môn của con người thành một phần chính của ngăn xếp kỹ thuật, Netflix nhằm mục đích giữ cho dịch vụ của mình đáng tin cậy ngay cả trong thế giới đầy biến động của thể thao trực tiếp. Sự tiến hóa này gợi ý rằng ở quy mô toàn cầu, công nghệ hoạt động tốt nhất khi được kết hợp với một lớp phán xét của con người được đồng bộ hóa.