Uber tối ưu lập lịch CPU cho workload có trạng thái bằng Normalized Compute Units

Uber vừa công bố một thay đổi quan trọng trong cách họ phân bổ tài nguyên tính toán: thay vì chỉ dựa vào số lõi CPU, hãng xe công nghệ này đã xây dựng cơ chế Normalized Compute Units (NCU) để phản ánh chính xác hơn hiệu năng thực tế của CPU trên toàn bộ đội máy chủ.

Vấn đề: đội máy chủ quá không đồng nhất

Hạ tầng của Uber trải dài qua nhiều thế hệ phần cứng, nhiều nhà cung cấp cloud và nhiều dòng chip khác nhau. Trong môi trường đó, việc cấp phát theo số lõi CPU trở nên thiếu chính xác: hai máy chủ có cùng số lõi nhưng hiệu năng thực tế có thể chênh lệch đáng kể do khác kiến trúc, xung nhịp, bộ nhớ đệm hay mức độ chia sẻ tài nguyên.

Hệ quả là các workload có trạng thái (stateful) — vốn nhạy cảm với độ trễ và tính ổn định — dễ gặp tình trạng bị "đói" tài nguyên hoặc ngược lại, được cấp dư thừa.

NCU hoạt động như thế nào?

Normalized Compute Units là một đơn vị đo lường trừu tượng, được hiệu chuẩn dựa trên kết quả benchmark thực tế của từng loại máy chủ. Thay vì nói "máy này có 8 lõi", hệ thống lập lịch hiểu rằng máy này cung cấp một lượng NCU tương đương với một chuẩn tham chiếu chung.

• Chuẩn hóa theo hiệu năng: mỗi loại máy được gán hệ số quy đổi dựa trên năng lực xử lý đo được.
• Lập lịch có ý thức về hiệu năng: scheduler tính đến đặc điểm workload, đặc biệt là workload có trạng thái, khi quyết định đặt tác vụ ở đâu.
• Giảm biến động: các dịch vụ quan trọng nhận được tài nguyên nhất quán hơn bất kể chúng chạy trên thế hệ phần cứng nào.

Điểm cốt lõi không phải là chạy nhanh hơn, mà là đảm bảo rằng cùng một workload nhận được cùng một mức hiệu năng dù đặt trên máy chủ nào.

Ý nghĩa với hệ thống có trạng thái

Các workload có trạng thái như cơ sở dữ liệu, hàng đợi message hay dịch vụ lưu trữ thường khó di chuyển và khó co giãn linh hoạt. Nếu môi trường thực thi thay đổi đột ngột về hiệu năng, chúng có thể xuất hiện độ trễ tăng vọt hoặc lỗi timeout dây chuyền.

Việc chuẩn hóa tài nguyên giúp Uber:

• Giảm rủi ro khi luân chuyển workload giữa các nhóm máy chủ khác nhau.
• Tận dụng tốt hơn phần cứng cũ mà không phải hy sinh chất lượng dịch vụ.
• Đơn giản hóa việc hoạch định dung lượng, vì đơn vị đo đã phản ánh đúng năng lực thực.

Bài học cho các đội hạ tầng tại Việt Nam

Với các doanh nghiệp Việt Nam đang vận hành Kubernetes hoặc hạ tầng lai giữa on-premise và cloud, câu chuyện của Uber là lời nhắc đáng chú ý. Khi đội máy chủ trở nên đa dạng — từ server cũ trong data center nội bộ đến nhiều loại instance cloud — việc cấp phát dựa trên số lõi CPU danh nghĩa thường dẫn đến lãng phí hoặc thiếu ổn định.

Một số hướng tiếp cận có thể áp dụng:

• Benchmark nội bộ định kỳ để xây dựng bảng quy đổi hiệu năng cho từng nhóm máy chủ.
• Gắn nhãn tài nguyên theo hiệu năng thay vì chỉ theo cấu hình phần cứng, giúp scheduler ra quyết định tốt hơn.
• Ưu tiên workload có trạng thái khi thiết kế chính sách đặt tác vụ và giới hạn tài nguyên.

Cách làm của Uber cho thấy xu hướng chung của ngành: quản lý hạ tầng đang chuyển từ đếm tài nguyên sang đo lường hiệu năng thực tế, một bước tiến cần thiết khi các hệ thống ngày càng phân tán và không đồng nhất.