ByteDance giới thiệu USDB, hệ thống lưu trữ giúp giảm 85,8% độ trễ ghi

Bài nghiên cứu về USDB mô tả cách ByteDance xây dựng hệ thống lưu trữ chuỗi dữ liệu thống nhất cho các tác vụ liên tục và theo lô. Thiết kế này hướng tới bài toán các mô hình gợi ý ngày càng cần lịch sử người dùng dài, giàu thuộc tính, đồng thời phải cập nhật thường xuyên và đọc lại dữ liệu nhiều lần.

Theo kết quả triển khai được nhóm nghiên cứu công bố, USDB giảm 85,8% độ trễ ghi trung bình và 42,1% chi phí hạ tầng khi so sánh theo cách tính đã chuẩn hóa. Bài báo cũng ghi nhận tốc độ đọc lịch sử dài tốt hơn một cấu hình chuỗi dữ liệu dựa trên RocksDB đã được tối ưu.

Dùng chung kết quả xử lý giữa nhiều tác vụ

USDB là thực tiễn lưu trữ chuỗi dữ liệu thống nhất của ByteDance, phục vụ cả xử lý luồng dữ liệu liên tục lẫn xử lý theo lô. Trọng tâm của hệ thống là tránh phải thực hiện lại những công việc bảo trì dữ liệu riêng biệt cho từng khâu tiếp nhận, suy luận và huấn luyện mô hình.

Một thành phần chính là CascadeLSM, cơ chế hợp nhất dữ liệu theo thời gian dựa trên cấu trúc cây hợp nhất theo nhật ký. Cơ chế này tạo ra các lịch sử phù hợp với từng ứng dụng. Hệ thống còn sử dụng các bản sao được phân hóa nhưng cùng chia sẻ những tệp dữ liệu lưu trữ lâu dài.

Với đầu vào suy luận, USDB có thể dựng lại dữ liệu từ trạng thái gần nhất đã ghi nhận và lịch sử được quản lý theo phiên bản. Cách làm này kết hợp thông tin mới với dữ liệu quá khứ, đồng thời tận dụng kết quả bảo trì đã có thay vì xử lý lại từ đầu.

Tăng tốc đọc và giảm tải truyền dữ liệu

USDB dùng định dạng lai theo cột để tăng tốc các truy vấn chỉ cần một phần trường dữ liệu. Thay vì đọc toàn bộ bản ghi, hệ thống có thể tập trung vào những cột được yêu cầu.

Trong các phép so sánh có kiểm soát với cấu hình chuỗi dựa trên RocksDB đã tối ưu, nhóm nghiên cứu cho biết USDB đọc lịch sử dài nhanh hơn ở nhiều cách chọn dữ liệu và mức tải từ phía ứng dụng. Khi ngân sách nhận dữ liệu bị giới hạn, việc đẩy phép tổng hợp xuống tầng lưu trữ đạt thông lượng gấp 8,5 lần so với đọc thông thường.

Bài báo cũng trình bày kết quả dựng lại dữ liệu trong môi trường triển khai thực tế và huấn luyện trực tiếp từ tệp. Theo nhóm nghiên cứu, những cách tiếp cận này cho thấy việc dùng chung công đoạn xử lý chuỗi có thể hỗ trợ cả việc cung cấp dữ liệu mới cho hệ thống gợi ý lẫn truy cập lặp lại vào dữ liệu lịch sử.

Góc nhìn

Với các nhóm phát triển hệ thống gợi ý, điểm đáng chú ý không chỉ là tốc độ ghi hay đọc riêng lẻ, mà là cách USDB dùng chung kết quả bảo trì dữ liệu cho tiếp nhận, suy luận và huấn luyện. Đây là hướng thiết kế có thể giảm công việc trùng lặp khi lịch sử người dùng ngày càng dài và được truy cập thường xuyên.

Các con số hiệu năng và chi phí được báo cáo trong bài nghiên cứu của ByteDance, trong đó phép so sánh được thực hiện với một cấu hình RocksDB đã tối ưu. Vì vậy, khi cân nhắc áp dụng mô hình tương tự, đội ngũ kỹ thuật cần đối chiếu với đặc điểm dữ liệu, tải truy cập và cách tính chi phí của chính hệ thống mình.