Confluent cải tiến Apache Kafka: Di chuyển Schema ID vào Headers để quản lý lược đồ dễ dàng hơn

Confluent vừa công bố một cách tiếp cận mới để quản lý siêu dữ liệu lược đồ trong Apache Kafka, cho phép các ID lược đồ được lưu trữ trong phần header của tin nhắn thay vì trong phần payload (dữ liệu chính). Bản cập nhật này được thiết kế để đơn giản hóa việc quản trị dữ liệu và cho phép các nhóm áp dụng xác thực lược đồ mà không cần thay đổi định dạng sự kiện hiện có.

Thách thức với phương pháp truyền thống

Trong các triển khai Kafka truyền thống sử dụng định dạng wire của Confluent, ID lược đồ thường được nhúng trực tiếp vào payload của tin nhắn. Mặc dù điều này đảm bảo người tiêu dùng (consumers) có thể giải mã (deserialize) sự kiện chính xác, nhưng nó tạo ra sự phụ thuộc chặt chẽ giữa siêu dữ liệu lược đồ và dữ liệu thực tế.

Theo thời gian, sự ghép chặt này làm phức tạp quá trình tiến hóa lược đồ (schema evolution), đặc biệt trong môi trường có nhiều nhóm và hệ thống tiêu dùng cùng một luồng sự kiện. Nó cũng làm tăng gánh nặng phối hợp khi có thay đổi lược đồ được thực hiện trên các nhà sản xuất (producers) và người tiêu dùng.

Sơ đồ so sánh cách xử lý lược đồ trước và sau khi chuyển ID vào Headers

Giải pháp mới: Tách biệt Schema ID vào Headers

Với cách tiếp cận mới, các định danh lược đồ được lưu trữ trong header của bản ghi Kafka trong khi payload vẫn giữ nguyên. Người tiêu dùng sẽ truy xuất lược đồ từ Schema Registry tại thời điểm chạy bằng cách sử dụng ID nằm trong header.

Phương pháp này duy trì khả năng tương thích với các định dạng phổ biến như Avro, Protobuf và JSON Schema, đồng thời giảm sự phụ thuộc vào các định dạng wire được ghép chặt. Việc giải quyết lược đồ được tách biệt khỏi payload, giúp các luồng sự kiện linh hoạt hơn và dễ dàng tích hợp hơn với các hệ thống hạ lưu và công cụ khác nhau.

"Lược đồ là yếu tố then chốt để mở ra toàn bộ giá trị của dữ liệu của bạn," Patrick Neff, Trưởng nhóm CSTA CEMEA tại Confluent, nhấn mạnh trong một bài đăng trên LinkedIn.

Lợi ích và khả năng tương tác

Gunnar Morling, Chuyên gia kỹ thuật tại Confluent, đã nhấn mạnh sự cải thiện đáng kể về khả năng tương tác với các hệ thống lưu trữ và khung xử lý hạ lưu.

"Đưa ID lược đồ vào header tin nhắn Kafka thay vì payload là một bước cải tiến lớn về chất lượng trải nghiệm: payload trở nên hợp lệ và tự chứa đầy đủ," Morling chia sẻ.

Việc tách biệt siêu dữ liệu lược đồ khỏi payload cho phép tiến hóa độc lập của producers và consumers, với việc xác thực được tập trung hóa trong Schema Registry. Điều này làm giảm chi phí phối hợp và đơn giản hóa việc tiến hóa lược đồ ở quy mô lớn. Nó cũng cải thiện khả năng tương tác với các công cụ như Apache Flink và các hệ thống phân tích hoặc học máy (ML) bằng cách cho phép tái sử dụng dữ liệu sự kiện có cấu trúc nhất quán trên các quy trình xử lý.

Áp dụng từng bước và tính sẵn có

Cách tiếp cận dựa trên header cũng hỗ trợ việc áp dụng tăng dần. Các tổ chức có thể giới thiệu quản trị lược đồ mà không cần viết lại quy mô lớn hoặc thay đổi phối hợp trên tất cả producers và consumers. ID lược đồ có thể được đính kèm vào các luồng sự kiện hiện có, cho phép các nhóm dần áp dụng các thực quản lý lược đồ chặt chẽ hơn trong khi vẫn duy trì khả năng tương thích ngược.

David Araujo, Giám đốc Quản lý Sản phẩm tại Confluent, mô tả cách tính năng này cho phép áp dụng các mô hình không thời gian chết và độc lập với máy khách.

"Bằng cách chuyển ID lược đồ sang headers, bạn có thể đính kèm lược đồ vào dữ liệu hiện có trong Kafka mà không cần chạm vào định dạng payload," Araujo nói.

Tính năng này hiện đã có sẵn trên Confluent Cloud và dự kiến sẽ xuất hiện trên Confluent Platform với sự hỗ trợ của Schema Registry theo các mô hình cấp phép hiện có.