Parseable: Hồ dữ liệu quan sát mã nguồn mở xử lý 100 triệu chuỗi thời gian mỗi phút

Trong thế giới observability, chi phí lưu trữ và xử lý dữ liệu telemetry luôn là bài toán đau đầu với các đội kỹ thuật. Một dự án mã nguồn mở mới mang tên Parseable đang thu hút sự chú ý khi tuyên bố có thể xử lý tới 100 triệu chuỗi thời gian (time-series) mỗi phút, đồng thời hợp nhất logs, metrics và traces vào một nền tảng duy nhất.

Được viết hoàn toàn bằng Rust, Parseable định vị mình là "exascale columnar data lake" dành riêng cho observability. Điểm khác biệt lớn nhất nằm ở kiến trúc object store native: thay vì phụ thuộc vào cơ sở dữ liệu truyền thống, hệ thống lưu trữ dữ liệu dưới định dạng Parquet mở trên object storage, giúp giảm mạnh chi phí lưu trữ và tránh tình trạng khóa chặt vào nhà cung cấp (vendor lock-in).

Kiến trúc data lake cho telemetry

Parseable giải quyết bài toán cardinality cao — vốn là điểm yếu chí mạng của nhiều hệ thống observability — bằng thiết kế cột (columnar). Theo mô tả, giải pháp này đạt mức nén dữ liệu đáng kể và có thể được triển khai trên cả cloud công cộng lẫn private cloud, hoặc dùng phiên bản managed của nhà cung cấp.

Quy trình triển khai khá đơn giản:

• Triển khai trên cloud hoặc hạ tầng riêng
• Trỏ tới một object store sẵn có
• Cấu hình các telemetry agent đang dùng
• Bắt đầu thu thập dữ liệu

Vì thiết kế stateless, hệ thống có thể mở rộng theo nhu cầu mà không cần lo lắng về việc quản lý trạng thái phức tạp.

Bộ tính năng observability đầy đủ trong một binary

Điểm đáng chú ý là Parseable gói gọn toàn bộ tính năng observability trong một binary duy nhất: cảnh báo (alerts), dashboard, xem logs, metrics, traces phân tán, service map, trang lỗi, phân tích AI và hỗ trợ RCA (phân tích nguyên nhân gốc).

Hệ thống hỗ trợ cả PromQL lẫn SQL, cho phép các đội kỹ thuật truy vấn dữ liệu theo cách quen thuộc. Với tính năng OTel native, Parseable tích hợp trực tiếp với hệ sinh thái OpenTelemetry — tiêu chuẩn đang ngày càng phổ biến trong giới DevOps.

Đáng chú ý, Parseable còn có lớp AI agent hoạt động 24/7: tự động phát hiện bất thường về tỷ lệ lỗi, quét đồng thời logs, metrics, traces và events, sau đó khoanh vùng nguyên nhân gốc. Ví dụ điển hình là tình huống AI phát hiện tỷ lệ lỗi tăng vọt lên 12,6% so với mức nền 1,2%, xác định vấn đề nằm ở connection pool bị cạn kiệt trong checkout-service, ảnh hưởng tới 6.450 người dùng trong 7 phút 32 giây.

Hệ sinh thái tích hợp rộng

Parseable kết nối với hơn 60 tích hợp sẵn có, trải rộng từ telemetry agent, nguồn dữ liệu, công cụ trực quan hóa đến xác thực và LLM:

• Agent & thu thập dữ liệu: Prometheus, OpenTelemetry, Fluent Bit, Fluentd, Vector, eBPF
• Hạ tầng & lưu trữ: Kubernetes, Kafka, Redpanda, MinIO
• Cloud: AWS, Azure
• Trực quan hóa: Grafana
• AI/LLM: OpenAI, Anthropic, Tigris Data, vLLM

Ngoài ra, dự án còn cung cấp một số công cụ nội bộ như MCP (kết nối AI agent với dữ liệu telemetry an toàn), Slack Bot, PAI (tự động instrument workload trên Kubernetes), PB CLI và OTex — kỹ sư observability do AI vận hành.

Mô hình giấy phép và triển khai

Parseable theo mô hình open core với ba lựa chọn:

• Open Source — giấy phép AGPLv3, miễn phí hoàn toàn
• Cloud — bản managed, không cần quản lý hạ tầng
• Enterprise — đầy đủ tính năng cấp doanh nghiệp như PromQL, truy vấn phân tán, giao diện AI native, kiểm soát truy cập nâng cao và hỗ trợ ưu tiên 24/7

Về bảo mật, nền tảng tuyên bố tuân thủ GDPR và đạt chứng nhận SOC 2 Type II, với cam kết 100% chủ quyền dữ liệu và không khóa chặt nhà cung cấp.

Góc nhìn cho đội ngũ kỹ thuật Việt Nam

Với các startup và doanh nghiệp công nghệ tại Việt Nam, bài toán chi phí observability thường trở nên cấp thiết khi hệ thống mở rộng. Các giải pháp thương mại như Datadog hay Splunk có thể tiêu tốn hàng nghìn đô mỗi tháng khi lượng log tăng cao.

Việc một dự án mã nguồn mở như Parseable lưu dữ liệu trong định dạng Parquet mở trên object storage giá rẻ (như MinIO tự host hoặc S3) mở ra lựa chọn đáng cân nhắc: vừa kiểm soát được chi phí, vừa giữ chủ quyền dữ liệu — yếu tố ngày càng quan trọng với các doanh nghiệp có yêu cầu tuân thủ nội địa.

Tuy nhiên, như mọi giải pháp mã nguồn mở tự host, đội ngũ cần cân nhắc chi phí vận hành và nhân lực. Với những đội đã quen với Kubernetes và hệ sinh thái OTel, Parseable có thể là lựa chọn thay thế tiết kiệm hơn so với các nền tảng thương mại truyền thống.

Dự án hiện đang thảo luận sôi nổi trên Hacker News và có thể dùng thử nhanh bằng một dòng lệnh cài đặt qua script chính thức.