HFlow: SDK mã nguồn mở giúp xây dựng pipeline dữ liệu robot quy mô lớn

Hebbian Robotics (YC S26) vừa giới thiệu HFlow — một SDK mã nguồn mở dành cho việc xây dựng pipeline dữ liệu đa phương thức trong lĩnh vực robotics và physical AI. Công cụ này giúp các nhóm robot xử lý, kiểm soát chất lượng và quản lý dữ liệu huấn luyện một cách có hệ thống, thay thế cho các script rời rạc thường gặp.

Với HFlow, các bản ghi từ robot và người vận hành (video, trạng thái khớp, hành động, timestamp) được chuẩn hóa thành các episode MCAP, đi qua các bước kiểm tra tự động và lưu trữ bằng chứng chất lượng trong một catalog Parquet. Người dùng có thể truy vấn kho dữ liệu bằng SQL (DuckDB) và tạo manifest dữ liệu huấn luyện có thể tái lập mà không cần mở lại các file gốc.

Badge Y Combinator S26

Vấn đề: Dữ liệu là nút thắt cổ chai của robotics

Các pipeline dữ liệu robot thường bắt đầu từ những script nhỏ: một script chuyển mã video, một script kiểm tra timestamp, một script gán nhãn... Cách này hoạt động tốt khi dữ liệu còn ít, nhưng khi kho dữ liệu phình to, mọi thứ trở nên hỗn loạn:

• Không thể biết code nào đã chạy, tại sao một episode bị loại
• Không thể tái lập dataset một cách chính xác
• Kiểm soát chất lượng trở thành nỗi đau đầu: camera bị đóng băng, thiếu topic, lệch thời gian, bản ghi trùng lặp lẫn vào dữ liệu huấn luyện

Brandon và Kingston — hai nhà sáng lập Hebbian Robotics — đã gặp phải những vấn đề này khi làm việc với robot công nghiệp và hạ tầng dữ liệu tốc độ cao. Họ nhận thấy rất nhiều nhóm robot đang phải tự xây dựng lại những công cụ xử lý và kiểm soát chất lượng tương tự nhau.

HFlow giải quyết bài toán như thế nào?

HFlow định nghĩa một vòng đời dữ liệu 4 giai đoạn:

collection --> ingestion ---------------> curation ------> delivery
(landing     (transform -> QC gate ->  (SQL over        (curated MCAP +
bucket)        enrich, as an             episode         manifest; convert
Airflow DAG)              catalog)         for training)

Các bước xử lý (transform, check, label, enrich) trong HFlow đơn giản là các hàm Python thuần túy do người dùng tự viết. Trong quá trình phát triển, chúng chạy trực tiếp trong tiến trình. Khi cần xử lý hàng loạt, HFlow tự động đóng gói các bước này thành Airflow 3 DAGs để lên lịch chạy, theo dõi trạng thái, log, retry và chạy lại.

Minh họa hoạt động của HFlow

Thiết kế lấy "bằng chứng" làm trung tâm

Điểm khác biệt cốt lõi của HFlow nằm ở triết lý "Evidence, not verdicts" (bằng chứng, không phải phán quyết):

• Các bước kiểm tra ghi lại số đo và mức độ bao phủ (coverage)
• Chính sách pass/fail thuộc về người tiêu dùng dữ liệu, quyết định tại thời điểm curation
• Episode bị "cách ly" (quarantine) khi có check quan trọng thất bại, nhưng không bao giờ xóa dữ liệu
• Mọi episode được đóng dấu provenance (nguồn gốc): phiên bản schema, pipeline, tool đã tạo ra nó

HFlow sử dụng MCAP làm định dạng biên (boundary) đầu vào và đầu ra. MCAP là container mã nguồn mở của Foxglove cho phép lưu video, trạng thái robot và các stream cảm biến đồng bộ trong một file duy nhất. Đây cũng là định dạng mà ROS 2 ghi lại một cách tự nhiên và Foxglove/Rerun có thể mở trực tiếp.

Ba nhóm người dùng điển hình

1. Nhà cung cấp dữ liệu: phát hiện video đen/đóng băng, bản ghi trùng, tương tác tay-vật thể trước khi bàn giao dữ liệu, kèm theo bằng chứng về các check đã chạy
2. Đội robot thu thập dữ liệu teleoperation: chuẩn hóa bản ghi, thêm nhãn và enrichment, tạo manifest huấn luyện tái lập
3. Đội vận hành robot hiện trường: xử lý log đến, cách ly episode lỗi, truy vấn catalog theo phiên bản robot, môi trường hoặc điều kiện lỗi

Bắt đầu và bối cảnh cho độc giả Việt Nam

HFlow miễn phí dưới giấy phép Apache-2.0, không cần tài khoản, Docker hay robot thật. Bạn có thể chạy thử ngay với lệnh uv add hflow hoặc clone repository và chạy quickstart.

License Apache 2.0

Với cộng đồng robotics và AI đang phát triển nhanh tại Việt Nam, HFlow mở ra cơ hội cho các nhóm nhỏ tiếp cận hạ tầng dữ liệu vốn chỉ có ở các công ty robot lớn. Việc không yêu cầu sở hữu robot để đóng góp cũng giúp các lập trình viên, kỹ sư dữ liệu Việt Nam có thể tham gia ngay vào hệ sinh thái này.

Tham gia cộng đồng

Dự án vẫn ở giai đoạn pre-v1 nhưng vòng đời cốt lõi đã hoạt động end-to-end. Nhóm phát triển rất mong nhận được phản hồi từ những người đã từng xây dựng pipeline cho robot, video hoặc các hệ thống giàu cảm biến — nơi mô hình dữ liệu có thể sai, tích hợp còn thiếu, và điều gì sẽ hỏng đầu tiên trên khối lượng công việc của bạn.

Tham gia Discord

Bạn có thể tham gia Discord cộng đồng, đóng góp trên GitHub hoặc đăng ký danh sách chờ cho nền tảng hosted sắp tới.