Xây dựng Data Lakehouse với DuckDB và DuckLake

Trong những năm gần đây, kiến trúc data lakehouse đã trở thành xu hướng được nhiều đội ngũ dữ liệu lựa chọn, nhờ khả năng kết hợp tính linh hoạt của data lake với các đặc tính quản trị của data warehouse. Thay vì phải triển khai một hệ thống cồng kềnh, bạn hoàn toàn có thể bắt đầu với những công cụ nhẹ nhàng như DuckDB và DuckLake.

Bài viết này sẽ hướng dẫn cách xây dựng một lakehouse tối giản, bắt đầu từ một file Parquet lưu cục bộ, sau đó mở rộng để kết hợp với dữ liệu được lưu trữ trên cloud.

DuckDB và DuckLake là gì?

DuckDB là một cơ sở dữ liệu phân tích dạng nhúng (embedded), hoạt động tương tự SQLite nhưng tối ưu cho các truy vấn OLAP. DuckDB chạy trực tiếp trong tiến trình ứng dụng, không cần server riêng, và có khả năng đọc file Parquet, CSV hay JSON cực kỳ nhanh.

DuckLake là phần mở rộng (extension) giúp DuckDB đóng vai trò như một catalog cho kiến trúc lakehouse. Nói cách khác, DuckLake mang đến lớp metadata tập trung, cho phép quản lý bảng, schema và transaction trên các file dữ liệu phân tán — điều mà trước đây thường phải dùng đến các giải pháp nặng ký như Apache Iceberg hay Delta Lake.

Điểm hấp dẫn của DuckDB và DuckLake nằm ở chỗ: bạn có thể có một lakehouse thực thụ mà không cần đến một cụm Spark hay một data warehouse đắt đỏ.

Bước đầu tiên: Làm việc với file Parquet cục bộ

Hành trình bắt đầu đơn giản nhất là từ một file Parquet trên máy của bạn.

• Cài đặt DuckDB bằng pip install duckdb hoặc tải bản CLI từ trang chủ.
• Mở DuckDB và truy vấn trực tiếp file Parquet mà không cần nạp dữ liệu vào bảng:

SELECT * FROM 'du_lieu_ban_hang.parquet' LIMIT 10;

• Tạo một bảng từ file Parquet để tiện xử lý:

CREATE TABLE ban_hang AS SELECT * FROM 'du_lieu_ban_hang.parquet';

Với cách làm này, bạn đã có một "hồ dữ liệu" thu nhỏ ngay trên máy cá nhân, sẵn sàng cho các truy vấn phân tích phức tạp.

Mở rộng lên cloud

Khi dữ liệu tăng lên hoặc cần chia sẻ giữa nhiều thành viên, bạn có thể lưu file Parquet trên các dịch vụ như Amazon S3, Google Cloud Storage hay Azure Blob Storage. DuckDB hỗ trợ đọc trực tiếp từ các nguồn này thông qua extension httpfs:

INSTALL httpfs;
LOAD httpfs;
SELECT * FROM 's3://bucket-du-lieu/ban_hang/*.parquet';

Nhờ đó, bạn có thể kết hợp (join) dữ liệu cục bộ với dữ liệu trên cloud trong cùng một truy vấn, chẳng hạn nối bảng khách hàng lưu nội bộ với bảng giao dịch lưu trên S3 — tất cả chỉ trong vài dòng SQL.

Vai trò của DuckLake trong kiến trúc lakehouse

Việc truy vấn trực tiếp file Parquet có hạn chế: không có transaction, không có quản lý schema tập trung, và khó kiểm soát phiên bản dữ liệu. DuckLake giải quyết những vấn đề này bằng cách cung cấp một catalog lưu metadata trong cơ sở dữ liệu quan hệ.

Các lợi ích chính bao gồm:

• Quản lý bảng và schema tập trung, thay vì phụ thuộc vào cấu trúc thư mục.
• Transaction ACID đảm bảo tính nhất quán khi nhiều người cùng ghi dữ liệu.
• Time travel cho phép truy vấn dữ liệu tại một thời điểm trong quá khứ.
• Tương thích với hệ sinh thái, dễ dàng tích hợp với các công cụ phân tích hiện có.

Kiến trúc này giúp DuckDB không chỉ là công cụ truy vấn nhanh, mà còn trở thành hạt nhân của một lakehouse thực thụ.

Vì sao điều này quan trọng với đội ngũ dữ liệu Việt Nam?

Với các startup và đội ngũ dữ liệu quy mô nhỏ tại Việt Nam, chi phí hạ tầng luôn là bài toán đáng cân nhắc. Thay vì đầu tư vào cụm Spark phức tạp hay data warehouse tốn kém, mô hình kết hợp DuckDB + DuckLake + lưu trữ đối tượng mang lại nhiều lợi thế:

• Chi phí thấp: chỉ cần lưu file Parquet trên cloud rẻ, tính toán diễn ra ngay trên máy hoặc server nhỏ.
• Triển khai nhanh: không cần đội ngũ vận hành hạ tầng big data cồng kềnh.
• Dễ tiếp cận: kỹ sư quen với SQL có thể bắt đầu ngay mà không cần học framework phức tạp.

Kết luận

Xây dựng data lakehouse không còn là đặc quyền của các công ty lớn. Với DuckDB và DuckLake, bạn có thể bắt đầu từ một file Parquet cục bộ, rồi từng bước mở rộng ra cloud khi nhu cầu tăng lên. Đây là minh chứng cho thấy sức mạnh của các công cụ nhẹ, hiện đại đang dần thay đổi cách chúng ta xử lý và phân tích dữ liệu.