OpenDuck: Giải pháp mã nguồn mở thay thế MotherDuck cho DuckDB

OpenDuck: Giải pháp mã nguồn mở thay thế MotherDuck cho DuckDB

OpenDuck là một dự án mã nguồn mở mới nổi, nhằm mục đích đưa các khái niệm kiến trúc tiên phong do MotherDuck khởi xướng đến với cộng đồng người dùng DuckDB một cách tự do và minh bạch. Với OpenDuck, các nhà phát triển giờ đây có thể tận dụng sức mạnh của lưu trữ khác biệt (differential storage), thực thi lai (hybrid execution) và cơ sở dữ liệu từ xa trong suốt mà không phụ thuộc vào bất kỳ dịch vụ đám mây thương mại nào.

Dự án này giải quyết vấn đề "vendor lock-in" (bị khóa vào nhà cung cấp) bằng cách cung cấp một giao thức mở, backend mở và phần mở rộng mở, cho phép bất kỳ ai cũng có thể chạy, mở rộng và xây dựng dựa trên nền tảng này.

OpenDuck là gì?

MotherDuck đã chứng minh rằng DuckDB có thể hoạt động xuất sắc trên đám mây thông qua các lệnh đơn giản như ATTACH 'md:mydb', nơi các bảng từ xa xuất hiện như thể chúng đang nằm trên máy tính cục bộ. Các truy vấn có thể được chia sẻ minh bạch giữa máy tính xách tay của bạn và đám mây, đồng thời lưu trữ được phân lớp dựa trên snapshot.

OpenDuck tiếp thu những ý tưởng kiến trúc này — lưu trữ khác biệt, thực thi kép, và trải nghiệm người dùng dựa trên lệnh ATTACH — và biến chúng thành mã nguồn mở.

Các tính năng chính của OpenDuck

Lưu trữ khác biệt (Differential Storage)

Hệ thống sử dụng các lớp chỉ ghi thêm (append-only layers) với siêu dữ liệu được quản lý bởi PostgreSQL. Đối với DuckDB, dữ liệu trông giống như một tệp bình thường, nhưng OpenDuck lưu trữ dữ liệu dưới dạng các lớp bất biến (immutable sealed layers) có thể địa chỉ hóa từ bộ nhớ đối tượng (object storage). Cơ chế snapshot đảm bảo tính nhất quán khi đọc, với một đường dẫn ghi tuần tự và nhiều người đọc đồng thời.

Thực thi lai (Hybrid Execution)

Đây là tính năng ấn tượng nhất cho phép một truy vấn duy nhất chạy một phần trên máy của bạn và một phần trên worker từ xa. Cổng gateway sẽ chia nhỏ kế hoạch truy vấn, gắn nhãn từng toán tử là LOCAL (cục bộ) hoặc REMOTE (từ xa), và chèn các toán tử cầu nối (bridge operators) tại ranh giới. Chỉ có kết quả trung gian mới được truyền qua mạng.

Ví dụ về luồng thực thi:

• [LOCAL] HashJoin(l.id = r.id)
• [LOCAL] Scan(products) <- chạy trên laptop của bạn
• [LOCAL] Bridge(R→L)
• [REMOTE] Scan(sales) <- chạy trên worker từ xa

Giao thức mở (Open Protocol)

Giao thức của OpenDuck được thiết kế tối giản với chỉ hai RPC được định nghĩa trong execution.proto: một để thực thi truy vấn và một để truyền kết quả lại dưới dạng lô Arrow IPC.

Nhờ giao thức mở và đơn giản này, bạn không bị khóa vào một backend duy nhất. Bất kỳ dịch vụ nào nói được gRPC và trả về Arrow đều có thể đóng vai trò là backend tương thích OpenDuck. Bạn có thể chạy cổng gateway Rust đi kèm, thay thế bằng triển khai của riêng mình, hoặc cắm một công cụ thực thi hoàn toàn khác.

So sánh với các giải pháp khác

OpenDuck vs. MotherDuck

Trong khi MotherDuck là một dịch vụ đám mây được quản lý thương mại, OpenDuck là một dự án tự host (self-hosted) mã nguồn mở. Sự khác biệt lớn nhất nằm ở tính linh hoạt: MotherDuck sử dụng định dạng wire riêng và lưu trữ độc quyền, trong khi OpenDuck sử dụng gRPC + Arrow IPC và lưu trữ mở (Postgres metadata + object store).

OpenDuck vs. Arrow Flight SQL

Arrow Flight SQL là một giao thức cơ sở dữ liệu chung ("JDBC/ODBC qua Arrow"). Ngược lại, OpenDuck là một hệ thống chuyên biệt cho DuckDB với phạm vi hẹp hơn nhưng tích hợp sâu hơn.

• Arrow Flight SQL hoạt động với bất kỳ cơ sở dữ liệu SQL nào và yêu cầu driver riêng.
• OpenDuck tích hợp trực tiếp vào DuckDB thông qua StorageExtension và Catalog, cho phép trình tối ưu hóa của DuckDB nhìn thấy các bảng từ xa một cách tự nhiên như bảng cục bộ.

Kiến trúc hệ thống

OpenDuck bao gồm các thành phần chính sau:

1. Client (DuckDB process): Nạp phần mở rộng OpenDuck và sử dụng lệnh ATTACH để kết nối với cơ sở dữ liệu từ xa.
2. Gateway (Rust): Đóng vai trò trung gian xử lý xác thực, định tuyến, và quan trọng nhất là chia nhỏ kế hoạch truy vấn (plan splitting) để thực thi lai.
3. Worker (DuckDB): Các worker nhúng DuckDB để thực thi truy vấn thực tế và truyền luồng dữ liệu qua Arrow IPC.
4. Storage: Sử dụng PostgreSQL cho siêu dữ liệu và Object Store cho các lớp dữ liệu đã niêm phong.

Cách sử dụng nhanh

Để bắt đầu với OpenDuck, bạn có thể cài đặt phần mở rộng và kết nối bằng Python:

import duckdb
con = duckdb.connect()
con.execute("LOAD 'openduck';")
con.execute("ATTACH 'openduck:mydb?endpoint=http://localhost:7878&token=xxx' AS cloud;")

# Truy vấn từ xa trong suốt
con.sql("SELECT * FROM cloud.users").show()

# Truy vấn lai kết hợp bảng local và cloud
con.sql("SELECT * FROM local.t JOIN cloud.t2 ON ...").show()

Kết luận

OpenDuck là một bước tiến thú vị cho cộng đồng những người yêu thích DuckDB và dữ liệu mã nguồn mở. Bằng cách cung cấp một giải pháp thay thế linh hoạt cho MotherDuck, dự án này trao quyền kiểm soát nhiều hơn cho các nhà phát triển và kỹ sư dữ liệu, cho phép họ xây dựng các pipeline dữ liệu phân tán mà không phụ thuộc vào các nền tảng độc quyền.