DuckDB v2.0: Hé lộ toàn cảnh các tính năng đột phá cho cơ sở dữ liệu phân tích

DuckDB, cơ sở dữ liệu phân tích nhúng (in-process) nổi tiếng, vừa chính thức hé lộ những tính năng chính của phiên bản lớn v2.0 mang tên mã "Cyanoptera". Với hơn 10.000 commit kể từ phiên bản v1.5, bản phát hành này đánh dấu một bước ngoặt lớn khi đưa DuckDB lên một tầm cao mới với vai trò một máy chủ cơ sở dữ liệu thực thụ, cùng vô số cải tiến về hiệu suất và trải nghiệm người dùng.

DuckDB v2.0: Bước nhảy vọt về kiến trúc và hiệu năng

Theo thông báo chính thức từ đội ngũ phát triển, phiên bản DuckDB v2.0 được xem là bản phát hành tính năng lớn nhất từ trước đến nay, đánh dấu "năm của DuckDB như một máy chủ" sau "năm của lakehouse" trước đó. Bản cập nhật này không chỉ là một phiên bản nhỏ mà là một "major version bump" thực sự với những thay đổi sâu rộng: trình phân tích cú pháp (parser) SQL mới, định dạng lưu trữ mới, và API C được thiết kế lại.

Minh họa cho DuckDB v2.0

Chế độ máy chủ (Server Mode) và lệnh CONNECT: Định hình tương lai

Điểm nhấn lớn nhất của v2.0 chính là khả năng hoạt động như một máy chủ cơ sở dữ liệu thông qua extension quack. Tính năng này cho phép bất kỳ phiên bản DuckDB nào có thể phục vụ cơ sở dữ liệu của mình qua mạng, và các phiên bản DuckDB khác có thể kết nối và truy vấn từ xa bằng câu lệnh CONNECT mới. Điều này giải quyết nhu cầu dai dẳng của cộng đồng về một chế độ client/server mà không phải từ bỏ sự tiện lợi của một cơ sở dữ liệu nhúng.

-- Trên máy chủ
CALL quack_serve(token = 'my_token');

-- Trên máy khách
ATTACH 'quack:server.example.com' AS qk (TOKEN 'my_token');
CONNECT qk;
SELECT count(*) FROM events;
-- Truy vấn trên máy chủ, kết quả trả về trực tiếp
DISCONNECT;

Không chỉ dừng lại ở giao thức riêng, CONNECT còn cho phép kết nối trực tiếp đến các hệ quản trị cơ sở dữ liệu khác như PostgreSQL và MySQL, đẩy các truy vấn SQL xuống máy chủ thay vì phải kéo toàn bộ dữ liệu về. Đây là một bước tiến quan trọng giúp DuckDB có thể cạnh tranh trực diện với các hệ quản trị cơ sở dữ liệu truyền thống trong các tác vụ phân tích, đồng thời giải quyết các bài toán đa người dùng dài hạn với hệ thống metrics và observability mới.

VARIANT, Triggers và Hệ Sinh thái Mở rộng

Bên cạnh kiến trúc máy chủ, DuckDB v2.0 cũng nâng cấp đáng kể trải nghiệm xử lý dữ liệu bán cấu trúc với kiểu dữ liệu VARIANT. Được giới thiệu từ v1.5, VARIANT giúp việc lưu trữ và truy vấn các dữ liệu dạng JSON trở nên nhanh và linh hoạt hơn nhờ khả năng tự động phát hiện cấu trúc dữ liệu. Trong v2.0, toàn bộ pipeline này đã hoạt động trọn vẹn, từ lưu trữ, nén cho đến thực thi truy vấn, khiến VARIANT trở thành lựa chọn hoàn hảo cho việc thu thập log thời gian thực.

Một yêu cầu lâu năm khác của cộng đồng cũng đã được đáp ứng: Triggers. Phiên bản mới hỗ trợ hầu hết các tính năng trigger chuẩn SQL như BEFORE, AFTER, FOR EACH ROW, FOR EACH STATEMENT, và bảng chuyển tiếp (REFERENCING OLD/NEW TABLE), mở ra khả năng xây dựng các hệ thống kiểm toán (audit) một cách dễ dàng.

CREATE TABLE target (id INTEGER, val INTEGER);
CREATE TABLE audit (id INTEGER, old_val INTEGER, new_val INTEGER);

CREATE TRIGGER trg_audit AFTER UPDATE ON target
REFERENCING OLD TABLE AS o NEW TABLE AS n
FOR EACH STATEMENT
INSERT INTO audit
SELECT n.id, o.val, n.val
FROM o
JOIN n ON o.id = n.id;

Hiệu Suất Vượt Trội và Cộng Đồng Phát Triển Bền Vững

Về hiệu năng, DuckDB v2.0 mang đến những cải tiến rõ rệt. Việc giới thiệu I/O bất đồng bộ (Asynchronous I/O) cho phép lớp I/O mở rộng quy mô độc lập với lớp xử lý truy vấn, giúp tăng tốc đáng kể khi đọc dữ liệu từ các nguồn mạng như S3. Kết quả benchmark cho thấy một truy vấn đệ quy (recursive CTE) trên đồ thị một triệu cạnh giảm thời gian chạy từ 4,90 giây xuống còn 0,12 giây, nhanh hơn khoảng 40 lần so với phiên bản v1.5.4.

Đội ngũ phát triển cũng đặc biệt chú trọng đến hệ sinh thái extension. Với việc mở rộng C API ổn định và bộ sinh mã từ đặc tả YAML, các nhà phát triển extension chỉ cần viết và biên dịch một lần là có thể sử dụng vĩnh viễn qua các phiên bản DuckDB. Thậm chí, tính năng CREATE EXTENSION REPOSITORY mới cho phép các tổ chức tự lưu trữ, ký và phân phối extension của riêng mình, tạo nên một hệ sinh thái mở, an toàn và bền vững hơn.

Minh họa về I/O bất đồng bộ

DuckDB v2.0 cũng sẽ loại bỏ hoàn toàn sự phụ thuộc vào thư viện ICU, thay vào đó tự triển khai các chức năng về múi giờ, lịch và collations nhỏ gọn hơn (chỉ khoảng 45 kB) và nhanh hơn gấp 2,2-2,6 lần. Trình phân tích cú pháp SQL cũng được thay thế hoàn toàn bằng một bộ phân tích PEG hiện đại, cho phép các extension có thể tự mở rộng cú pháp SQL – một ý tưởng táo bạo và đầy tiềm năng.

Bản phát hành chính thức của DuckDB v2.0 dự kiến diễn ra vào mùa thu năm 2026. Các bản preview đã có sẵn các tính năng này và cộng đồng có thể bắt đầu trải nghiệm ngay hôm nay.