DuckDB 2.0 thay bộ phân tích SQL bằng PEG

Công nghệ21 tháng 8, 2026·4 phút đọc

DuckDB v2.0 loại bỏ bộ phân tích SQL kế thừa từ PostgreSQL, thay bằng bộ phân tích dựa trên PEG dễ mở rộng hơn. Cú pháp DuckSQL giữ nguyên, nhưng tiện ích mở rộng có thể thêm quy tắc ngữ pháp riêng ngay khi chạy.

DuckDB 2.0 thay bộ phân tích SQL bằng PEG

DuckDB v2.0 thay bộ phân tích SQL kế thừa từ PostgreSQL bằng một bộ phân tích mới dựa trên PEG (Parsing Expression Grammar, ngữ pháp biểu thức phân tích). Cú pháp DuckSQL mà người dùng quen thuộc không đổi, nhưng phần lõi phía sau thì đổi hoàn toàn.

Kiến trúc bộ phân tích dạng câyKiến trúc bộ phân tích dạng cây

Bộ phân tích làm gì trong một cơ sở dữ liệu?

DuckDB xử lý một truy vấn SQL qua nhiều bước. Ba bước đầu gồm tokenizer, parser và transformer.

  • Tokenizer tách chuỗi đầu vào thành các token như từ khóa, số hay định danh, đồng thời bỏ qua phần chú thích.
  • Parser kiểm tra các token có tuân theo ngữ pháp của DuckDB không, rồi dựng cây kết quả phân tích.
  • Transformer chuyển cây đó thành AST (cây cú pháp trừu tượng) nội bộ của DuckDB, gồm các cấu trúc như SQLStatement hay ParsedExpression. AST này được chuyển tiếp cho bộ liên kết (binder).

Parser quyết định truy vấn có hợp lệ về cú pháp hay không. Binder quyết định bảng, cột và hàm được nhắc tới có thực sự tồn tại hay không.

Một truy vấn có đủ token hợp lệ vẫn có thể bị parser từ chối nếu các mệnh đề xuất hiện sai thứ tự. Ví dụ, truy vấn đặt WHERE trước FROM sẽ báo lỗi cú pháp. DuckDB cho phép viết SELECT trước hoặc FROM trước, nhưng không cho phép xếp mệnh đề tùy ý.

Vì sao bộ phân tích cũ trở thành gánh nặng?

Bộ phân tích kế thừa từ PostgreSQL đã có mặt từ lần commit đầu tiên của DuckDB năm 2018. Nó mang lại một ngữ pháp SQL trưởng thành, đã được kiểm chứng qua thực tế.

Nhưng mỗi lần thêm cú pháp mới cho DuckSQL, nhóm phát triển phải sửa ngữ pháp YACC/Bison. Bison sinh ra bộ phân tích LALR(1), nên một thay đổi nhỏ cũng có thể xung đột với các luật sẵn có, tạo ra lỗi shift/reduce hoặc reduce/reduce. Càng nhiều tính năng, việc sửa ngữ pháp càng khó.

Nhóm DuckDB từng công bố một bài viết và một báo cáo hội nghị CIDR về bộ phân tích SQL mở rộng được khi chạy (runtime-extensible). Khi đó PEG chỉ là bản thử nghiệm, phân tích được một phần nhỏ của SQL.

PEG hoạt động thế nào?

PEG gồm các luật có tên, mô tả cách khớp đầu vào. Cách này cho phép bổ sung luật mới mà ít đụng chạm tới các luật cũ hơn so với ngữ pháp Bison.

Nhờ đó, DuckSQL đã có thêm các mệnh đề như REGISTER EXTERNAL RESOURCE, SHOW EXTERNAL RESOURCES, CONNECT TO EXTERNAL RESOURCE và DESTROY EXTERNAL RESOURCE. Lệnh COPY TO cũng hỗ trợ thêm PARTITION BY và ORDER BY.

Tiện ích mở rộng có thể tự thêm cú pháp

Đây là thay đổi lớn nhất. Trước đây, tiện ích mở rộng muốn thêm cú pháp phải chạy như bộ phân tích dự phòng. DuckDB thử phân tích trước, thất bại thì mới gọi tới tiện ích. Cách này không cho phép kết hợp cú pháp của nhiều tiện ích cùng lúc.

Với PEG, tiện ích mở rộng có thể mở rộng từng phần của bộ phân tích DuckDB: thêm token, thêm luật ngữ pháp và đăng ký bộ khớp (matcher) riêng. Phần còn lại của DuckSQL vẫn được tái sử dụng.

Ví dụ được nêu là cú pháp pipe của Google. Cú pháp này diễn đạt truy vấn thành chuỗi toán tử, mỗi toán tử nhận kết quả của toán tử trước:

FROM range(6) t(i)
|> WHERE i % 2 = 0
|> SELECT i, doubled: i * 2
|> ORDER BY i DESC;

Tiện ích chỉ cần định nghĩa cú pháp riêng của pipe. Các biểu thức, tham chiếu bảng, WHERE, SELECT và ORDER BY vẫn do DuckDB phân tích và chuyển đổi. Nhờ vậy, cú pháp mới dùng chung được với các tính năng sẵn có như hàm range() hay đặt bí danh tiền tố.

API mở rộng ngữ pháp khi chạy vẫn ở dạng xem trước và có thể thay đổi trước khi DuckDB v2.0 phát hành chính thức.

Nhóm phát triển cho biết các truy vấn DuckSQL hiện có vẫn chạy như trước. Nếu gặp truy vấn hành xử khác đi với bộ phân tích PEG, người dùng được khuyến khích gửi báo lỗi trên GitHub.

Góc nhìn

Đổi bộ phân tích là việc nội bộ, nhưng ảnh hưởng tới cách các nhóm dữ liệu mở rộng công cụ của họ. Trước đây, ai muốn thêm cú pháp riêng phải tự viết lại phần lớn ngữ pháp SQL. Nay họ chỉ cần mô tả phần mới, phần còn lại dùng lại của DuckDB.

Với kỹ sư dữ liệu, rủi ro chính nằm ở các truy vấn phụ thuộc vào hành vi cũ của parser. Khi nâng lên v2.0, nên chạy lại bộ kiểm thử truy vấn để phát hiện sớm chỗ lệch hành vi.

Với nhóm phát triển tiện ích mở rộng, API mới còn ở dạng xem trước. Nên chờ bản chính thức trước khi đưa vào sản phẩm.

Nguồn: duckdb.org · Quy trình biên tập

Chia sẻ:FacebookX