Polars 2.0 ra mắt: SQL hạng nhất và xử lý tràn đĩa

Công nghệ06 tháng 10, 2026·4 phút đọc

Thư viện xử lý dữ liệu Polars phát hành phiên bản 2.0 với SQL được hỗ trợ chính thức, cơ chế tràn đĩa (spill-to-disk) bật mặc định, kiểu dữ liệu Map mới và nhiều cải thiện hiệu năng lõi. Bản phát hành đưa Polars vượt DuckDB và DataFusion trên các bài đo TPC-H, TPC-DS do chính nhóm phát triển thực hiện.

Polars 2.0 ra mắt: SQL hạng nhất và xử lý tràn đĩa
Ảnh minh hoạ do AI tạo

Polars 2.0 chính thức phát hành ngày 6/10/2026. Nhóm phát triển cho biết đây không phải bản phát hành nhắm vào tính năng mới, nhưng vẫn mang theo nhiều thay đổi lớn về kiến trúc và hiệu năng.

Bản nâng cấp buộc phải tăng số phiên bản chính vì một lý do kỹ thuật: động cơ streaming (xử lý luồng) giờ là mặc định khi gọi collect trên LazyFrame.

Streaming và tràn đĩa thành mặc định

Khi gọi collect, Polars 2.0 chuyển sang động cơ streaming. Cách này giảm mạnh lượng bộ nhớ tiêu thụ và tăng tốc phần lớn truy vấn.

Đổi lại, một số phép toán như join, group_by, unpivot không còn đảm bảo thứ tự dòng. Ai cần giữ thứ tự quan sát được thì phải bật rõ ràng bằng maintain_order=True.

Chế độ out-of-core (tràn đĩa) cũng bật mặc định. Polars bắt đầu ghi tạm xuống đĩa khi bộ nhớ RAM dùng tới khoảng 80%, ngưỡng này có thể cần tinh chỉnh. Hạn mức đĩa mặc định là 64GB.

Hiện các phép toán được hỗ trợ tràn đĩa gồm sort, window function và nhiều biểu thức. Join và group_by sẽ được bổ sung sau.

SQL trở thành công dân hạng nhất

Polars 2.0 đánh dấu mốc hỗ trợ SQL ở mức chính thức. Độ phủ của Polars SQL tăng mạnh trong vài tháng gần đây.

Để SQL chạy nhanh, nhóm phát triển cải thiện bộ tối ưu truy vấn và động cơ thực thi. Các thay đổi gồm sắp xếp lại thứ tự join, loại bỏ kế hoạch con trùng lặp tốt hơn, và bộ lọc động kèm bộ lọc bloom (bloom filter).

Nhóm đo hiệu năng bằng dữ liệu sinh từ TPC-H và TPC-DS, so với DuckDB 1.5.6, DuckDB 2.0 alpha (2.0.0.dev2610011535) và DataFusion 54.0.0. Hai cấu hình máy thử là c7a.4xlarge (16 vCPU, 32GB RAM) và c7a.metal (192 vCPU, 384GB RAM).

Mỗi truy vấn chạy 5 lần, mỗi truy vấn một tiến trình riêng, giới hạn thời gian 60 giây. Bộ nhớ đệm tệp được xoá giữa các lần chạy của từng động cơ. Kết quả lấy lần chạy tốt nhất trong 5 lần.

Kết quả: Polars mặc định nhanh nhất ở gần như mọi bài đo, chỉ thua một bài. Tuy vậy Polars có chi phí cố định khi mở rộng lên 192 luồng, làm chậm các truy vấn trên tập dữ liệu nhỏ.

Giới hạn ở 32 lõi, Polars ngang bằng hoặc thắng mọi bài đo. Nhóm đã xác định nguyên nhân và dự định sửa trong bản tới.

Về khả năng mở rộng, khi chuyển từ 16 lên 192 vCPU ở mức SF100, Polars nhanh hơn 3,8 lần trên TPC-H và 2,2 lần trên TPC-DS. DuckDB 1.5.6 đạt 3,2 lần và 1,9 lần, DataFusion đạt 1,7 lần và 1,0 lần.

DataFusion bị quá thời gian ở TPC-DS q72 và một lần ở q67, đồng thời hết bộ nhớ ở TPC-H q18 trên máy 16 vCPU. Các truy vấn này bị loại khỏi kết quả của mọi động cơ.

Kiểu dữ liệu Map

Polars hỗ trợ trực tiếp Arrow MapType thành kiểu Map. Có thể hình dung Map như một từ điển Python, ánh xạ khoá sang giá trị.

Trước 2.0, Arrow MapType được đọc thành List(Struct({"key": ..., "value": ...})). Nay kiểu Map có biểu thức riêng: tra khoá cố định, tra khoá lấy từ cột khác, kiểm tra tồn tại khoá, đếm số phần tử, lấy danh sách khoá và giá trị.

df.select(
    "user",
    pl.col("scores").map.get("math").alias("math"),
    pl.col("scores").map.get(pl.col("subject")).alias("by_subject"),
    pl.col("scores").map.contains_key("art").alias("has_art"),
)

Chặt chẽ hơn, phản hồi nhanh hơn

Polars theo hướng nghiêm ngặt và báo lỗi sớm. Lỗi nên xuất hiện ngay từ đầu, không phải sau 20 phút chạy pipeline.

Các hành vi ngầm khi dữ liệu lệch kiểu phải được bật rõ ràng, vì chúng có thể che giấu lỗi. Với sự lên ngôi của phát triển bằng AI, tính nghiêm ngặt càng có giá trị.

Tác nhân AI có thể gọi collect_schema() để kiểm tra cấu trúc truy vấn sớm, phát hiện lệch kiểu ở mức lược đồ mà không cần nạp dữ liệu. Nhờ đó vòng lặp sửa lỗi nhanh hơn.

Không phải lỗi nào cũng bắt được lúc lập kế hoạch truy vấn, một số phụ thuộc vào dữ liệu. Với các trường hợp này, Polars mặc định xử lý chặt hơn để tránh âm thầm trả kết quả khác.

Góc nhìn

Với kỹ sư dữ liệu và lập trình viên Việt Nam đang dùng Polars cho pipeline phân tích, hai thay đổi lớn nhất là streaming và tràn đĩa mặc định. Máy ít RAM vẫn chạy được truy vấn nặng, đổi lại cần kiểm tra lại chỗ nào phụ thuộc thứ tự dòng.

Việc SQL lên hạng nhất mở đường cho nhóm quen SQL chuyển sang Polars mà không phải viết lại toàn bộ. Nên đọc kỹ hướng dẫn nâng cấp trước khi đẩy lên môi trường chạy thật.

Các số liệu hiệu năng ở trên do chính nhóm Polars công bố và không tuân theo quy trình TPC chính thức, nên chỉ nên xem là tham khảo. Muốn chắc chắn, hãy chạy lại bài đo với dữ liệu của chính mình.

Nguồn: pola.rs · Quy trình biên tập

Chia sẻ:FacebookX