NumExpr: Giải pháp tăng tốc tính toán mảng cho Python và NumPy

Trong hệ sinh thái Python, NumPy là thư viện nền tảng cho tính toán khoa học, nhưng khi xử lý các mảng dữ liệu khổng lồ hoặc các biểu thức phức tạp, hiệu suất đôi khi vẫn là một vấn đề. NumExpr ra đời như một giải pháp để giải quyết bài toán này, hoạt động như một trình đánh giá biểu thức số học tốc độ cao dành cho NumPy, Pandas và các thư viện tương tự.

PyPI Version

NumExpr là gì?

NumExpr là một công cụ mã nguồn mở giúp tăng tốc các biểu thức thao tác trên mảng (ví dụ: 3*a+4*b). Nó không chỉ giúp thực hiện tính toán nhanh hơn mà còn sử dụng ít bộ nhớ hơn so với việc thực hiện cùng một phép tính bằng Python thuần túy hay NumPy mặc định. Điểm mạnh lớn nhất của NumExpr là khả năng đa luồng (multi-threaded), cho phép tận dụng tất cả các nhân (cores) trên CPU của bạn để đạt được hiệu suất đáng kể.

ReadTheDocs Status

Cơ chế hoạt động và Hiệu suất

Lý do chính giúp NumExpr vượt trội hơn NumPy nằm ở cách nó quản lý bộ nhớ. Thay vì cấp phát bộ nhớ cho các kết quả trung gian trong quá trình tính toán, NumExpr tránh điều này, dẫn đến việc sử dụng bộ nhớ đệm (cache) của CPU tốt hơn và giảm thiểu truy cập bộ nhớ nói chung.

NumExpr hoạt động bằng cách phân tích cú pháp các biểu thức thành các mã op-code riêng, sau đó sử dụng một máy ảo tích hợp để xử lý. Các toán hạng mảng được chia nhỏ thành các khúc (chunks) vừa vặn với bộ nhớ cache của CPU và được chuyển đến máy ảo. Các khúc dữ liệu này sau đó được phân phối cho các nhân CPU khả dụng, tạo ra sự thực thi mã song song hóa cao độ.

Theo các bài kiểm tra chuẩn (benchmarks), NumExpr thường mang lại tốc độ nhanh hơn NumPy từ 0.95x (đối với biểu thức đơn giản như a + 1) đến 4x (đối với biểu thức phức tạp như a*b-4.1*a > 2.5*b). Đối với một số hàm và phép toán toán học phức tạp, tốc độ có thể tăng lên tới 15 lần.

Hỗ trợ Intel MKL

Ngoài khả năng đa luồng, NumExpr còn có thể tận dụng thư viện VML (Vector Math Library) của Intel, thường được tích hợp trong Math Kernel Library (MKL). Điều này cho phép tăng tốc thêm các biểu thức siêu việt (transcendental expressions) như lượng giác, hàm mũ, v.v., đặc biệt là trên các kiến trúc Intel.

Cài đặt và Sử dụng

Việc cài đặt NumExpr rất đơn giản và hỗ trợ nhiều nền tảng khác nhau:

• Sử dụng pip:

  pip install numexpr
  

• Sử dụng conda (được khuyến nghị nếu dùng Anaconda/Miniconda để có hỗ trợ MKL):

  conda install numexpr
  

Ví dụ về cách sử dụng:

import numpy as np
import numexpr as ne

a = np.arange(1e6)
b = np.arange(1e6)

# Đánh giá biểu thức đơn giản
ne.evaluate("a + 1")

# Đánh giá biểu thức phức tạp
ne.evaluate("a * b - 4.1 * a > 2.5 * b")

# Sử dụng các hàm toán học
ne.evaluate("sin(a) + arcsinh(a/b)")

Hỗ trợ Free-threading trên CPython 3.13

Một điểm mới đáng chú ý là NumExpr đã được chứng minh là hoạt động tốt trên phiên bản CPython 3.13 trở lên, nơi Global Interpreter Lock (GIL) bị vô hiệu hóa (free-threading). Điều này giúp tăng hiệu suất trong điều kiện đa luồng trên một trình thông dịch duy nhất. Tuy nhiên, người dùng cần lưu ý đến việc cân bằng giữa việc sử dụng API song song của NumExpr và các luồng Python để tránh tình trạng "oversubscription" (quá tải đăng ký tài nguyên).

Với những ưu điểm về tốc độ và tối ưu hóa tài nguyên, NumExpr là một công cụ không thể thiếu đối với các kỹ sư và nhà khoa học dữ liệu đang làm việc với Python.