Honker: Mở rộng SQLite mang đến tính năng thông báo và hàng đợi kiểu Postgres

Honker: Mở rộng SQLite mang đến tính năng thông báo và hàng đợi kiểu Postgres

SQLite ngày càng trở thành lựa chọn phổ biến cho nhiều dự án phần mềm nhờ tính nhẹ nhàng và dễ sử dụng. Tuy nhiên, khi các ứng dụng này cần mở rộng để bao gồm các tính năng như pub/sub (xuất bản/đăng ký) hoặc hàng đợi tác vụ (task queue), các nhà phát triển thường phải bổ sung thêm Redis và Celery. Điều này dẫn đến sự phức tạp trong vận hành, vấn đề sao lưu dữ liệu kép và khó khăn trong việc đồng bộ giao dịch.

Honker là một dự án mới nhằm giải quyết vấn đề này bằng cách đưa các tính năng của Postgres vào chính SQLite.

Honker là gì?

Honker là một tiện ích mở rộng (extension) cho SQLite cùng với các thư viện liên kết ngôn ngữ (language bindings), được viết bằng Rust. Nó thêm ngữ nghĩa NOTIFY/LISTEN kiểu Postgres vào SQLite, cung cấp sẵn các tính năng pub/sub bền vững, hàng đợi tác vụ và luồng sự kiện (event streams).

Mục tiêu của Honker là loại bỏ nhu cầu chạy một daemon hay broker riêng biệt (như Redis) và không yêu cầu client thực hiện polling liên tục.

Tính năng nổi bật

Điểm mạnh nhất của Honker nằm ở khả năng tích hợp sâu với cơ chế giao dịch của SQLite:

• Giao dịch nguyên tử (Atomic Transactions): Bạn có thể chèn một đơn hàng vào bảng kinh doanh và xếp một email vào hàng đợi trong cùng một giao dịch. Nếu giao dịch thất bại và rollback, cả dữ liệu đơn hàng và tác vụ gửi email đều bị hủy, đảm bảo tính nhất quán dữ liệu.
• Hiệu suất cao: Honker hoạt động bằng cách thay thế khoảng thời gian polling bằng các thông báo sự kiện trên tệp WAL (Write-Ahead Log) của SQLite. Điều này cho phép đạt được độ trễ giao tiếp giữa các tiến trình ở mức đơn digit milliseconds (chỉ vài mili-giây).
• Đa ngôn ngữ: Honker hỗ trợ nhiều ngôn ngữ lập trình bao gồm Python, Node.js, Rust, Go, Ruby, Bun, Elixir và C++. Bất kỳ ngôn ngữ nào có thể thực hiện lệnh SELECT load_extension('honker') đều có thể sử dụng các tính năng này.

Cách hoạt động

Honker yêu cầu cơ sở dữ liệu SQLite phải ở chế độ WAL (Write-Ahead Log). Thay vì thực hiện các truy vấn SQL định kỳ để kiểm tra công việc mới (polling), Honker theo dõi sự thay đổi của tệp .db-wal.

Khi một giao dịch được commit, tệp WAL thay đổi kích thước hoặc thời gian sửa đổi, kích hoạt một tín hiệu đánh thức cho các tiến trình đang lắng nghe. Các worker sau đó thực hiện truy vấn để lấy các công việc mới một cách hiệu quả thông qua các chỉ mục phần (partial indexes).

Các trường hợp sử dụng chính

Honker cung cấp ba nguyên thủy chính để xử lý các tác vụ nền:

1. Hàng đợi công việc (Queue): Hỗ trợ retry, độ ưu tiên, công việc trì hoãn và bảng dead-letter cho các tác vụ thất bại.
2. Luồng sự kiện bền vững (Stream): Cho phép nhiều consumer theo dõi các sự kiện với offset riêng biệt, đảm bảo xử lý ít nhất một lần (at-least-once).
3. Thông báo tức thời (Notify): Cơ chế pub/sub tạm thời, nơi lịch sử không được phát lại, phù hợp cho các cập nhật thời gian thực.

Ví dụ sử dụng

Dưới đây là một đoạn mã mẫu trong Python minh họa việc xếp hàng một email một cách nguyên tử với việc tạo đơn hàng:

import honker

db = honker.open("app.db")
emails = db.queue("emails")

with db.transaction() as tx:
    # Ghi dữ liệu kinh doanh
    tx.execute("INSERT INTO orders (user_id) VALUES (?)", [42])
    # Xếp email vào hàng đợi trong cùng một giao dịch
    emails.enqueue({"to": "[email protected]"}, tx=tx)

Kết luận

Honker là một giải pháp hấp dẫn cho các ứng dụng sử dụng SQLite làm cơ sở dữ liệu chính nhưng cần sức mạnh của hệ thống thông báo và hàng đợi. Bằng cách tận dụng kiến trúc đơn máy (single-server) và chế độ WAL của SQLite, Honker loại bỏ sự phức tạp vận hành của việc thêm một hệ thống hàng đợi bên ngoài thứ hai.

Dự án hiện vẫn đang ở giai đoạn thử nghiệm và API có thể thay đổi, nhưng nó là một công cụ đầy triển vọng cho các nhà phát triển muốn đơn giản hóa stack công nghệ của mình.