Honker: Biến SQLite thành hệ thống hàng đợi, Pub/Sub và lập lịch tác vụ mạnh mẽ

Honker: Biến SQLite thành hệ thống hàng đợi, Pub/Sub và lập lịch tác vụ mạnh mẽ

Honker là tiện ích mở rộng SQLite cung cấp hàng đợi bền vững, luồng sự kiện và lập lịch Cron ngay trong file cơ sở dữ liệu. Công cụ này giúp loại bỏ sự phụ thuộc vào Redis hay các broker riêng biệt, đảm bảo tính toàn vẹn dữ liệu ACID và đơn giản hóa kiến trúc ứng dụng.

SQLite ngày càng được sử dụng cho các khối lượng công việc thực tế nghiêm túc, từ nền tảng Bluesky cho đến LiteFS của Fly.io. Tuy nhiên, khi ứng dụng phát triển, nhu cầu về các hàng đợi tác vụ (task queues) và lập lịch công việc nền (background jobs) trở nên cấp thiết. Thông thường, câu trả lời phổ biến là thêm Redis kết hợp với Celery. Mặc dù giải pháp này hoạt động tốt, nhưng nó lại giới thiệu một kho lưu trữ dữ liệu thứ hai, gây ra phức tạp về sao lưu và tạo ra vấn đề "ghi kép" (dual-write) giữa bảng kinh doanh và hàng đợi.

Honker ra đời để giải quyết vấn đề này bằng cách đưa hàng đợi vào ngay trong file SQLite.

Honker SQLite Extension

Hàng đợi và Pub/Sub tích hợp sẵn

Honker là một tiện ích mở rộng có thể tải (loadable extension) của SQLite. Nó cung cấp các tính năng mạnh mẽ như:

• Hàng đợi bền vững (Durable queues).
• Luồng sự kiện (Streams).
• Cơ chế Xuất bản/Đăng ký (Pub/Sub).
• Trình lập lịch tác vụ kiểu Cron.

Điểm đặc biệt nhất là Honker thêm ngữ nghĩa NOTIFY/LISTEN kiểu Postgres vào SQLite mà không cần client polling hay chạy một daemon/broker riêng biệt. Độ trễ đánh thức đa tiến trình (cross-process wake latency) cực thấp, chỉ khoảng 0,7 ms (p50) trên các máy tính sử dụng chip M-series.

Tính toàn vẹn dữ liệu ACID

Honker đi theo triết lý rằng nếu SQLite là kho lưu trữ dữ liệu chính, thì hàng đợi cũng nên nằm trong cùng một file đó. Điều này có nghĩa là lệnh INSERT INTO orders và queue.enqueue(...) có thể cam kết (commit) trong cùng một giao dịch.

Nếu giao dịch thất bại và thực hiện rollback, công việc trong hàng đợi cũng sẽ bị hủy bỏ theo. Hàng đợi về cơ bản chỉ là các hàng trong một bảng với chỉ mục một phần (partial index), đảm bảo tính nhất quán dữ liệu tuyệt đối.

Cơ chế hoạt động hiệu quả

Honker hoạt động bằng cách thăm dò (poll) PRAGMA data_version của SQLite mỗi mili-giây. Đây là một bộ đếm đơn điệu mà SQLite tăng lên sau mỗi lần cam kết từ bất kỳ kết nối, chế độ nhật ký hay tiến trình nào.

Chi phí khi hệ thống rảnh chỉ là một lệnh SELECT nhẹ nhàng mỗi mili-giây cho mỗi cơ sở dữ liệu. Không gây áp lực lên bộ nhớ đệm trang (page-cache), không có tranh chấp khóa ghi (writer-lock contention), và không cần trình theo dõi tệp hạt nhân (kernel file watcher). Số lượng người nghe có thể mở rộng miễn phí vì tín hiệu đánh thức được chia sẻ từ một lần thăm dò chung.

Hỗ trợ đa ngôn ngữ

Vì là một tiện ích mở rộng SQLite thuần túy, bất kỳ ngôn ngữ nào có thể thực hiện lệnh SELECT load_extension('honker_ext') đều có thể sử dụng cùng một hàng đợi, luồng và thông báo trên cùng một file. Hiện tại, Honker đã có các thư viện liên kết (bindings) cho Python, Node, Rust, Go, Ruby, Bun, Elixir và C++.

Ví dụ dưới đây cho thấy cách enqueue một công việc một cách nguyên tử với một thao tác ghi dữ liệu kinh doanh trong Python:

import honker
db = honker.open("app.db")
q = db.queue("emails")

# Enqueue trong cùng một giao dịch với thao tác ghi kinh doanh
with db.transaction() as tx:
    tx.execute("INSERT INTO orders (id, total) VALUES (?, ?)", [42, 99])
    q.enqueue({"to": "[email protected]", "order_id": 42}, tx=tx)

Với Honker, các nhà phát triển có thể xây dựng các ứng dụng phức tạp hơn dựa trên SQLite mà không cần phải quản lý hạ tầng bổ sung, giúp giảm thiểu chi phí vận hành và độ phức tạp của hệ thống.