Kiến trúc lõi TigerBeetle: Giải mã kỹ thuật tối ưu hiệu năng

Khi đánh giá các kiến trúc cơ sở dữ liệu hiệu năng cao, cuộc trò chuyện thường xoay quanh việc mở rộng ngang, phân vùng phân tán, hay tối ưu hóa truy vấn. Tuy nhiên, đối với các hệ thống giao dịch quan trọng như sổ cái tài chính, nút thắt cổ chai thực sự hiếm khi nằm ở mạng lưới hay bộ lập lịch truy vấn; thay vào đó là nhân hệ điều hành, phân mảnh bộ nhớ và độ trễ đuôi khó lường. TigerBeetle, một cơ sở dữ liệu sổ cái tài chính chuyên biệt được viết bằng Zig, thách thức các thiết kế cơ sở dữ liệu thông thường bằng cách ưu tiên sự tương tác cơ học tối đa, phân bổ tài nguyên tĩnh và giao diện zero-copy tùy chỉnh.

TigerBeetle loại bỏ hoàn toàn việc cấp phát bộ nhớ động sau giai đoạn khởi tạo, sử dụng I/O trực tiếp (O_DIRECT) với io_uring và áp dụng mô hình thực thi đơn luồng dựa trên Viewstamped Replication (VSR) để đạt được hàng trăm nghìn giao dịch mỗi giây với độ trễ đuôi dưới mili-giây có thể dự đoán được. Những lựa chọn kiến trúc táo bạo này biến TigerBeetle thành một lớp học điển hình về kỹ thuật hiệu năng hiện đại, mang lại những bài học thực tiễn cho các kiến trúc sư hệ thống.

Cấp phát tĩnh: loại bỏ chi phí bộ nhớ trong thời gian chạy

Trong các hệ thống cơ sở dữ liệu truyền thống, quản lý bộ nhớ diễn ra rất năng động. Khi các truy vấn đến, cơ sở dữ liệu sẽ cấp phát bộ nhớ cho các bộ đệm kết nối, kế hoạch truy vấn, bộ đệm sắp xếp tạm thời và trạng thái giao dịch. Dù các bộ cấp phát bộ nhớ hiện đại như jemalloc hay tcmalloc đã được tối ưu hóa cao, chúng không thể tránh khỏi tranh chấp luồng, phân mảnh bộ nhớ và các đợt tăng độ trễ khó lường trong lúc tải cao điểm. Trong một sổ cái tài chính, nơi một giao dịch bị trễ duy nhất có thể làm gián đoạn các đường ống thanh toán phía sau, những đợt tăng độ trễ này (thường được gọi là vấn đề "hàng xóm ồn ào" hay "đuôi dài") là điều không thể chấp nhận được.

TigerBeetle giải quyết vấn đề này bằng cách loại bỏ hoàn toàn việc cấp phát bộ nhớ động (malloc, free hoặc các hàm tương đương) sau giai đoạn khởi tạo. Khi tiến trình TigerBeetle khởi động, nó tính toán và cấp phát tất cả bộ nhớ mà nó sẽ cần trong suốt vòng đời, bao gồm bộ nhớ cho bộ đệm mạng, bộ nhớ đệm lưu trữ, nhật ký giao dịch và các trạng thái máy đồng thuận. Sau khi giai đoạn khởi tạo hoàn tất, bộ cấp phát gần như bị "đóng băng", hệ thống hoạt động hoàn toàn trong các mảng tĩnh và bộ đệm vòng được cấp phát trước.

Lợi ích chính của thiết kế này:

• Không phân mảnh bộ nhớ: vì bộ nhớ không bao giờ được giải phóng hay cấp phát lại trong thời gian chạy, tình trạng phân mảnh heap là bất khả thi.
• Độ trễ đuôi xác định: không có trình quản lý bộ nhớ tìm kiếm khối trống hay chạy chu kỳ dọn rác, mọi chu kỳ CPU đều dành cho việc xử lý giao dịch.
• Khả năng dự đoán ở cấp độ phần cứng: các khối bộ nhớ được cấp phát trước có thể được căn chỉnh chính xác theo các dòng bộ nhớ cache của CPU và ranh giới trang, giảm thiểu lỗi TLB.

Tuy nhiên, sự cứng nhắc là một đánh đổi lớn. Bạn phải xác định số lượng kết nối đồng thời tối đa, kích thước lô tối đa và kích thước bộ đệm lưu trữ tối đa tại thời điểm khởi động hoặc biên dịch. Nếu khối lượng công việc vượt quá các giới hạn này, TigerBeetle sẽ không mở rộng bộ nhớ một cách linh hoạt mà thay vào đó sẽ áp dụng backpressure hoặc từ chối các yêu cầu. Đánh đổi này hoàn toàn chấp nhận được trong lĩnh vực tài chính, nơi sự an toàn và ổn định được đặt lên hàng đầu.

Giao diện zero-copy và bypass nhân hệ điều hành

Ngay cả với cấp phát bộ nhớ tĩnh, một cơ sở dữ liệu vẫn có thể dễ dàng bị tắc nghẽn bởi ngăn xếp I/O của hệ điều hành. Trong một cơ sở dữ liệu tiêu chuẩn, việc ghi giao dịch vào đĩa liên quan đến việc sao chép dữ liệu từ bộ đệm không gian người dùng sang bộ đệm trang của nhân hệ điều hành, và cuối cùng là xả các trang đó vào bộ lưu trữ vật lý. Quá trình này bao gồm nhiều cuộc gọi hệ thống, chuyển đổi ngữ cảnh và sao chép bộ nhớ, tiêu tốn chu kỳ CPU và băng thông bộ nhớ quý giá.

Kiến trúc hệ thống TigerBeetle

TigerBeetle vượt qua những nút thắt này bằng cách kết hợp I/O trực tiếp (O_DIRECT) với giao diện I/O không đồng bộ hiện đại của Linux, io_uring. Khi TigerBeetle nhận một lô giao dịch qua mạng, dữ liệu được đọc trực tiếp vào một bộ đệm tĩnh được cấp phát trước và đăng ký trực tiếp với io_uring. Khi cần lưu chúng vào nhật ký ghi trước (WAL), TigerBeetle gửi một yêu cầu I/O tới io_uring trỏ đến chính xác địa chỉ bộ nhớ đó. Trình điều khiển lưu trữ của nhân hệ điều hành đọc trực tiếp từ khối bộ nhớ không gian người dùng này và ghi nó tới bộ điều khiển NVMe thông qua Truy cập bộ nhớ trực tiếp (DMA), hoàn toàn bỏ qua bộ nhớ đệm trang.

Điểm mấu chốt tạo nên hiệu quả của cơ chế zero-copy này là TigerBeetle cấu trúc các thực thể dữ liệu cốt lõi—Accounts và Transfers—dưới dạng các struct có kích thước cố định 128 byte. Vì 128 byte là bội số của các dòng bộ nhớ cache CPU (64 byte) và kích thước sector tiêu chuẩn (512 hoặc 4096 byte), TigerBeetle có thể đóng gói các struct này hoàn hảo vào các trang bộ nhớ và sector đĩa. Không cần các giao thức tuần tự hóa phức tạp như JSON, Protocol Buffers hay thậm chí là bộ mã hóa nhị phân tùy chỉnh. Biểu diễn bộ nhớ của struct Account trong Zig giống hệt biểu diễn trên đĩa của nó.

Vòng lặp thực thi đơn luồng và giao thức đồng thuận VSR

Nhiều cơ sở dữ liệu hiện đại cố gắng tối đa hóa thông lượng bằng cách song song hóa việc thực thi giao dịch trên nhiều lõi CPU bằng các cơ chế khóa phức tạp, MVCC hoặc mô hình actor. Tuy nhiên, việc song song hóa các cập nhật trạng thái giao dịch—đặc biệt trong sổ cái tài chính nơi số dư tài khoản phải được kiểm tra và cập nhật tuần tự—gây ra tranh chấp khóa nghiêm trọng, chi phí đồng bộ hóa luồng và nguy cơ deadlock.

TigerBeetle áp dụng mô hình thực thi đơn luồng cho các máy trạng thái lõi, lấy cảm hứng từ mẫu LMAX Disruptor. Tất cả việc xác thực giao dịch, kiểm tra số dư và cập nhật sổ cái được thực hiện tuần tự trên một luồng CPU chuyên dụng duy nhất. Vì chỉ có một luồng sửa đổi trạng thái sổ cái, TigerBeetle không cần khóa, semaphore hay các kiểm soát đồng thời phức tạp. Luồng thực thi có thể chạy ở tần số CPU tối đa, kéo các lô giao dịch từ một bộ đệm vòng không khóa và xử lý tuần tự trong bộ nhớ cache L1/L2.

Chi tiết kỹ thuật hiệu năng TigerBeetle

Để giữ cho luồng đơn này luôn bận rộn, TigerBeetle dựa vào batching mạnh mẽ và một giao thức đồng thuận tùy chỉnh dựa trên Viewstamped Replication (VSR). Thay vì xử lý từng giao dịch một, TigerBeetle nhóm chúng thành các lô lớn (ví dụ: lên đến 8.192 chuyển khoản mỗi lô). Lớp đồng thuận sao chép các lô này qua mạng tới các nút follower. Khi một lô được cam kết bởi quorum, nó được chuyển cho vòng lặp thực thi đơn luồng để xử lý toàn bộ trong một lần duy nhất, cập nhật trạng thái trong bộ nhớ và ghi kết quả vào bộ lưu trữ trong một thao tác ghi đĩa tuần tự duy nhất. Chiến lược này biến hàng nghìn thao tác I/O ngẫu nhiên nhỏ thành một hoạt động tuần tự cực kỳ hiệu quả, tối đa hóa thông lượng vật lý của ổ NVMe và giao diện mạng.

Bố cục bộ nhớ, tính cục bộ cache và hệ thống kiểu dữ liệu của Zig

Ở cấp độ phần cứng, tốc độ mã của bạn phần lớn được quyết định bởi cách bạn tận dụng hệ thống phân cấp bộ nhớ cache của CPU. Truy cập RAM mất khoảng 50 đến 100 nano giây—một khoảng thời gian rất dài trong các hệ thống hiệu năng cao. Nếu công cụ cơ sở dữ liệu của bạn liên tục truy đuổi con trỏ trên heap (điều thường thấy trong các ngôn ngữ có tham chiếu đối tượng nặng nề như Java, Go hoặc Python), CPU sẽ dành phần lớn thời gian để chờ dữ liệu từ RAM.

Zig’s type system phù hợp đặc biệt cho kiểu kỹ thuật hiệu năng này. Không giống như C++, vốn cho phép cấp phát bộ nhớ ngầm định và các constructor sao chép phức tạp, Zig ép buộc kiểm soát rõ ràng từng byte bộ nhớ. Không có luồng điều khiển ẩn, không có sự ép kiểu ngầm định gây sao chép, và không có chi phí runtime từ bảng phương thức ảo (vtable) trừ khi được thiết kế rõ ràng.

Hơn nữa, công cụ thực thi thời gian biên dịch (comptime) của Zig cho phép TigerBeetle thực hiện xác thực rộng rãi các cấu trúc dữ liệu, căn chỉnh và cấu hình hệ thống. Ví dụ, TigerBeetle sử dụng comptime để xác minh rằng kích thước các khối lưu trữ là bội số hoàn hảo của kích thước sector đĩa và tất cả các struct quan trọng được căn chỉnh theo ranh giới dòng cache. Nếu một thay đổi kiến trúc vi phạm các ràng buộc hiệu năng quan trọng này, quá trình build sẽ thất bại ngay lập tức, ngăn chặn sự suy giảm hiệu năng xuất hiện trong môi trường production.

Kết luận và bài học cho kiến trúc sư hệ thống

Kiến trúc hệ thống lõi của TigerBeetle chứng minh rằng hiệu suất cực cao không đạt được bằng cách thêm sự phức tạp, mà bằng cách loại bỏ nó một cách có hệ thống. Bằng cách chống lại việc cấp phát bộ nhớ động, vượt qua kernel hệ điều hành với I/O trực tiếp zero-copy, và sử dụng vòng lặp thực thi đơn luồng, TigerBeetle căn chỉnh kiến trúc phần mềm của mình một cách hoàn hảo với các giới hạn vật lý của phần cứng hiện đại.

Ba bài học chính từ thiết kế TigerBeetle:

• Ưu tiên khả năng dự đoán: nếu hệ thống của bạn yêu cầu độ trễ đuôi thấp, hãy loại bỏ cấp phát động để chuyển sang các nhóm tài nguyên tĩnh, được cấp phát trước.
• Tận dụng batching để giảm chi phí: batching là nhân tố nhân hiệu suất cuối cùng, biến các thao tác I/O ngẫu nhiên đắt đỏ thành các đường ống tuần tự hiệu quả.
• Căn chỉnh phần mềm với phần cứng: cấu trúc mô hình dữ liệu cốt lõi để phù hợp với dòng cache CPU và ranh giới sector đĩa, tối đa hóa hiệu quả phần cứng và giảm thiểu thời gian chờ CPU.

Bằng cách áp dụng các nguyên tắc "mechanical sympathy" này, bạn có thể xây dựng các hệ thống không chỉ nhanh hơn nhiều lần mà còn đáng tin cậy và ổn định hơn đáng kể khi chịu tải cực cao—một lợi thế chiến lược không thể phủ nhận trong thời đại dữ liệu và giao dịch trực tuyến bùng nổ tại Việt Nam và trên toàn cầu.