InterchangeDB - Dự án Cơ sở Dữ liệu Mã Nguồn Mở Từ Rust Để Hiểu Rõ Hệ Thống Cơ Sở Dữ Liệu

InterchangeDB - Dự án Cơ sở Dữ liệu Mã Nguồn Mở Từ Rust Để Hiểu Rõ Hệ Thống Cơ Sở Dữ Liệu

InterchangeDB là một dự án cơ sở dữ liệu đang được phát triển từ đầu bằng ngôn ngữ Rust, với mục tiêu giúp tác giả hiểu sâu sắc cách hoạt động bên trong của các hệ thống cơ sở dữ liệu hiện đại. Thay vì chỉ dừng lại ở việc gọi các lệnh cơ bản như INSERT hay SELECT, dự án tập trung vào việc triển khai từng thành phần một cách có chủ ý, từ đó so sánh hiệu năng và hành vi qua các thử nghiệm thực tế.

Giới thiệu về InterchangeDB

Tác giả từng cảm thấy các cơ sở dữ liệu như một "hộp đen": dữ liệu được lưu vào qua lệnh INSERT, truy vấn qua SELECT, và khi có lỗi xảy ra thì dữ liệu vẫn được bảo toàn. Điều này kích thích anh bắt đầu xây dựng InterchangeDB bằng Rust nhằm hiểu rõ cách từng module như lưu trữ, bộ nhớ đệm, đồng bộ hóa, và cơ chế phục hồi hoạt động ra sao.

Dự án được lấy cảm hứng từ các hệ thống cơ sở dữ liệu học thuật như CMU BusTub, mini-lsm và ToyDB, tập trung vào modularity – mỗi thành phần của InterchangeDB đều có thể thay thế được và được thiết kế để chạy các benchmark giống hệt nhau nhằm so sánh hiệu quả.

Kiến trúc lưu trữ linh hoạt

Hiện tại, InterchangeDB hỗ trợ hai engine lưu trữ chính với đặc điểm nổi bật:

• B+Tree được triển khai trên lớp bộ quản lý bộ đệm (buffer pool manager), xử lý đọc/ghi các trang dữ liệu lên ổ đĩa. Bộ đệm này có tới sáu chính sách đẩy bộ nhớ cache (cache eviction): FIFO, Clock, LRU, LRU-K, 2Q và ARC. Điều thú vị là các chính sách này có thể thay đổi ngay khi chạy, và kết quả benchmark trên nhiều loại tải công việc lại khiến tác giả bất ngờ.

• LSM-Tree ghi dữ liệu vào memtable trước khi đồng bộ xuống các bảng sắp xếp trên đĩa (sorted string tables), sử dụng bloom filter nhằm giảm các lần đọc thừa. So sánh trực tiếp hiệu năng ghi và đọc giữa B+Tree và LSM-Tree cho thấy khoảng cách ghi khá lớn, trong khi hiệu năng đọc tương đối sát nhau.

Hai engine này được hoán đổi dễ dàng nhờ tính năng generic của Rust, giúp chạy các bộ test chuẩn trên cùng dữ liệu nhưng cấu hình engine khác nhau.

Các tính năng quản lý giao dịch và phục hồi

Bên dưới lớp lưu trữ, InterchangeDB tích hợp:

• Write-ahead log (WAL) với checkpointing để phục hồi dữ liệu khi hệ thống bị crash

• Cơ chế khóa (lock manager), phát hiện và xử lý deadlock

• Áp dụng mô hình two-phase locking (2PL) nghiêm ngặt, đảm bảo tính nhất quán ACID ở mô hình concurrency phiên bản đơn.

Hướng phát triển tiếp theo

InterchangeDB đang phát triển thêm cơ chế Multi-Version Concurrency Control (MVCC) nhằm tránh tình trạng đọc chặn ghi, giúp tối ưu hiệu năng khi đa phiên bản cùng thao tác đồng thời.

Ngoài ra, dự án dự kiến bổ sung:

• Thu gom rác (garbage collection) cho các phiên bản dữ liệu cũ

• Các bài kiểm tra căng thẳng về phục hồi dữ liệu và xử lý đồng thời để đảm bảo tính ổn định và độ tin cậy.

Mục tiêu cuối cùng là có một hệ cơ sở dữ liệu hoàn chỉnh, mà tác giả hiểu rõ từng điểm mấu chốt trong vận hành cũng như lý do tại sao các hệ sản thực lại lựa chọn hay loại bỏ đôi phần cụ thể.

Lời kết

Bạn có thể xem chi tiết dự án tại trang InterchangeDB trên GitHub.

Tác giả cũng đang tìm kiếm cơ hội hợp tác hoặc công việc trong lĩnh vực cơ sở dữ liệu, hạ tầng dữ liệu và tìm kiếm thông tin. Đối với các nhóm phát triển trong các lĩnh vực này, đây có thể là dịp để trao đổi và kết nối.

---

InterchangeDB mở ra một góc nhìn thực tế và rất đáng giá cho cộng đồng lập trình viên Việt Nam quan tâm về cách xây dựng hệ thống cơ sở dữ liệu chuyên sâu từ nền tảng mã nguồn mở, góp phần nâng cao kiến thức về công nghệ lõi đang giữ vai trò trung tâm trong nhiều ứng dụng hiện đại.