MiniLake: Giả lập API Databricks ngay trên máy cá nhân

Với những ai từng làm việc với Databricks, việc dựng một môi trường thử nghiệm thường đồng nghĩa với chi phí cluster và độ trễ kết nối đám mây. MiniLake ra đời như một giải pháp thay thế nhẹ nhàng hơn: một công cụ giả lập API Databricks chạy hoàn toàn cục bộ, hỗ trợ SQL, Delta Lake và Spark.

Dự án vừa xuất hiện trên Hacker News và nhanh chóng thu hút sự chú ý của cộng đồng kỹ sư dữ liệu nhờ cách tiếp cận thực tế: mô phỏng đúng hành vi của nền tảng thay vì chỉ giả lập bề mặt API.

Unity Catalog theo đúng nghĩa

Điểm đáng chú ý nhất của MiniLake là khả năng mô phỏng Unity Catalog một cách chân thực. Công cụ hỗ trợ đầy đủ các thao tác CRUD trên catalog, schema, bảng và volume.

Điều đặc biệt nằm ở kiến trúc bên dưới: mỗi catalog là một tệp cơ sở dữ liệu DuckDB riêng. Nhờ vậy, cách địa chỉ hóa dạng catalog.schema.table hoạt động theo đúng bản chất gốc, chứ không phải kiểu biến đổi chuỗi bằng regex như nhiều công cụ giả lập khác.

Đây là khác biệt quan trọng: khi logic phân giải tên bảng trung thực với hệ thống thật, các lỗi phát sinh trong quá trình phát triển cục bộ cũng sẽ phản ánh đúng những gì xảy ra trên môi trường production.

Thực thi thật, không chỉ trả về dữ liệu mẫu

MiniLake không dừng ở việc trả về các phản hồi JSON giả. Công cụ thực sự chạy truy vấn, xử lý dữ liệu và trả về kết quả như một cluster thật thu nhỏ.

Một số điểm nổi bật:

• Hỗ trợ SQL thông qua DuckDB, động cơ phân tích trong bộ nhớ mạnh mẽ
• Mô phỏng Delta Lake, giúp kiểm thử các quy trình lakehouse mà không cần hạ tầng đám mây
• Tương thích Spark, hỗ trợ các tác vụ xử lý dữ liệu quen thuộc
• API Databricks cục bộ, cho phép các công cụ và SDK hiện có kết nối mà không cần sửa code

Vì sao điều này hữu ích với lập trình viên Việt Nam?

Với các đội ngũ dữ liệu tại Việt Nam, chi phí sử dụng Databricks trên nền tảng đám mây có thể là rào cản đáng kể, đặc biệt với các nhóm nhỏ hoặc dự án cá nhân.

MiniLake mở ra vài lợi ích thiết thực:

• Tiết kiệm chi phí: phát triển và kiểm thử pipeline hoàn toàn miễn phí trên máy local
• Không phụ thuộc mạng: làm việc ổn định kể cả khi kết nối internet không ổn định
• Vòng lặp phát triển nhanh hơn: không phải chờ cluster khởi động cho mỗi lần thử nghiệm
• Dễ tích hợp CI/CD: có thể chạy trong pipeline kiểm thử tự động mà không cần credential đám mây

Góc nhìn kỹ thuật

Việc chọn DuckDB làm động cơ bên dưới là một quyết định hợp lý. DuckDB có hiệu năng cao cho các tác vụ phân tích, cài đặt gọn nhẹ và không cần máy chủ riêng — rất phù hợp với mục tiêu "chạy trên máy cá nhân" của dự án.

Cách ánh xạ mỗi catalog thành một tệp riêng cũng thể hiện tư duy thiết kế cẩn thận: nó tạo ra ranh giới cô lập tự nhiên giữa các catalog, đồng thời giữ cho việc sao lưu và di chuyển dữ liệu trở nên đơn giản.

Kết luận

MiniLake là ví dụ tiêu biểu cho xu hướng công cụ phát triển cục bộ mô phỏng dịch vụ đám mây đang ngày càng phổ biến — từ LocalStack cho AWS đến MinIO cho lưu trữ đối tượng. Với các kỹ sư dữ liệu muốn thử nghiệm trên Databricks mà không phải trả tiền cho từng giờ cluster, đây là một lựa chọn đáng để theo dõi.

Dự án là mã nguồn mở, bạn có thể tìm hiểu thêm và trải nghiệm tại trang chủ của MiniLake.