ParqDB: Cách mạng hóa tìm kiếm vector với kiến trúc "không máy chủ truy vấn"

ParqDB vừa ra mắt một giải pháp đột phá trong lĩnh vực tìm kiếm vector, cho phép người dùng truy vấn trực tiếp trên 100.000 bài viết Wikipedia ngay trong trình duyệt mà không cần bất kỳ máy chủ truy vấn nào. Thay vì gửi yêu cầu đến một vector database tập trung, ParqDB tận dụng sức mạnh của WASM và giao thức HTTP Range để đọc dữ liệu trực tiếp từ object storage. Kiến trúc này không chỉ giảm thiểu chi phí vận hành đáng kể mà còn đảm bảo quyền riêng tư tuyệt đối khi dữ liệu truy vấn không bao giờ rời khỏi thiết bị của người dùng.

Kiến trúc hoàn toàn mới: Bỏ qua Vector DB truyền thống

Trong các hệ thống tìm kiếm vector truyền thống, luồng dữ liệu thường tuân theo mô hình: trình duyệt → máy chủ truy vấn → vector database → object storage. Điều này tạo ra một điểm nghẽn lớn, đòi hỏi hạ tầng máy chủ mạnh mẽ để xử lý đồng thời nhiều yêu cầu, đồng thời tiềm ẩn rủi ro rò rỉ dữ liệu người dùng.

ParqDB phá vỡ hoàn toàn mô hình này với kiến trúc "browser + WASM → HTTP Range → object storage". Trình duyệt của người dùng thực hiện toàn bộ quá trình nhúng câu truy vấn, đọc các byte range cần thiết từ object storage và xếp hạng kết quả ngay trong WASM. Không có bất kỳ máy chủ trung gian nào nhìn thấy dữ liệu truy vấn.

Quy trình hoạt động chi tiết

ParqDB xây dựng chỉ mục IVF-LVQ8 (Inverted File with Latent Variable Quantization) dựa trên các embeddings 384 chiều được tạo bởi mô hình MiniLM. Chỉ mục này được xuất bản lên object storage dưới dạng các tệp Parquet bất biến, cho phép truy cập ngẫu nhiên hiệu quả.

Người dùng nhập câu hỏi và trình duyệt sử dụng mô hình ONNX/WASM để nhúng văn bản thành vector. Sau đó, quá trình tìm kiếm diễn ra qua 4 bước chính:

• Discover: Đọc tệp manifest.json để xác định cấu trúc chỉ mục
• Route: Sử dụng centroid toàn cục LVQ8 để tìm top-n probe phù hợp nhất
• Prune: Đọc footer của các row group để chọn lọc dữ liệu liên quan
• Rank: Tính khoảng cách LVQ8 và áp dụng bounded top-k để tìm kết quả tốt nhất
• Lookup: Ánh xạ doc_id sang nội dung Wikipedia tương ứng

Hiệu suất minh bạch và khả năng quan sát

Một điểm đáng chú ý là ParqDB cung cấp công cụ query profiler hiển thị chi tiết các số liệu hiệu suất theo thời gian thực. Người dùng có thể theo dõi số lượng yêu cầu HTTP, dung lượng dữ liệu đã truyền, số lượng ứng viên được xem xét, thời gian truy vấn cũng như các sự kiện mạng và bộ nhớ cache. Điều này mang lại sự minh bạch hiếm có, giúp các nhà phát triển hiểu rõ hiệu suất của hệ thống và tối ưu hóa khi cần thiết.

Ý nghĩa đối với cộng đồng công nghệ Việt Nam

Với chi phí hạ tầng ngày càng tăng, mô hình "no query server" của ParqDB mang đến hướng đi mới đầy tiềm năng cho các startup và doanh nghiệp Việt Nam đang phát triển ứng dụng tìm kiếm. Việc loại bỏ hoàn toàn máy chủ truy vấn không chỉ giúp tiết kiệm chi phí vận hành mà còn đơn giản hóa đáng kể quy trình triển khai — chỉ cần tải chỉ mục Parquet lên object storage là hệ thống sẵn sàng hoạt động.

Ngoài ra, kiến trúc này còn đặc biệt phù hợp với xu hướng edge computing và privacy-preserving AI đang phát triển mạnh mẽ. Việc dữ liệu truy vấn không rời khỏi trình duyệt giúp các ứng dụng đáp ứng dễ dàng các yêu cầu về bảo mật dữ liệu, vốn ngày càng nghiêm ngặt tại Việt Nam theo Nghị định 13/2023/NĐ-CP về bảo vệ dữ liệu cá nhân.

Thách thức và tiềm năng phát triển

Mặc dù mang đến nhiều lợi ích vượt trội, ParqDB cũng đối mặt với một số hạn chế. Toàn bộ dữ liệu cần được xử lý tại trình duyệt, do đó yêu cầu phần cứng của người dùng phải đủ mạnh. Kiến trúc này cũng chỉ phù hợp với các tập dữ liệu có thể được indexing trước, không hỗ trợ ghi dữ liệu trực tiếp từ phía người dùng.

Tuy nhiên, với sự phát triển nhanh chóng của WebAssembly và khả năng xử lý của trình duyệt hiện đại, mô hình này hứa hẹn sẽ mở ra nhiều ứng dụng tiềm năng trong tương lai — từ tìm kiếm tài liệu nội bộ, chatbot tri thức đến các hệ thống recommendation hoạt động hoàn toàn trên thiết bị người dùng.