Giới thiệu QVAC SDK: Bộ công cụ JavaScript phổ quát giúp xây dựng ứng dụng AI chạy cục bộ

QVAC SDK là một bộ công cụ phát triển phần mềm (SDK) JavaScript/TypeScript phổ quát mới được ra mắt, giúp các lập trình viên xây dựng ứng dụng AI chạy cục bộ trên máy tính để bàn và thiết bị di động. Dự án này được phát hành dưới giấy phép mã nguồn mở Apache 2.0 với mục tiêu giúp các nhà phát triển dễ dàng tạo ra các ứng dụng AI ưu tiên xử lý cục bộ (local-first) mà không cần phải ghép nối nhiều engine, runtime và tích hợp nền tảng phức tạp khác nhau.

Nền tảng kỹ thuật và khả năng tương thích

Dưới lớp vỏ bọc, SDK được xây dựng dựa trên QVAC Fabric, một engine suy luận (inference) và tinh chỉnh (fine-tuning) đa nền tảng của nhóm phát triển. QVAC SDK sử dụng Bare, một môi trường chạy JavaScript đa nền tảng nhẹ nhàng thuộc hệ sinh thái Pear. Điều này cho phép SDK hoạt động như một worker ở hầu hết mọi nơi, với công cụ tích hợp sẵn cho Node, Bun và React Native (Hermes).

Các tính năng nổi bật

Hiện tại, QVAC SDK hỗ trợ một loạt các tính năng mạnh mẽ:

• Suy luận cục bộ đa nền tảng: Hỗ trợ chạy trên máy tính để bàn, thiết bị di động và máy chủ.
• Đa dạng mô hình AI: Hỗ trợ các Mô hình Ngôn ngữ Lớn (LLM), OCR, dịch thuật, phiên âm, chuyển văn bản thành giọng nói (text-to-speech) và các mô hình thị giác (vision models).
• Phân phối mô hình P2P: Sử dụng ngăn xếp Holepunch để phân phối mô hình ngang hàng (peer-to-peer), tương tự như cách hoạt động của BitTorrent, cho phép bất kỳ ai cũng có thể trở thành người chia sẻ (seeder).
• Kiến trúc dựa trên plugin: Cho phép thêm dễ dàng các engine và loại mô hình mới.
• Suy luận ủy quyền P2P hoàn toàn: Cho phép chia sẻ tài nguyên tính toán giữa các thiết bị.

Tài liệu và hướng dẫn

Nhóm phát triển đã dành nhiều công sức để xây dựng hệ thống tài liệu chi tiết. Các tài liệu này được cấu trúc để có thể đọc được bởi cả con người và các công cụ lập trình hỗ trợ AI, giúp các lập trình viên có thể tiến xa nhanh chóng với trợ lý lập trình yêu thích của họ.

Những điểm cần cải thiện

Mặc dù đã ra mắt, đội ngũ phát triển thừa nhận vẫn còn những điểm cần hoàn thiện:

• Kích thước gói (bundle sizes) hiện vẫn lớn hơn mong muốn do cách đóng gói các add-on của Bare chưa thực sự hiệu quả.
• Quy trình làm việc với plugin có thể đơn giản hóa hơn nữa.
• Tính năng tree-shaking (loại bỏ code không dùng đến) đã khả thi nhưng hiện vẫn cần một bước qua CLI; nhóm muốn tự động hóa và tích hợp tốt hơn vào quy trình xây dựng.

Đây chỉ là bước khởi đầu cho tầm nhìn xây dựng AI cục bộ ở quy mô lớn hơn của QVAC. Mọi phản hồi từ cộng đồng lập trình viên đều được đánh giá cao.