WebLLM: Chạy mô hình AI trực tiếp trên trình duyệt, không cần máy chủ

WebLLM là một engine suy luận mã nguồn mở ấn tượng, mang sức mạnh của các mô hình ngôn ngữ lớn (LLM) như Llama 3, Phi 3 hay Qwen chạy ngay trong trình duyệt web, sử dụng WebGPU để tăng tốc phần cứng. Điều này không chỉ loại bỏ hoàn toàn chi phí vận hành máy chủ mà còn đảm bảo quyền riêng tư dữ liệu tối đa khi mọi thứ xử lý cục bộ trên thiết bị của người dùng. Được phát triển bởi nhóm MLC, dự án này là một bước tiến lớn trong việc dân chủ hóa AI, cho phép các nhà phát triển Việt Nam dễ dàng xây dựng ứng dụng chatbot hoặc trợ lý ảo với chi phí gần như bằng không.

WebLLM là gì?

WebLLM là một thư viện JavaScript (npm) cho phép tích hợp khả năng suy luận LLM trực tiếp vào các ứng dụng web. Điểm đặc biệt của WebLLM là mọi hoạt động tính toán đều diễn ra ngay trên trình duyệt của người dùng cuối, không có bất kỳ dữ liệu nào được gửi đến máy chủ. Điều này được thực hiện nhờ sự kết hợp giữa WebGPU (để tăng tốc GPU) và WebAssembly/WASM (để chạy các mô hình phức tạp).

Dự án này là một phần của hệ sinh thái MLC LLM, một nền tảng nhằm mục tiêu triển khai LLM trên mọi loại phần cứng. Với WebLLM, nhà phát triển có thể tạo ra các ứng dụng AI chat, tool hỗ trợ học tập, hoặc các trợ lý ảo hoạt động hoàn toàn ngoại tuyến, mang lại trải nghiệm riêng tư và an toàn tuyệt đối.

Các tính năng nổi bật

WebLLM không chỉ là một engine suy luận đơn thuần, mà nó được trang bị một loạt các tính năng mạnh mẽ:

• Chạy trên trình duyệt, bảo mật tuyệt đối: Toàn bộ quá trình xử lý diễn ra trên thiết bị của người dùng, giúp dữ liệu không bao giờ bị rò rỉ qua mạng.
• Tương thích hoàn toàn với OpenAI API: Bạn có thể sử dụng chính cú pháp của OpenAI API để gọi các mô hình mã nguồn mở chạy cục bộ, điều này giúp việc chuyển đổi từ dịch vụ đám mây sang chạy local trở nên cực kỳ dễ dàng.
• Hỗ trợ tạo JSON có cấu trúc (JSON-mode): Tính năng này đảm bảo đầu ra của mô hình luôn tuân thủ một schema JSON nhất định, rất hữu ích cho các ứng dụng tự động hóa và trích xuất dữ liệu.
• Hỗ trợ nhiều mô hình phổ biến: Từ các dòng Llama 3, Phi 3, Gemma, Mistral cho đến Qwen của Alibaba, giúp người dùng linh hoạt lựa chọn mô hình phù hợp với nhu cầu.
• Tích hợp "Plug-and-Play": Cài đặt thông qua npm/yarn/pnpm hoặc sử dụng trực tiếp qua CDN, giúp các lập trình viên có thể bắt đầu chỉ trong vài phút.
• Hỗ trợ Streaming và Web Worker: Giao tiếp thời gian thực với hiệu suất cao, không làm khựng giao diện người dùng nhờ việc xử lý ở các luồng nền.

WebLLM được phát hành trên npm

Bắt đầu sử dụng WebLLM như thế nào?

Việc tích hợp WebLLM vào một ứng dụng web JavaScript cực kỳ đơn giản. Đầu tiên, bạn cần cài đặt gói thư viện.

Cài đặt

Sử dụng npm hoặc yarn để cài đặt package:

# npm
npm install @mlc-ai/web-llm

# yarn
yarn add @mlc-ai/web-llm

Sau đó, bạn import thư viện vào mã nguồn của mình:

import * as webllm from "@mlc-ai/web-llm";

// Hoặc chỉ import phần cần thiết
import { CreateMLCEngine } from "@mlc-ai/web-llm";

Khởi tạo Engine

Điểm mấu chốt là hàm CreateMLCEngine() để tải mô hình. Lưu ý rằng lần tải đầu tiên sẽ mất thời gian vì phải tải về trọng số của mô hình (có thể khá nặng), nhưng sau đó chúng sẽ được lưu vào bộ nhớ cache của trình duyệt.

import { CreateMLCEngine } from "@mlc-ai/web-llm";

// Hàm callback để cập nhật tiến trình tải
const initProgressCallback = (initProgress) => {
  console.log(initProgress);
};

const selectedModel = "Llama-3.1-8B-Instruct-q4f32_1-MLC";

const engine = await CreateMLCEngine(selectedModel, {
  initProgressCallback: initProgressCallback,
});

Gọi API Chat

Sau khi engine được khởi tạo, bạn có thể gọi API theo chuẩn OpenAI để trò chuyện với mô hình:

const messages = [
  { role: "system", content: "Bạn là một trợ lý AI hữu ích." },
  { role: "user", content: "Xin chào!" },
];

const reply = await engine.chat.completions.create({
  messages,
});

console.log(reply.choices[0].message);

Với cú pháp quen thuộc này, các lập trình viên đã từng làm việc với OpenAI hoàn toàn có thể làm quen với WebLLM ngay lập tức mà không cần học thêm gì nhiều.

Ứng dụng thực tế và cộng đồng

WebLLM mở ra vô số cơ hội phát triển ứng dụng. Các lập trình viên tại Việt Nam có thể tận dụng nó để tạo ra các công cụ dịch thuật offline (giữa tiếng Việt và các ngôn ngữ khác), chatbot tư vấn cho website bán hàng mà không lo lộ dữ liệu khách hàng, hoặc các ứng dụng học tập tương tác. Về cơ bản, bất kỳ ứng dụng nào cần "trí tuệ" của AI nhưng yêu cầu độ riêng tư cao hoặc hoạt động ở những khu vực có kết nối mạng kém đều là ứng dụng tiềm năng.

Tham gia cộng đồng Discord của MLC

Dự án được khởi xướng bởi các thành viên từ CMU Catalyst, UW SAMPL, SJTU, OctoML và cộng đồng MLC. Đây là một trong những dự án tiên phong trong lĩnh vực AI trên trình duyệt, mở ra kỷ nguyên mới cho các ứng dụng web thông minh. Nếu bạn muốn dùng thử ngay mà không cần code, hãy vào thử ứng dụng demo "WebLLM Chat".

Tạm kết

WebLLM là một dự án đầy tiềm năng, hứa hẹn sẽ thay đổi cách chúng ta xây dựng và phân phối các ứng dụng AI. Với việc loại bỏ hoàn toàn chi phí máy chủ và vấn đề bảo mật dữ liệu, nó là một công cụ cực kỳ hấp dẫn cho các nhà phát triển tại Việt Nam muốn hiện thực hóa các ý tưởng AI của mình một cách nhanh chóng và hiệu quả.

Dự án liên quan: WebLLM Chat trên GitHub