MicroLLM Lab: Thử nghiệm 7 mô hình ngôn ngữ nhỏ ngay trên trình duyệt

Trong bối cảnh các mô hình ngôn ngữ lớn ngày càng đòi hỏi hạ tầng mạnh mẽ, một dự án mang tên MicroLLM Lab đang thu hút sự chú ý của cộng đồng công nghệ khi chứng minh rằng trí tuệ nhân tạo có thể chạy ngay trên trình duyệt web của bạn.

MicroLLM Lab là gì?

MicroLLM Lab là một phòng thí nghiệm ảo cho phép người dùng chạy thử 7 mô hình ngôn ngữ siêu nhỏ (tiny LLM) trực tiếp trong trình duyệt. Theo mô tả của dự án, đây là công cụ phục vụ mục đích đo lường chứ không phải đánh giá chất lượng văn bản.

"Một mô hình 135M tham số được phép thất bại — đó chính là kết quả đo lường."

Cách tiếp cận này khá thú vị: thay vì kỳ vọng mô hình nhỏ phải trả lời hoàn hảo, dự án tập trung vào việc kiểm tra khách quan bằng biểu thức chính quy (regex) và các token chính xác.

Cách hoạt động và những gì được đo

Người dùng có thể chọn mô hình, sau đó chạy các bài kiểm tra (test suite) trên mô hình đang hoạt động hoặc trên tất cả mô hình đã tải. Công cụ cung cấp các chỉ số quan trọng như:

• Tốc độ đỉnh cao nhất (Highest Peak Speed) — bài kiểm tra đơn lẻ nhanh nhất
• Tốc độ duy trì cao nhất (Highest Sustained Speed) — giải mã liên tục 256 token
• Tốc độ duy trì trung bình — tính trên các mô hình đã kiểm thử
• Tổng điểm benchmark — tổng thời gian chạy toàn bộ bài kiểm tra

Đáng chú ý, mọi số liệu đều ở lại trên máy của người dùng, không gửi lên máy chủ. Điều này phù hợp với xu hướng AI chạy cục bộ (local AI) đang lên, giúp bảo vệ quyền riêng tư và giảm phụ thuộc vào đám mây.

Tạo chứng nhận hiệu năng và chia sẻ

Một tính năng đáng chú ý khác là khả năng tạo chứng nhận benchmark có thể xác minh. Người dùng nhập tên hoặc handle cùng thông tin phần cứng thiết bị, từ đó tạo ra chứng nhận hiệu năng kèm tốc độ token/giây đỉnh và duy trì.

Chứng nhận này có thể tải về dưới dạng ảnh PNG, sao chép vào clipboard, hoặc chia sẻ trực tiếp lên X (Twitter) và LinkedIn. Đây là cách khéo léo để biến việc đo hiệu năng thành một hoạt động mang tính cộng đồng.

Viết benchmark bằng JavaScript

MicroLLM Lab còn cho phép người dùng tự viết bài kiểm tra bằng JavaScript. Trình soạn thảo sẽ được eval() trong cùng origin, sau đó mỗi bài kiểm tra chạy trên phần văn bản đã được giải mã của mô hình.

Công cụ hỗ trợ hai dạng kiểm tra phổ biến:

• Dạng đối tượng (object) — kiểm tra cấu trúc đầu ra
• Dạng hàm (function) — kiểm tra logic tùy chỉnh

Ngoài ra còn có tính năng tạo prompt cho một LLM lớn hơn, giúp người dùng mở rộng thử nghiệm của mình.

Ý nghĩa với người dùng Việt Nam

Với người dùng công nghệ tại Việt Nam, MicroLLM Lab là ví dụ trực quan cho thấy AI nhỏ gọn đang trở nên khả thi đến mức nào. Thay vì cần GPU đắt tiền hay thuê dịch vụ đám mây, các mô hình vài trăm triệu tham số có thể chạy ngay trên trình duyệt của một chiếc laptop phổ thông.

Đây cũng là công cụ học tập hữu ích cho lập trình viên muốn hiểu sâu hơn về cách đo hiệu năng mô hình, về đánh đổi giữa tốc độ và độ chính xác, cũng như cách viết bài kiểm tra tự động cho đầu ra của AI.

Trong khi các ông lớn đang đua nhau xây dựng mô hình tỷ tham số trên siêu máy tính, những dự án như MicroLLM Lab nhắc nhở chúng ta rằng đôi khi giá trị nằm ở sự đơn giản và khả năng tiếp cận.