Janas: Chạy mô hình AI 80 tỷ tham số trên laptop 32 GB nhờ truyền chuyên gia từ SSD

Trạng thái thử nghiệm

Một dự án mã nguồn mở mang tên Janas đang thu hút sự chú ý của cộng đồng khi chứng minh rằng các mô hình ngôn ngữ lớn (LLM) hàng chục tỷ tham số hoàn toàn có thể chạy trên một chiếc laptop thông thường, thậm chí khi dung lượng mô hình vượt xa lượng RAM vật lý. Bí quyết nằm ở việc lưu trọng số trên ổ cứng SSD NVMe và chỉ truyền những "chuyên gia" (expert) cần thiết vào bộ nhớ tại mỗi bước sinh token.

Cơ chế hoạt động: Trọng số ở lại ổ cứng, chuyên gia được truyền theo nhu cầu

Janas là một bộ công cụ trí tuệ nhân tạo viết bằng ngôn ngữ C, không phụ thuộc vào bất kỳ thư viện nào ngoài thư viện C chuẩn. Thành phần đầu tiên — Janas-LLM — tập trung vào việc chạy các mô hình hỗn hợp chuyên gia (mixture-of-experts, MoE) quy mô lớn trên máy tính phổ thông, có hoặc không có GPU.

Cách tiếp cận rất đơn giản về mặt ý tưởng nhưng phức tạp về mặt kỹ thuật:

• Trọng số mô hình nằm trên đĩa, không cần nạp toàn bộ vào RAM.
• Mỗi token chỉ cần một số ít chuyên gia — với kiến trúc MoE, phần lớn tham số không được kích hoạt trong mỗi lần tính toán.
• Các chuyên gia cần thiết được truyền (stream) từ SSD NVMe ở tốc độ đọc đĩa cao (khoảng 5,7 GB/s trong cấu hình thử nghiệm).
• Những chuyên gia xuất hiện thường xuyên được giữ lại trong bộ nhớ đệm (expert cache), giúp giảm đáng kể số lần đọc đĩa lặp lại.

Kết quả là một mô hình 80 tỷ tham số với kích thước file lên tới 48,4 GB vẫn có thể "sống" và trả lời trên một chiếc laptop chỉ có 32 GB RAM.

Hiệu năng thực tế: Nhanh hơn llama.cpp trên mọi mô hình so sánh

Trên cấu hình thử nghiệm gồm Debian 13 Linux, Intel Core Ultra 9 185H (GPU Arc tích hợp), 32 GB DDR5, SSD NVMe 1 TB, Janas-LLM cho thấy tốc độ vượt trội so với llama.cpp — công cụ tham chiếu phổ biến nhất hiện nay cho việc chạy LLM cục bộ.

Với mô hình Qwen3-Next-80B-A3B (48,4 GB, lớn hơn cả dung lượng RAM):

• Đọc prompt 1.024 token: 62 token/giây so với 16 token/giây của llama.cpp.
• Viết phản hồi: 24 token/giây so với chỉ 2,8 token/giây của llama.cpp. Khi dùng thêm cơ chế "draft" (mô hình nhỏ đoán trước token để mô hình lớn kiểm tra), tốc độ đạt tới 37 token/giây.

Ngay cả với các mô hình nhỏ hơn, Janas-LLM vẫn giữ lợi thế về tốc độ viết:

Mô hình	Đọc prompt (Janas)	Đọc prompt (llama.cpp)	Viết (Janas)	Viết (llama.cpp)
Qwen3-Next-80B-A3B (48,4 GB)	62	16	24	2,8
Qwen3.6-35B-A3B (22,3 GB)	86	79	25	12
Qwen3-30B-A3B (18,6 GB)	135	122	32	15
Gemma-4-12B-it (7,1 GB)	65	46	9,9	7,1
Qwen3-4B (2,5 GB)	193	164	27	18

Có một ngoại lệ đáng chú ý: với mô hình Qwen3-30B lượng tử hóa 3 bit (Q3_K_XL), Janas-LLM đọc prompt chậm hơn llama.cpp — nguyên nhân được tác giả giải thích là do trọng số Q3_K chưa được đưa lên GPU để tăng tốc giai đoạn đọc prompt. Tuy nhiên, tốc độ viết vẫn nhanh gấp ba lần (36 so với 11 token/giây).

Hỗ trợ Linux và Windows x86-64

Trên Windows 11, Janas-LLM cũng cho kết quả tương đương hoặc tốt hơn: mô hình Qwen3-4B đạt 346 token/giây khi đọc prompt (so với 193 trên Linux), nhờ toàn bộ khối trọng số được đưa lên GPU thông qua trình điều khiển của Intel.

Cài đặt và trải nghiệm

Janas hỗ trợ Linux x86-64 (Ubuntu 22.04, Debian 12 trở lên) và Windows 10/11 x86-64. Trên Linux, người dùng chỉ cần tải gói nén, giải nén và chạy:

curl -LO https://github.com/prabanta-dev/janas/releases/latest/download/janas-linux-x86_64.tar.gz
tar xf janas-linux-x86_64.tar.gz && cd janas
./janas-chat

Các mô hình đã được chuyển đổi sẵn có trên Hugging Face (định dạng .jns phiên bản 2, cam kết tương thích với các phiên bản Janas-LLM sau này). Giao diện chat janas-chat cho phép chọn mô hình, tự động tải về và kiểm tra tính toàn vẹn.

Ngoài ra, dự án còn cung cấp:

• janas-server: API HTTP tương thích chuẩn OpenAI và trang chat trên trình duyệt.
• janas-mcp: đóng vai trò MCP server, đưa mô hình thành công cụ cho Claude Code và các trình soạn thảo.
• Hoàn thành mã trong trình soạn thảo: hỗ trợ VSCodium và VS Code qua llama.vscode hoặc Continue, với thời gian đề xuất chỉ 1,5–2,2 giây mỗi lần gõ phím.
• janas-bench: công cụ đo hiệu năng và xuất báo cáo cấu hình máy, giúp tác giả cải thiện khả năng tương thích phần cứng.

Những lưu ý quan trọng trước khi dùng

Tác giả Maurizio "camauri" Cammalleri nhấn mạnh rõ ràng: đây là thử nghiệm, không phải sản phẩm hoàn thiện.

• Giai đoạn phát triển sớm: API công khai và giao diện dòng lệnh thay đổi liên tục, có tuần thay đổi vài lần. Duy chỉ định dạng file .jns được cam kết ổn định.
• Độ ổn định chưa được kiểm chứng: engine cố tình "vắt kiệt" máy — lấp đầy bộ nhớ trống bằng cache chuyên gia và đọc đĩa bằng O_DIRECT ở tốc độ tối đa. Trên máy ít dư dả tài nguyên, desktop có thể bị đẩy vào swap và trở nên chậm chạp, thậm chí treo. Việc dùng GPU từng gây reset trình điều khiển và kéo theo cả desktop.
• Phần cứng: chỉ được phát triển và kiểm thử trên đúng một cấu hình máy. Trên máy khác, chương trình có thể chậm hơn, từ chối mô hình hoặc hành xử bất thường.
• Dữ liệu: chỉ ghi vào ~/.cache/janas và thư mục mô hình do người dùng chỉ định; không đụng đến file mô hình gốc.

Người dùng có thể giới hạn bộ nhớ bằng --cache, tắt GPU bằng biến môi trường JANAS_GPU=0, dừng phản hồi bằng Ctrl-C và thoát chat bằng Ctrl-D.

Nên chạy thử trên một máy rảnh rỗi trước tiên. Cache chuyên gia sẽ chiếm toàn bộ bộ nhớ còn trống khi mở mô hình, và phần còn lại của mô hình được đọc từ đĩa trong lúc trả lời.

Góc nhìn cho người dùng Việt Nam

Đối với cộng đồng yêu thích AI mã nguồn mở tại Việt Nam, Janas mở ra một hướng đi đáng chú ý: không cần đầu tư vào máy chủ GPU đắt tiền vẫn có thể chạy các mô hình hàng chục tỷ tham số ngay trên laptop cá nhân. Điều kiện tiên quyết là một ổ SSD NVMe tốc độ cao — loại linh kiện đã trở nên phổ biến và có giá khá hợp lý tại thị trường trong nước.

Tuy nhiên, với tính chất thử nghiệm và những rủi ro về ổn định hệ thống như đã nêu, người dùng nên cân nhắc kỹ trước khi áp dụng vào môi trường làm việc chính. Với những ai quan tâm đến việc đóng góp, tác giả cho biết một báo cáo đo hiệu năng từ một chiếc máy mà nhóm phát triển chưa từng sở hữu có giá trị hơn hầu hết các bản vá — đây là cơ hội để cộng đồng kỹ thuật Việt Nam đóng góp vào một dự án mã nguồn mở đầy tham vọng.

Dự án phát hành theo giấy phép GNU GPL phiên bản 3 trở lên, được xây dựng dựa trên công trình của nhiều tổ chức và cá nhân khác, bao gồm các mô hình Qwen của Alibaba Cloud, Gemma của Google, cùng các công cụ lượng tử hóa từ Qwen, bartowski và unsloth.