MAPLE nén Gemma 4 26B xuống 4,75GB, chạy 45 TPS trên GPU 6GB

Huy hiệu giấy phép Apache 2.0

Một dự án mã nguồn mở có tên MAPLE (Manifold-Activated Pruning of Latent Experts) vừa được công bố, hướng tới việc nén các mô hình ngôn ngữ lớn kiến trúc MoE (Mixture-of-Experts – hỗn hợp chuyên gia) để chạy trên phần cứng phổ thông. Tác giả là Aman Sachan, thuộc nhóm Independent Systems Research.

Cụ thể, MAPLE nén mô hình Gemma 4 26B-A4B từ 9,92 GB xuống 4,75 GB, tương đương 1,48 bit hiệu dụng mỗi tham số. Kết quả là mô hình chạy được 100% trong VRAM của GPU laptop 6 GB, đạt tốc độ 45,4 token/giây.

Cách MAPLE hoạt động

Ý tưởng cốt lõi của MAPLE xuất phát từ đặc điểm của các mô hình MoE: giai đoạn tiền huấn luyện đa ngôn ngữ toàn cầu cần tới 128–256 expert để phục vụ hàng trăm ngôn ngữ và lĩnh vực bách khoa. Nhưng khi triển khai cục bộ (edge) cho một phạm vi hẹp như suy luận kỹ thuật hay sinh mã, mô hình chỉ kích hoạt một tập nhỏ expert.

MAPLE tìm ra tập expert thực sự hữu ích bằng cách profile trực tiếp hoạt động của expert trong lượt forward-pass thông qua llama-imatrix. Mỗi expert được chấm điểm theo công thức kết hợp tần suất kích hoạt và năng lượng kích hoạt đầu vào:

s(e,l) = C(e,l) · √(σ̄(e,l) + ε)

Trong đó C là số lần token định tuyến tới expert, σ̄ là năng lượng kích hoạt trung bình của kênh đầu vào, và ε là hằng số ổn định số học (10⁻⁶).

Áp dụng cho Gemma 4 26B-A4B (128 expert định tuyến, 30 lớp), MAPLE loại bỏ 80 expert "ngủ đông" ở mỗi lớp, giữ lại 48 expert, tạo ra container GGUF nắm giữ 79,88% khối lượng kích hoạt của forward-pass. Bộ checkpoint 4,75 GB được tinh chỉnh riêng cho lập trình Python, tổng hợp thuật toán, cấu trúc dữ liệu và suy luận STEM hình thức.

Huy hiệu Google Scholar của tác giả Aman Sachan

Hiệu năng trên GPU laptop 6 GB

Kết quả đo trên RTX 4050 6GB (GPU laptop) cho thấy khác biệt rõ rệt:

• Bản gốc 128 expert: 9,92 GB, phân bổ 6.141 MiB VRAM (có paging), chỉ đưa 16/30 lớp lên GPU, đạt 6,9 token/giây, độ trễ 144,9 ms/token.
• Bản MAPLE 48 expert: 4,75 GB, phân bổ 4.180 MiB VRAM (100% trong VRAM), đưa toàn bộ 30/30 lớp lên GPU, đạt 45,4 token/giây, độ trễ 22,0 ms/token.

Như vậy, mô hình nhỏ hơn 2,09 lần, giảm 32% VRAM, và nhanh hơn 6,57 lần.

Đánh giá độ trung thực theo tác vụ

Tác giả công bố bộ benchmark ngữ nghĩa trên bốn tác vụ:

• T1 – Fibonacci (sinh mã): 100%.
• T2 – Cây tìm kiếm nhị phân (cấu trúc dữ liệu): 75%, đạt 100% khi ngữ cảnh từ 500 token trở lên.
• T3 – Tán xạ Rayleigh (suy luận vật lý): 100%.
• T4 – Logic tam đoạn luận (suy diễn hình thức): 100%.

Điểm trung bình tổng thể đạt 93,8%.

Ba lỗi kỹ thuật đã được ghi nhận và khắc phục gồm: Ghost Router (ước lượng định tuyến bằng cách chiếu embedding lớp 0 qua cổng router sâu bị sai do biến đổi phi tuyến của attention xoay biểu diễn ẩn ở các lớp từ 10 trở đi sang không gian trực giao – buộc phải profile bằng forward-pass thật), Cascaded Normalization Suppression (nhân hệ số 0,795 vào thang expert qua 30 lớp khiến 0,795³⁰ ≈ 0,001, làm mờ residual stream – phải giữ hệ số 1,0×), và DRY Sampler Interference (tham số --dry-allowed-length 2 phạt các từ khóa 2 ký tự bắt buộc như def, if, in, +=, làm hỏng cú pháp Python – đã quay lại lấy mẫu nucleus tiêu chuẩn).

Huy hiệu tải trực tiếp file 4,75 GB

Quy trình tùy biến theo lĩnh vực

Pipeline tỉa của MAPLE không phụ thuộc lĩnh vực và có thể áp dụng cho y học, tài chính, pháp lý hay viết sáng tạo. Quy trình gồm ba bước:

• Calibration: chạy engine/maple_profile.py với kho ngữ liệu riêng (ví dụ engine/calibration_corpus.txt hoặc dữ liệu nội bộ) để profile tần suất định tuyến và năng lượng kích hoạt qua llama-imatrix.
• Selection: MAPLE chấm điểm expert theo chỉ số năng lượng tổng hợp và xuất ra engine/expert_selection_map.json.
• Container Assembly: chạy engine/maple_build.py để cắt lát mô hình gốc và lắp ráp container GGUF dưới 2 BPW.

Checkpoint 4,75 GB đã được kiểm chứng và đặt trên Hugging Face tại AmSach/Gemma-4-26B-A4B-MAPLE-Sub5GB-GGUF, với file nhị phân trực tiếp là gemma-4-26B-A4B-MAPLE-IQ2_XXS.gguf. Người dùng có thể chạy ngay bằng llama-cli với tham số -ngl 99 để đưa toàn bộ 30 lớp lên GPU.

Dự án phát hành theo giấy phép Apache 2.0, có kèm công cụ upload_to_hf.py để đẩy lên Hugging Face Hub, script benchmark.py cho bộ kiểm thử bốn lĩnh vực, và chat.py là giao diện console có telemetry trực tiếp.

Góc nhìn

Với lập trình viên và kỹ sư AI tại Việt Nam, MAPLE cho thấy một hướng đi thực tế: thay vì cố chạy mô hình lớn bằng cách hạ cấp lượng tử hóa toàn cục, ta có thể tỉa theo cấu trúc MoE dựa trên dữ liệu calibration của chính lĩnh vực mình cần. Điều này đặc biệt hữu ích khi đội ngũ chỉ có laptop GPU 6–8 GB.

Tuy nhiên, cần lưu ý rằng pipeline này đánh đổi tính tổng quát: mô hình sau khi tỉa mất khả năng đa ngôn ngữ và hội thoại chung, nên chất lượng phụ thuộc lớn vào kho ngữ liệu calibration. Các nhóm muốn thử nên chuẩn bị dữ liệu đại diện sát với tác vụ thực tế và tự đánh giá lại trên bộ test riêng, thay vì dựa hoàn toàn vào con số benchmark của tác giả.