Gemma 4 QAT: Tối ưu hóa mô hình AI để chạy mượt trên di động và laptop

Google DeepMind vừa công bố các phiên bản mới của dòng mô hình Gemma 4 được tối ưu hóa với kỹ thuật Quantization-Aware Training (QAT). Bước phát triển này nhằm giảm thiểu đáng kể yêu cầu về bộ nhớ và tối đa hóa hiệu suất, giúp người dùng có thể chạy các mô hình AI trực tiếp trên thiết bị biên (edge devices) như laptop và điện thoại thông minh.

Hình ảnh minh họa về AI và công nghệ

Giữ nguyên chất lượng mô hình dù kích thước nhỏ hơn

Lượng tử hóa (Quantization) là công nghệ then chốt để chạy các mô hình AI trên phần cứng phổ thông bằng cách giảm dung lượng bộ nhớ và tăng tốc độ giải mã (decode speed). Tuy nhiên, phương pháp Lượng tử hóa sau huấn luyện (Post-Training Quantization - PTQ) thông thường thường dẫn đến sự suy giảm hiệu suất.

Thay vì chỉ lượng tử hóa mô hình sau khi đã huấn luyện xong, QAT tích hợp quy trình lượng tử hóa trực tiếp vào quá trình huấn luyện. Bằng cách mô phỏng lượng tử hóa trong quá trình đào tạo, QAT giúp giảm thiểu tối đa sự mất mát chất lượng khi mô hình được nén. Kết quả cho thấy chất lượng tổng thể của các mô hình QAT cao hơn so với đường cơ sở PTQ tiêu chuẩn.

Google đã áp dụng công thức QAT này cho định dạng Q4_0 phổ biến để tối đa hóa hiệu suất cho tất cả các mô hình. Đặc biệt, đối với các mô hình biên (E2B và E4B), họ đã thiết kế lại quy trình lượng tử hóa với một lược đồ chuyên biệt dành cho thiết bị di động.

Tối ưu hóa sâu cho thiết bị di động

Các định dạng nén tiêu chuẩn thường khó chạy hiệu quả trên bộ vi xử lý di động. Để đảm bảo Gemma 4 hoạt động trơn tru trên điện thoại, Google đã kỹ sư một lược đồ lượng tử hóa di động tùy chỉnh với các cải tiến sau:

• Hoạt động tĩnh (Static activations): Thay vì lãng phí sức mạnh xử lý để tính toán cách mở rộng dữ liệu theo thời gian thực, các thiết lập này được tính toán trước trong quá trình huấn luyện. Điều này giảm tải cho chip di động và giúp phản hồi nhanh hơn.
• Lượng tử hóa theo kênh (Channel-wise quantization): Dữ liệu nén được cấu trúc để phù hợp với thiết kế của các bộ tăng tốc di động, cho phép điện thoại thực hiện tính toán một cách tự nhiên mà không cần các giải pháp thay thế chậm chạp.
• Lượng tử hóa 2-bit có mục tiêu: Các phần cụ thể của mô hình chịu trách nhiệm tạo token được nén mạnh xuống 2-bit, trong khi các lớp lý luận cốt lõi vẫn giữ độ chính xác cao hơn. Điều này tiết kiệm dung lượng lưu trữ mà không làm mô hình trở nên "kém thông minh".
• Tối ưu hóa Embedding và bộ nhớ đệm KV: Tập trung nén danh sách từ vựng của mô hình và bộ nhớ ngắn hạn, giúp giảm đáng kể dung lượng bộ nhớ hoạt động, cho phép người dùng thực hiện các cuộc trò chuyện dài mà không lo hết bộ nhớ.

Hình ảnh minh họa hiệu suất

Nhờ những cải tiến này, phiên bản Gemma 4 E2B chỉ dành cho văn bản (không có Per-Layer Embeddings) hiện yêu cầu ít hơn 1 GB bộ nhớ.

Bắt đầu sử dụng ngay hôm nay

Để giúp các nhà phát triển dễ dàng sử dụng những mô hình này với quy trình làm việc ưa thích của họ, Google đã hợp tác với các công cụ phát triển phổ biến trong hệ sinh thái để hỗ trợ các điểm kiểm tra QAT của Gemma 4:

• Tải trọng số (weights): Truy cập các trọng số mô hình Q4_0 và phiên bản di động ngay bây giờ trên Hugging Face. Các định dạng GGUF đã sẵn sàng sử dụng với llama.cpp, và các tensor nén được cung cấp cho vLLM.
• Tích hợp và học hỏi: Khám phá tài liệu để tìm hiểu cách triển khai tốt nhất các điểm kiểm tra QAT.
• Chạy trên máy tính để bàn: Dễ dàng tải xuống, quản lý và chạy các mô hình Gemma 4 QAT cục bộ trên máy tính để bàn bằng các giao diện thân thiện như llama.cpp, Ollama và LM Studio.
• Triển khai trên thiết bị: Sử dụng thời gian chạy LiteRT-LM nhẹ nhàng của Google để triển khai biên tối ưu hoặc chạy mô hình trực tiếp trên web với Transformers.js.
• Sử dụng các công cụ phát triển yêu thích: Phục vụ các mô hình lớn hơn hiệu quả hơn với vLLM, tối ưu hóa cho Apple Silicon với MLX, hoặc tinh chỉnh trọng số trực tiếp bằng Hugging Face Transformers và Unsloth.

Hình ảnh minh họa lập trình

Chúng tôi rất mong chờ được thấy những gì bạn sẽ xây dựng với Gemma 4 chạy cục bộ!