Chạy AI 26 tỷ tham số trên máy chủ cũ 10 năm tuổi: Không cần GPU, chỉ cần hiểu biết

Chạy AI 26 tỷ tham số trên máy chủ cũ 10 năm tuổi: Không cần GPU, chỉ cần hiểu biết

Máy chủ cũ với CPU Xeon

Bạn có một chiếc máy chủ cũ "tái chế"? Nó có 128 GB RAM nhưng là loại DDR3 chậm chạp, gắn kèm một con chip Intel Xeon E5-2620 v4 ra mắt năm 2016, và quan trọng nhất là không có card màn hình (GPU). Liệu cấu hình này có thể chạy được các mô hình AI tiên tiến nhất hiện nay?

Câu trả lời là có, miễn là bạn sẵn sàng bỏ qua các công cụ "hộp đen" tiện dụng và tự mình tối ưu hóa từng dòng lệnh.

Thách thức: Bức tường bộ nhớ

Trong bài viết trước, chúng ta đã thảo luận về việc lượng tử hóa (quantization) và tạo ra các mô hình "drafter" (người soạn thảo) hỗ trợ cho Gemma 4. Bài viết này sẽ đi sâu vào việc triển khai thực tế kết quả đó trên phần cứng khiêm tốn.

Thông số kỹ thuật của máy thử nghiệm trông có vẻ đáng buồn:

• CPU: Intel Xeon E5-2620 v4 @ 2.10 GHz (8 nhân vật lý, 16 luồng).
• RAM: 128 GB DDR3 (chậm hơn 5-6 lần so với RAM laptop hiện đại).
• GPU: Không có.

Đối với suy luận mô hình ngôn ngữ lớn (LLM), tài nguyên hạn chế chính không phải là sức mạnh tính toán thô, mà là băng thông bộ nhớ. Mỗi token (ký tự) được tạo ra yêu cầu hệ thống phải di chuyển hàng gigabyte trọng số (weights) từ RAM vào bộ nhớ đệm (cache) của CPU. Đây là所谓的 "memory wall" (bức tường bộ nhớ) – vấn đề lớn nhất về hiệu năng hiện nay, dù bạn đang dùng Xeon hay chip H100 đắt tiền.

Nếu sử dụng các công cụ phổ biến như Ollama trên cấu hình DDR3 không có GPU này, tốc độ sẽ cực kỳ chậm. Các công cụ này thường được tối ưu hóa cho GPU và ẩn đi các công cụ tinh chỉnh cần thiết để khai thác tối đa phần cứng cũ.

Phép màu của dòng lệnh

Để biến chiếc máy chủ cũ này trở nên hữu ích, chúng ta cần sử dụng ik_llama.cpp – một phiên bản fork chuyên biệt của llama.cpp, cùng với một dòng lệnh "phép thuật" dài 25 cờ (flags) để kích hoạt mọi tối ưu hóa có thể.

llama-cli --model gemma-4-26B-A4B-it-Q8_0.gguf --model-draft ... --spec-type mtp --draft-max 3 --cpu-moe --merge-up-gate-experts --flash-attn on --mla-use 3 --mlock --run-time-repack ...

Hãy cùng phân tích các kỹ thuật quan trọng giúp chiếc máy này chạy được mô hình 26 tỷ tham số với tốc độ đọc.

Suy luận suy đoán (Speculative Decoding)

Các cờ --spec-type mtp --draft-max 3 --draft-p-min 0.0 --spec-autotune kích hoạt tính năng suy luận suy đoán.

Về cơ bản, chúng ta sử dụng một mô hình nhỏ (drafter) để dự đoán trước 3 token, sau đó mô hình lớn (verifier) sẽ kiểm tra lại. Trên CPU, việc này cực kỳ hiệu quả vì sức mạnh tính toán của CPU khá rẻ so với chi phí thời gian để nạp dữ liệu từ RAM chậm. Mô hình nhỏ đủ sức nằm gọn trong bộ nhớ cache L3 của CPU, giúp tạo ra token nhanh chóng mà không cần truy cập RAM thường xuyên.

Tối ưu hóa Mixture of Experts (MoE)

Gemma 4 26B-A4B là kiến trúc Mixture of Experts với 128 chuyên gia. Cờ --cpu-moe --merge-up-gate-experts giúp tối ưu hóa việc định tuyến dữ liệu giữa các chuyên gia này trên CPU.

Trong kiến trúc MoE, việc nhảy liên tục giữa 128 chuyên gia khác nhau có thể gây ra "cache thrashing" – tình trạng CPU liên tục phải xóa cache và nạp dữ liệu mới từ RAM chậm. Các cờ này giúp bộ định tuyến thông minh hơn, giữ trọng số của các chuyên gia nằm trong cache của CPU lâu nhất có thể. Ngoài ra, --merge-up-gate-experts gộp các phép tính ma trận lại với nhau để giảm số lần phải di chuyển dữ liệu qua lại bộ nhớ.

Flash Attention trên CPU

Đây là phần ấn tượng nhất. Cờ --flash-attn on kích hoạt Flash Attention – một kỹ thuật thường chỉ dành cho GPU.

Thông thường, để tính toán sự chú ý (attention), AI phải tạo ra một ma trận khổng lồ N×N và ghi nó vào RAM. Flash Attention thực hiện kỹ thuật "Kernel Fusion", tính toán theo từng phần nhỏ ngay trong bộ nhớ cache siêu nhanh của CPU mà không cần ghi ma trận đầy đủ ra RAM. Việc porting kỹ thuật phức tạp này từ GPU sang CPU là một thành tựu kỹ thuật lớn.

Quản lý bộ nhớ và Cache

Cuối cùng, các cờ --mlock --run-time-repack --no-kv-offload đảm bảo dữ liệu được xử lý hiệu quả nhất.

• --run-time-repack: Tái tổ chức các ma trận trọng số trong RAM khi khởi động để khớp với cách CPU muốn đọc dữ liệu, giúp giảm thiểu "cache miss".
• --mlock: Khóa mô hình trong RAM vật lý, ngăn hệ điều hành swap (đổi dữ liệu ra ổ cứng). Nếu 27GB trọng số bị swap xuống ổ cứng, tốc độ sẽ giảm xuống gần bằng không.
• --no-kv-offload: Yêu cầu engine không tìm GPU cho bộ nhớ đệm KV, vì máy này không có GPU, giúp tiết kiệm thời gian kiểm tra.

Kết luận: Vượt qua "hào rào" tính dụng

Kết quả? Một cấu hình chiếm 82 GB RAM trên DDR3 chậm chạp, bao gồm 25 GB trọng số mô hình và 56 GB KV cache, có thể chạy mô hình AI tiên tiến với tốc độ đọc.

Bài học ở đây không phải là bạn nên đi mua máy chủ cũ 10 năm tuổi để chạy AI, mà là hiểu biết về phần mềm và phần cứng quan trọng hơn phần cứng mới nhất. Các công cụ hộp đen như Ollama rất tiện lợi, nhưng chúng che giấu đi các tối ưu hóa cần thiết để khai thác triệt để phần cứng.

Nếu bạn đã có một homelab, ranh giới của AI mã nguồn mở không nằm ở tường lửa của các nhà cung cấp dịch vụ hay ví tiền của bạn. Nó nằm ngay trên dòng lệnh của chiếc máy chủ cũ kỹ trong góc phòng. Chào mừng bạn đến với thế giới nơi kiến thức là vua.

META: {"title_vi": "Chạy AI 26 tỷ tham số trên máy chủ cũ 10 năm tuổi: Không cần GPU, chỉ cần hiểu biết", "summary_vi": "Bài viết chia sẻ hành trình chạy thành công mô hình AI Gemma 4 26B-A4B trên một máy chủ cũ đời 2016 chỉ với CPU Xeon và RAM DDR3 chậm chạp, hoàn toàn không cần GPU. Thông qua việc tinh chỉnh sâu các tham số suy luận và hiểu rõ kiến trúc phần cứng, tác giả chứng minh rằng rào cản lớn nhất không phải là chip silicon mà là cách chúng ta tối ưu hóa phần mềm.", "categories": ["ai-machine-learning", "phan-cung", "phan-mem"]}