llama-modchip v2.4.0: chạy DeepSeek 284B trên RAM 64GB

Huy hiệu phiên bản v2.4.0

Dự án mã nguồn mở llama-modchip vừa phát hành phiên bản v2.4.0, đưa ra lời giải cho một bài toán tưởng như bất khả thi: chạy mô hình DeepSeek-V4-Flash 284B tham số (với 13,17B tham số hoạt động) trên một máy tính để bàn chỉ có 64GB RAM và không dùng GPU.

Theo tài liệu của dự án, bản gốc IQ2_XXS nặng 76,87 GiB và gặp lỗi tràn bộ nhớ (OOM) trên máy 64GB, trong khi phiên bản đã vá của llama-modchip chạy được với tốc độ 43,16 – 44,36 token/giây ở giai đoạn prefill (xử lý trước ngữ cảnh) và 9,06 – 9,95 token/giây khi giải mã (decode) ở chế độ lossless.

Cốt lõi kỹ thuật: FlashAttention và lượng tử hóa AVX-512

Bản v2.4.0 gồm hai cải tiến chính ở tầng kernel:

• Register-Stationary AVX-512 MQA8 FlashAttention, được cho là nhanh gấp 2,0 lần, kết hợp với hàm AVX-512 quantize_row_q8_K để lượng tử hóa dữ liệu.
• L2-Quadrature MoE Pruning (cắt tỉa hỗn hợp chuyên gia dựa trên cầu phương L2) cùng L1-Local Gate-First SwiGLU, đạt 10,74 token/giây.
• Phân rã SVD chính xác của tích ma trận wo_b * wo_a, đạt 99,82% độ tương đồng cosin (CosSim) khi giảm 25% hạng (rank), kèm bản vá rollback với độ phức tạp $O(1)$.

Dự án cũng công bố bảng hiệu năng chi tiết trên CPU AMD Ryzen 9 9955HX (16 nhân/32 luồng, 2 CCD, 64MB L3, RAM DDR5 64GB, 58,9 GiB RSS ở ngữ cảnh 256K). Kết quả cụ thể:

• Lossless (Top-6 toàn bộ lớp, mặc định): prefill 43,16 – 44,36 token/giây; decode 9,06 – 9,95 token/giây; với Stockfish-PVS đạt 11,5 – 14,7 token/giây; độ tương đồng cosin xác suất 1,00000 (khớp bit hoàn toàn).
• Sweet-Spot (Top-5 ở lớp il ≥ 3): độ tương đồng cosin 0,99714, KL-Divergence 0,0042 nats (tăng 0,42% perplexity), khớp Top-1/Top-3 đạt 95,8%/100%.
• Top-5 L2 + Gate-First SwiGLU: decode 10,15 token/giây, độ tương đồng cosin 0,99385.
• Turbo 10+ (Top-4 L2 + Gate-First SwiGLU): decode 10,12 – 10,74 token/giây, Stockfish-PVS đạt 13,0 – 16,0 token/giây.

Huy hiệu giấy phép Apache 2.0

Hỗ trợ đa nền tảng, từ Zen 5 tới Apple Silicon

Ngoài DeepSeek-V4-Flash, repo còn tối ưu cho các mô hình khác như Qwen3-30B-A3B, Qwen3-14B, NVIDIA-Nemotron-H-8B-128K và Nemotron-3.5-30B-A3B. Danh sách nền tảng được hỗ trợ khá rộng:

• AMD Zen 5 (Ryzen 9 9955HX, 9950X, EPYC 9005 Turin): AVX-512 512-bit một chu kỳ, tiling L1D 48KB, cách ly L3 victim 64MB.
• AMD Zen 4 đa CCD (Threadripper PRO 7985WX): tự dò cấu trúc L3 qua sysfs, bước nhảy 4C/CCD giúp tránh bão hòa Infinity Fabric, nhanh hơn 54% so với dùng 64 luồng.
• AMD 3D V-Cache + Radeon Vulkan (Ryzen 9 7945HX3D + RX 9070 XT 16GB): đạt 80,8 token/giây ở ngữ cảnh 256K.
• Intel/AMD + NVIDIA RTX trên Windows 10/11: giải pháp chia tách CPU/GPU động qua cờ --n-cpu-moe.
• Apple Silicon (M4 Pro 24GB): shader Metal dùng bộ nhớ hợp nhất zero-copy, ngân sách ngữ cảnh 128K không cần swap.
• ARM64 cloud/edge (AWS Graviton3 m7g.2xlarge): đạt 44,97 token/giây khi giải mã nhờ tập lệnh SVE 256-bit.
• Mini-PC AMD Zen 4 (Ryzen 7 8745HS, GEEKOM A8) chạy Fedora.

Huy hiệu bài báo kiến trúc ARCHITECTURE.md

Bảng xếp hạng cộng đồng và bộ công cụ đi kèm

Repo duy trì một bảng xếp hạng CPU/hybrid cộng đồng, nơi người dùng có thể chạy lệnh ./modchip bench hoặc windows\BENCHMARK_PC.bat rồi gửi điểm qua GitHub Issue. Một số kết quả đáng chú ý:

• Threadripper PRO 7985WX (64C/128T, 256GB DDR5, không GPU): prefill 386 token/giây, decode 73,84 – 80,14 token/giây.
• Ryzen 9 7945HX3D + RX 9070 XT: prefill 563 token/giây ở ngữ cảnh 256K, decode 75,10 token/giây.
• Apple M4 Pro: decode 47 – 48 token/giây ở ngữ cảnh 128K.

Bộ công cụ còn có CLI hợp nhất modchip (setup, start, chat, bench, eval, quantize, web, claude, stop), script cài đặt tự động install.sh cho Linux, cùng các thư mục riêng cho Windows, Apple Silicon và Fedora. Phần suy luận suy đoán (speculative) có Stockfish-PVS v2 và RouteCrack, trong khi gateway/sse_gateway.py cung cấp proxy SSE cho agent kèm giao diện chat web.

Dự án cũng kêu gọi tài trợ từ các hãng phần cứng và nhóm silicon cloud để nhận thiết bị kiểm thử và xác minh kernel trên bảng xếp hạng chính thức.

Góc nhìn

Với các lập trình viên và kỹ sư Việt Nam, điểm đáng chú ý nhất không phải con số token/giây mà là ngưỡng phần cứng để chạy mô hình hàng trăm tỷ tham số đã hạ xuống mức một máy trạm 64GB RAM. Những đội ngũ phải xử lý dữ liệu nội bộ, không thể gửi lên API đám mây vì lý do bảo mật, giờ có thêm lựa chọn tham khảo để tự dựng suy luận tại chỗ mà không cần đầu tư dàn GPU nhiều chục nghìn USD.

Tuy nhiên cần tỉnh táo: đây là dự án non trẻ, hiệu năng phụ thuộc rất nhiều vào thế hệ CPU, số CCD, bộ nhớ đệm L3 và băng thông RAM, còn các con số trên đều do chính dự án công bố trên phần cứng cụ thể. Trước khi đưa vào vận hành thật, nên tự benchmark trên máy của mình và đối chiếu chất lượng đầu ra bằng các bài kiểm tra riêng, thay vì tin tuyệt đối vào bảng điểm của cộng đồng.