PROMETHEVS chạy DeepSeek-V4.1-Flash 510 GB trên PC 12 GB VRAM

PROMETHEVS – chạy mô hình DeepSeek đầy đủ trên PC phổ thông

Một dự án mã nguồn mở có tên PROMETHEVS vừa công bố bản phát hành 0.2, cho phép chạy toàn bộ 510 GB trọng số gốc của mô hình DeepSeek-V4.1-Flash-1017 trên một chiếc PC gaming đã năm năm tuổi: CPU Ryzen 9 3950X, 64 GB RAM DDR4, một card RTX 3060 12 GB và hai ổ NVMe.

Điểm đáng chú ý là đây không phải bản rút gọn hay bản lượng tử hóa mất chất lượng — dự án khẳng định vẫn dùng đúng bộ trọng số gốc của DeepSeek, vốn lớn đến mức chiếc máy này không thể nạp nổi vào bộ nhớ theo cách thông thường.

Nén rồi hiệu chỉnh: ý tưởng cốt lõi

Cơ chế then chốt là phương pháp compress-then-correct (nén rồi hiệu chỉnh) do Ryan Flavell đề xuất. Cách hoạt động gồm bốn thành phần chạy song song:

• Bản sao 2-bit trả lời mọi từ. Các expert (chuyên gia trong kiến trúc mixture-of-experts) được lưu ở định dạng 2-bit, nhỏ hơn cả FP4 gốc, nên mỗi từ chỉ cần đọc ít byte hơn từ ổ đĩa — đây là yếu tố giúp máy đủ nhanh để dùng được.
• Độ tự tin của mô hình quyết định từ nào cần làm lại. Với mỗi từ, engine xem khoảng cách giữa hai ứng viên hàng đầu. Nếu khoảng cách này thấp hơn ngưỡng gate 0.45, từ đó bị đánh dấu.
• Các từ bị đánh dấu được hiệu chỉnh chính xác. Một correction plane (mặt phẳng hiệu chỉnh) đã lưu sẽ dựng lại expert 2-bit thành expert FP4 gốc, nên kết quả hiệu chỉnh chính là đáp án của mô hình đầy đủ.
• Draft head đề xuất nhiều từ cùng lúc. DeepSeek phát hành kèm một draft head; engine kiểm tra các phỏng đoán này song song trên nhiều làn, nhờ đó chia đều chi phí đọc expert cho nhiều từ.

Các expert được dùng nhiều nhất nằm trong bộ nhớ GPU; phần còn lại nằm trong RAM và trên hai ổ đĩa.

Chất lượng và tốc độ đo được

Trên 960 từ đã kiểm định, đầu ra của PROMETHEVS chọn đúng từ mà mô hình đầy đủ sẽ chọn 98,33% số lần nếu tính mọi khác biệt, và 99,17% nếu chỉ tính các khác biệt engine không kiểm tra. Riêng bản sao 2-bit chưa hiệu chỉnh đạt 97,4%.

Huy hiệu giấy phép engine Apache 2.0

Về tốc độ, trên prompt lập trình với cache nóng (cache giữ lại từ lượt chạy trước), engine đạt tối đa 7,4 token/giây, so với 2,14 token/giây khi chạy mô hình đầy đủ chính xác trên cùng máy. Các ca chạy thực tế dao động 5–8 token/giây với prompt code, 4,5–5,4 với prompt lý luận và agent.

Chỉ lượt đọc đầu tiên của prompt dài là chậm; engine giữ lại phần đã đọc nên tin nhắn tiếp theo trong cuộc hội thoại khởi động trong khoảng 2 giây. Engine cung cấp endpoint tương thích OpenAI trên localhost, có streaming và gọi công cụ (tool calls), nên các ứng dụng và coding agent dùng API OpenAI có thể kết nối trực tiếp.

Yêu cầu phần cứng và cách cài đặt

Cấu hình tối thiểu theo tài liệu:

• Hệ điều hành: Windows 10 hoặc 11, 64-bit
• CPU: x86-64 hỗ trợ AVX2, khuyến nghị 16 nhân
• RAM: 64 GB
• GPU: một card NVIDIA RTX 30 hoặc 40 series với 12 GB (compute capability 8.6–8.9), driver 580 trở lên
• Ổ đĩa: khoảng 1,1 TB trống trên NVMe (một ổ hoặc chia hai ổ)
• Dung lượng tải: khoảng 510 GB trọng số gốc, cộng khoảng 3 GB cho bộ chuyển đổi
• Thời gian: khoảng 4 giờ để dựng các store sau khi tải xong

Quy trình cài đặt gồm tải file PROMETHEVS_0.2.zip từ bản phát hành mới nhất, giải nén rồi chạy lần lượt các script PowerShell để kiểm tra phần cứng, tải trọng số và dựng store (có thể chạy tiếp nếu gián đoạn), khởi động engine (khoảng 1 phút) và kiểm tra tốc độ. Sau đó chỉ cần trỏ ứng dụng tương thích OpenAI vào http://127.0.0.1:8100/v1 với model deepseek-v4.1-flash-1017-promethevs.

Toàn bộ store được dựng từ trọng số gốc của DeepSeek trên chính máy người dùng, có đối chiếu hash công bố, nên không phải tin vào file của nhóm phát triển. Dung lượng store cần khoảng 1.009 GiB: 475 GiB trọng số thô cộng 534 GiB store dẫn xuất (bản sao 2-bit, correction plane và bản FP4 của các lớp đầu).

Những giới hạn cần biết

Nhóm phát triển công bố khá thẳng thắn về các điểm yếu:

• Chất lượng được đo so với đường suy luận chính xác của chính họ, chưa chạy song song với bản tham chiếu của DeepSeek.
• Không prompt nào đạt mốc 8 token/giây mà nhóm đặt ra; prompt lý luận và agent chạy dưới 5,3 token/giây.
• Với prompt dài 1.163 token, từ đầu tiên xuất hiện sau khoảng 126 giây.
• Trên một prompt agent 1.101 token, engine đạt 97,80% (bản baseline 97,16%); nếu tính mọi khác biệt, cả hai bản đều dưới 97% (95,91% và 95,58%).
• Bản 0.2 chạy trên Windows với một card RTX 30/40 series, phục vụ một yêu cầu tại một thời điểm, và chưa được cài sạch thử trên máy thứ hai.

Engine, script và công cụ của bản 0.2 dùng giấy phép Apache 2.0; báo cáo kỹ thuật, số liệu và log dùng CC BY 4.0. Bản thân DeepSeek-V4.1-Flash-1017 dùng giấy phép MIT.

Sơ đồ tốc độ của engine PROMETHEVS

Góc nhìn

Ý nghĩa thực tế của PROMETHEVS không nằm ở việc "chạy được mô hình khổng lồ trên máy yếu" — tốc độ 4–7 token/giây vẫn chậm hơn nhiều so với gọi API cloud, và mức tiêu thụ 1,1 TB ổ NVMe cùng 64 GB RAM là rào cản thật sự với phần lớn người dùng. Giá trị chính là ở hướng tiếp cận: thay vì lượng tử hóa một lần rồi chấp nhận mất chất lượng, phương pháp nén rồi hiệu chỉnh cho phép dùng độ tự tin của mô hình để quyết định khi nào cần trả giá bằng độ chính xác.

Với lập trình viên và kỹ sư AI tại Việt Nam, đây là một mẫu tham khảo đáng nghiên cứu về offloaded mixture-of-experts inference kết hợp speculative decoding. Những nhóm đang cân nhắc tự vận hành mô hình mở để giữ dữ liệu nội bộ — thay vì đẩy lên cloud — có thể xem đây là bằng chứng rằng bài toán bộ nhớ có thể được xử lý bằng phần mềm, dù chi phí ổ đĩa và tốc độ vẫn là những đánh đổi cần cân nhắc kỹ trước khi triển khai thật.