DeepSeek mở mã nguồn DeepInfer: Hé lộ cỗ máy suy luận đứng sau các dịch vụ AI quy mô lớn

DeepSeek vừa gây chú ý trong cộng đồng phát triển khi chính thức mở mã nguồn DeepInfer — framework suy luận (inference) hiệu năng cao đang vận hành các dịch vụ AI quy mô lớn của hãng. Đây không phải một bản demo thử nghiệm, mà là "động cơ" thực chiến đứng sau các sản phẩm thương mại của DeepSeek, được phát hành theo giấy phép Apache 2.0.

Việc mở mã nguồn một hệ thống inference cấp production là động thái đáng chú ý, bởi đây vốn là phần "bí mật" quyết định chi phí vận hành và tốc độ phản hồi của các mô hình ngôn ngữ lớn.

DeepInfer là gì và hỗ trợ những gì?

Bản phát hành lần này tập trung vào suy luận ngoại tuyến (offline inference), nhưng bao gồm những tính năng cốt lõi cần thiết để phục vụ ở quy mô lớn. Hiện tại, framework chỉ hỗ trợ một mô hình duy nhất là DeepSeek-V4.1-Flash.

Danh sách tính năng nổi bật gồm:

• Kernel tối ưu: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect cùng các kernel TileLang tùy chỉnh
• Song song hóa: Attention DP / CP cân bằng, MoE EP kết hợp EPLB
• DSpark và xác minh theo lịch độ tin cậy: tăng tốc giải mã bằng token nháp (draft token)
• SWA bounded replay: giảm khối lượng tính toán prefill của decoder
• Lập lịch bất đồng bộ: bộ lập lịch batch với chi phí gần như bằng không
• Suy luận bất biến theo batch: kết quả không đổi dù batch được ghép thế nào
• Lấy mẫu tất định: đầu ra giống hệt nhau với cùng đầu vào và tham số
• Sinh đầu ra có cấu trúc: ràng buộc theo regex, JSON schema hoặc ngữ pháp EBNF

Biểu đồ hiệu năng giai đoạn prefill

Điểm đáng chú ý: Chạy được trên cả NVIDIA lẫn Huawei Ascend

Một chi tiết khiến giới quan sát công nghệ chú ý là DeepInfer hỗ trợ hai nền tảng phần cứng: GPU NVIDIA SM100 và NPU Huawei Ascend 950. Điều này phản ánh chiến lược đa dạng hóa phần cứng nhằm giảm phụ thuộc, trong bối cảnh các hạn chế xuất khẩu chip vẫn ảnh hưởng mạnh tới các doanh nghiệp AI tại Trung Quốc.

Đáng lưu ý, một số tính năng như suy luận bất biến theo batch và lấy mẫu tất định hiện chỉ khả dụng trên nền NVIDIA. Để cấu hình, người dùng cần đặt các biến môi trường như DEEPINFER_BATCH_INVARIANT=1 hoặc DEEPINFER_ENABLE_MTP_VARLEN=1.

Biểu đồ hiệu năng giai đoạn decode

Những phần còn thiếu

DeepSeek thẳng thắn cho biết bản phát hành này chưa đủ để dựng một dịch vụ inference hoàn chỉnh. Ba thành phần còn thiếu gồm:

• Hệ thống KV cache
• Tách rời VE/Prefill/Decode (dù phần lớn chức năng engine đã được hiện thực)
• Cân bằng tải giữa các bản sao data-parallel cho cả prefill và decode

Nói cách khác, DeepInfer là "trái tim" của hệ thống, còn lớp hạ tầng vận hành xung quanh vẫn là bài toán người triển khai phải tự giải.

Bắt đầu như thế nào?

Yêu cầu hệ thống gồm Linux, GCC >= 13.0, Python 3.12, CUDA 13 (với NVIDIA) hoặc CANN 9.2 (với Ascend). Quy trình build khá đơn giản:

export DEEPINFER_ACCELERATOR=nvidia
./build.sh
python examples/offline_inference.py

Mô hình mặc định deepseek-ai/DeepSeek-V4.1-Flash-1017 sẽ được tải về cache Hugging Face trong lần chạy đầu tiên, hoặc người dùng có thể trỏ tới bản sao cục bộ qua biến DEEPINFER_HF_MODEL_DIR.

DeepInfer được xây dựng chủ yếu dựa trên vLLM, với cảm hứng bổ sung từ SGLang và TensorRT-LLM. Nhóm phát triển DeepSeek gửi lời cảm ơn tới cộng đồng các dự án này.

Ý nghĩa với cộng đồng AI Việt Nam

Với các kỹ sư và startup AI trong nước, việc một phòng thí nghiệm hàng đầu thế giới mở mã nguồn hệ thống inference production là cơ hội học hỏi đáng giá. Các kỹ thuật như lập lịch bất đồng bộ, xác minh theo lịch độ tin cậy hay suy luận bất biến theo batch đều là những bài toán mà bất kỳ ai triển khai LLM ở quy mô lớn đều phải đối mặt — từ tối ưu chi phí GPU đến đảm bảo kết quả nhất quán cho các ứng dụng cần độ tái lập cao.

Tuy nhiên, ngưỡng phần cứng khá cao (SM100 hay Ascend 950) đồng nghĩa việc thử nghiệm thực tế tại Việt Nam sẽ còn phụ thuộc vào khả năng tiếp cận hạ tầng. Dù vậy, phần mã nguồn vẫn là tài liệu tham chiếu quý cho những đội ngũ đang tự xây dựng hệ thống serving riêng.

Toàn bộ mã nguồn, tài liệu và ví dụ có thể truy cập tại kho GitHub deepseek-ai/DeepInfer.