Moonshot AI phát hành trọng số mở Kimi K3.1 Pro 2,8T tham số

Kimi K3.1 Pro

Moonshot AI vừa đưa trọng số của Kimi K3.1 Pro lên Hugging Face, cho phép cộng đồng tải về và tự triển khai. Đây là mô hình đầu tiên trong dòng K3.1 và là mô hình mạnh nhất thuộc lớp 3 nghìn tỷ tham số (3T-class) của hãng tính đến nay.

Điểm đáng chú ý: K3.1 Pro được hậu huấn luyện từ Kimi K3 bằng học tăng cường (reinforcement learning) quy mô lớn, kết hợp đồng thời trên hàng trăm miền ứng dụng khác nhau. Mô hình hỗ trợ văn bản và hình ảnh, với cửa sổ ngữ cảnh lên tới 1.048.576 token.

Kiến trúc và thông số kỹ thuật

Kimi K3.1 Pro dùng kiến trúc Mixture-of-Experts (MoE) — mỗi token chỉ kích hoạt một phần nhỏ các chuyên gia thay vì toàn bộ mạng.

• Tổng tham số: 2,8T
• Tham số kích hoạt mỗi lượt: 104B
• Số lớp: 93, trong đó 1 lớp dense
• Thành phần lớp attention: 69 lớp KDA + 24 lớp Gated DSA
• Số chuyên gia: 896, chọn 16 chuyên gia mỗi token, cộng 2 chuyên gia chia sẻ
• Kích thước từ vựng: 160K
• Hàm kích hoạt: SiTU-GLU
• Bộ mã hóa thị giác: MoonViT-V2 với 401M tham số
• Lượng tử hóa: trọng số MXFP4, kích hoạt MXFP8 (huấn luyện có nhận biết lượng tử hóa)

So với Kimi K3, phiên bản mới thay các lớp Gated MLA dùng full-attention bằng Gated DeepSeek Sparse Attention (Gated DSA). Mục tiêu là mô hình hóa ngữ cảnh dài hiệu quả hơn — yếu tố then chốt khi cửa sổ ngữ cảnh lên tới hàng triệu token.

Moonshot AI trên Hugging Face

Kết quả đánh giá nổi bật

Các bài kiểm tra được chạy ở mức reasoning effort max, temperature 1.0 và top-p 0.95 (trừ khi có ghi chú khác). Một số kết quả đáng chú ý:

• Terminal-Bench 4.0: 65.7
• SWE Marathon v1.1: 51.7
• DeepSWE v1.1: 75.5
• BenchCAD không dùng công cụ: 72.8; có công cụ: 92.7
• HLE-Full w/ tools: 70.0
• BrowseComp: 92.1
• GPQA-Diamond: 94.2
• MMMU-Pro: 84.1
• OSWorld V2.1: 79.6
• Automation Bench-AA: 73.3
• OfficeQA Pro v2: 64.4
• GDPval-AA v2.1 (Elo): 1846

Ở nhóm an ninh mạng, ExploitBench đạt 74.7 và ExploitGym đạt 20.7. Đáng chú ý là điểm Kimi Hallu Bench Hard (chỉ số càng thấp càng tốt, có dùng công cụ) chỉ 8.3 — tức tỷ lệ ảo giác thấp hơn nhiều so với các mô hình đối chiếu trong bảng của hãng.

Cách truy cập và triển khai

Người dùng có thể gọi API tại platform.kimi.ai bằng cách chọn model kimi-k3.1-pro; Moonshot AI cung cấp API tương thích cả chuẩn OpenAI lẫn Anthropic.

Về tự triển khai, hãng khuyến nghị ba inference engine:

• vLLM — có sẵn recipes
• SGLang — có cookbook
• TokenSpeed — có recipes

Mô hình cũng đã xuất hiện trên Together AI với tư cách nhà cung cấp suy luận (inference provider) cho tác vụ image-text-to-text.

ModelScope Moonshot AI)

Lưu ý khi tích hợp

Mức độ suy luận được điều khiển qua trường reasoning_effort ở cấp cao nhất, nhận các giá trị "low", "high" và "max" (mặc định là "max").

Một điểm dễ vấp với lập trình viên: khi hội thoại nhiều lượt hoặc gọi công cụ, K3.1 Pro yêu cầu gửi lại nguyên vẹn toàn bộ message trả về từ API vào messages, bao gồm cả reasoning_content và tool_calls, chứ không chỉ content. Nếu cắt bỏ phần suy luận, mô hình sẽ mất ngữ cảnh và trả lời sai lệch.

response = client.chat.completions.create(
    model=model_name,
    messages=messages,
    stream=False,
    max_tokens=4096,
    reasoning_effort="max",
)

Giấy phép

Kimi K3.1 Pro phát hành theo Kimi K3.1 Pro License — không phải giấy phép mã nguồn mở tiêu chuẩn như Apache hay MIT, nên doanh nghiệp cần đọc kỹ điều khoản trước khi dùng cho mục đích thương mại. Hãng cũng có sẵn một bản finetune trên model tree.

Góc nhìn

Với các kỹ sư và doanh nghiệp Việt Nam, việc một mô hình 2,8T tham số được mở trọng số là tín hiệu đáng chú ý: nó mở đường cho việc tự lưu trữ (self-hosting) và tinh chỉnh trên dữ liệu nội bộ — điều mà các mô hình đóng qua API khó đáp ứng vì lý do bảo mật dữ liệu. Tuy nhiên, mức 2,8T tham số đồng nghĩa yêu cầu hạ tầng GPU rất lớn, vượt xa khả năng của phần lớn đội ngũ. Thực tế hơn, các nhóm nhỏ có thể cân nhắc dùng API tương thích OpenAI sẵn có để thử nghiệm nhanh, hoặc dựa vào các nhà cung cấp suy luận bên thứ ba.

Kiến trúc MoE kích hoạt 104B tham số mỗi token cùng chiến lược lượng tử hóa MXFP4 cho thấy hướng tối ưu chi phí suy luận đang được chú trọng. Đổi lại, những lưu ý kỹ thuật như phải giữ nguyên reasoning_content khi hội thoại nhiều lượt cho thấy việc tích hợp mô hình tác tử không chỉ là đổi tên model trong code — các pipeline hiện có cần được rà soát lại.