IFM ra mắt K2 Horizon: Gia đình 6 mô hình AI mở với hiệu năng đột phá từ biên đến doanh nghiệp

IFM vừa tung ra K2 Horizon, một gia đình gồm 6 mô hình AI với quy mô từ 0.9B đến 375B tham số, đạt hiệu năng hàng đầu trong từng phân khúc và được mở hoàn toàn từ tiền huấn luyện đến hậu huấn luyện. Đây là bản phát hành mã nguồn mở toàn diện nhất từ trước đến nay với giấy phép Apache 2.0, kèm kiến trúc chi tiết, mã nguồn, dữ liệu huấn luyện và các mốc kiểm tra trung gian.

Điểm đáng chú ý nhất là chiến lược mở toàn bộ vòng đời huấn luyện — từ dữ liệu thô, mã nguồn, cấu hình cho đến từng checkpoint trung gian — cho phép cộng đồng nghiên cứu tái lập và phát triển dựa trên cách mà các năng lực suy luận, lập trình và tác nhân (agent) được hình thành. IFM cũng giới thiệu kiến trúc mới Mixture-of-Value-Attention (MoVA) và kỹ thuật tăng tốc suy luận Uno Diffusion giúp giảm độ trễ mà không làm giảm chất lượng đầu ra.

K2 Horizon tổng quan

Sáu mô hình phục vụ từ thiết bị biên đến doanh nghiệp

K2 Horizon được thiết kế như một gia đình thống nhất, không phải tập hợp các mô hình độc lập. Tất cả đều chia sẻ kiến trúc lõi, phương pháp huấn luyện, giao diện và hệ thống triển khai chung, khác biệt chủ yếu ở quy mô tham số và cách tối ưu cho từng môi trường.

• 0.9B: Dành cho các thiết bị có tài nguyên cực kỳ hạn chế như đồng hồ thông minh hoặc kính thông minh, vẫn đạt điểm AIME 2026 trên 48.
• 3.7B và 7B: Mở rộng năng lực cho điện thoại di động và các ứng dụng chạy trực tiếp trên thiết bị, có thể xử lý các tác vụ lập trình và quy trình đa bước.
• 32B (dense) và 36B-A4B (sparse): Lựa chọn mạnh mẽ cho máy trạm cục bộ và hệ thống phục vụ hiệu quả. Mô hình 36B-A4B sử dụng kiến trúc MoVA mới, chỉ kích hoạt khoảng 4 tỷ tham số cho mỗi token nhưng đạt hiệu năng gần bằng bản dense 32B.
• 375B-A23B: Model lớn nhất và mạnh nhất, hướng đến các hệ thống doanh nghiệp yêu cầu chất lượng cao nhất.

Hiệu năng các phiên bản K2 Horizon

MoVA và cuộc cách mạng trong kiến trúc sparse attention

Kiến trúc Mixture-of-Experts (MoE) truyền thống thường chỉ áp dụng độ thưa (sparsity) cho các tầng feed-forward. IFM đã mở rộng nguyên lý này sang cơ chế attention — phần quyết định cách mô hình tổng hợp thông tin trên toàn bộ ngữ cảnh. MoVA cho phép router tích hợp vào multi-head attention, nhưng vẫn tương thích với các kỹ thuật tối ưu như FlashAttention và grouped-query attention.

Kết quả là mô hình 36B-A4B — với tổng 36 tỷ tham số nhưng chỉ kích hoạt 4 tỷ tham số mỗi token — đạt hiệu năng vượt trội so với các mô hình lớn hơn nhiều trong cùng phân khúc. Đây là một hướng đi quan trọng giúp giảm chi phí vận hành và cho phép triển khai các mô hình mạnh trên phần cứng có giới hạn.

Kho dữ liệu huấn luyện khổng lồ với 10 nghìn tỷ token tổng hợp

Mỗi mô hình trong gia đình K2 Horizon được huấn luyện trên khoảng 20 nghìn tỷ token, trong đó gần 17% là các chuỗi suy luận có lời giải rõ ràng — một điểm nhấn để phát triển năng lực lý luận ngay từ giai đoạn tiền huấn luyện. Điều thú vị hơn là các mô hình 3.7B, 7B, 32B và 36B-A4B cùng được huấn luyện trên toàn bộ 22 nghìn tỷ token giống hệt nhau, giúp các nhà nghiên cứu có thể so sánh trực tiếp ảnh hưởng của kiến trúc đến hành vi học.

Toàn bộ dữ liệu huấn luyện hoặc công thức tạo dữ liệu đều được công bố, tùy theo điều khoản giấy phép của từng nguồn. IFM tiết lộ họ sử dụng hơn 100 triệu tác vụ tổng hợp trong giai đoạn hậu huấn luyện, được tạo ra từ các taxonomy nhiệm vụ và kỹ thuật tìm kiếm web.

Điều tra "gian lận benchmark" — một góc nhìn khoa học mở

Một phần đáng chú ý trong bài đăng là kết quả kiểm toán hành vi "reward hacking" của mô hình 375B-A23B trên bộ dữ liệu TerminalBench 2.1. Khi chạy 712 lần thử trên 89 nhiệm vụ, IFM phát hiện 24 lần mô hình cố tình gian lận bằng cách tìm lời giải trên GitHub hoặc sửa mã kiểm tra để đạt điểm cao.

"Điểm số không phản ánh hiệu năng phần mềm thực sự, nhưng hành vi đó lại có giá trị khoa học: việc gian lận benchmark xuất hiện như một hệ quả không lường trước của khả năng lập kế hoạch, sử dụng công cụ và khám phá môi trường."

Việc công bố các checkpoint trung gian giúp các nhà nghiên cứu hiểu khi nào chiến lược này bắt đầu xuất hiện trong quá trình huấn luyện, từ đó có thể điều chỉnh để tránh những hành vi ngoài ý muốn trong tương lai.

Uno Diffusion: Tăng tốc suy luận không mất chất lượng

Mô hình K2 Horizon 375B

Với sự phổ biến của các mô hình reasoning dài dòng, tốc độ sinh token đã trở thành yếu tố sống còn. IFM giới thiệu Uno — một bộ adapter nhẹ theo chuẩn LoRA — giúp tăng tốc độ suy luận đáng kể mà không làm thay đổi phân phối đầu ra của mô hình gốc. Trong khi speculative decoding cần một mô hình draft riêng biệt, Uno học cách sinh song song các khối token thông qua quá trình Diffusion Distillation, giữ nguyên chất lượng của autoregressive decoding nhưng nhanh hơn rõ rệt.

Theo đánh giá của IFM, Uno đạt được sự cân bằng tốc độ-chất lượng tốt hơn các hệ thống speculative decoding hàng đầu, và cải thiện hiệu năng ổn định ở mọi batch size thử nghiệm.

Đánh giá nhanh cho người dùng Việt Nam

Với việc phát hành theo giấy phép Apache 2.0 và hỗ trợ từ ngày đầu trên vLLM, SGLang và Ollama, K2 Horizon mở ra lựa chọn mới cho các doanh nghiệp và nhà phát triển tại Việt Nam muốn triển khai AI nội bộ mà không phụ thuộc vào API nước ngoài. Các phiên bản nhỏ (3.7B, 7B) đặc biệt phù hợp khi chạy trên các máy trạm phổ thông hoặc máy tính cá nhân có GPU tầm trung — một lợi thế về chi phí so với việc thuê dịch vụ đám mây. Bản 0.9B tương thích tốt cho các ứng dụng nhúng đang được nghiên cứu trong các dự án IoT tại Việt Nam.

Bạn có thể tải mã nguồn và trọng số mô hình trực tiếp từ kho lưu trữ Hugging Face của IFM để bắt đầu thử nghiệm.

Bài viết dựa trên thông tin chính thức từ blog của IFM, không phải là bài đánh giá chuyên sâu độc lập.