Inkling 2 Mini: mô hình 26,4B tham số chạy trên laptop

Phần mềm21 tháng 11, 2026·5 phút đọc

Thinking Machines phát hành Inkling 2 Mini, mô hình trọng số mở dùng kiến trúc transformer lặp (looped transformer) với 26,4 tổng tham số và 3,4 tỷ tham số hoạt động mỗi token. Mô hình chỉ chiếm khoảng 20GB bộ nhớ nên chạy được trên laptop phổ thông, đồng thời dẫn đầu các mô hình trọng số mở dưới 100B tham số trên nhiều bài đánh giá lập trình tác tử.

Inkling 2 Mini: mô hình 26,4B tham số chạy trên laptop

Thinking Machines vừa phát hành Inkling 2 Mini với trọng số mở. Điểm khác biệt không nằm ở kích thước, mà ở kiến trúc: các khối giữa của mô hình được chạy lặp ba lần cho mỗi token.

Cách làm này giúp mô hình suy luận nhiều hơn mà không cần viết ra chuỗi suy nghĩ dài. Đây cũng là lý do nhóm nghiên cứu công bố mô hình kèm phân tích về khả năng giám sát.

Cấu hình và hiệu năng

Inkling 2 Mini là mô hình hỗn hợp chuyên gia (Mixture-of-Experts) với tổng 26,4 tỷ tham số. Mỗi token chỉ kích hoạt 3,4 tỷ tham số.

Do chạy lặp, lượng trọng số thực sự được dùng cho mỗi token là 5,4 tỷ. Mô hình có 24 lớp, chia thành bốn khối sáu lớp.

Hai khối giữa chạy ba lần, khối đầu và khối cuối chạy một lần. Tổng cộng mỗi token đi qua 48 lượt lớp dù chỉ lưu 24 lớp.

Trên các bài đánh giá lập trình tác tử, mô hình đạt:

  • DeepSWE v1.1: 48,2%
  • SWE-bench Pro v2 (Hard): 77,9%
  • SWE-bench Verified: 79,2%
  • Terminal Bench v2.1: 71,6%
  • PMPP-Hard: 455,82

Với các tác vụ tìm kiếm và dùng công cụ, mô hình đạt 79,0% trên BrowseComp, 85,3% trên DeepSearchQA và 82,7% trên MCP Atlas.

Theo nhóm phát triển, đây là mức cao nhất trong nhóm mô hình trọng số mở dưới 100 tỷ tham số trên phần lớn bài đo. Một số bài như MMMU Pro hay HLE-Diamond vẫn có mô hình khác nhỉnh hơn.

Lượng tử hóa và dung lượng

Phần lớn trọng số được huấn luyện và triển khai trực tiếp ở độ chính xác NVFP4 (định dạng số thực 4 bit của NVIDIA). Bốn lớp cuối dùng MXFP8 (8 bit).

Vì huấn luyện và chạy suy luận ở cùng một định dạng số, mô hình không bị mất mát do chuyển đổi lượng tử hóa. Tổng dung lượng khoảng 20GB.

Mức này cho phép chạy trên laptop phổ thông hoặc máy AI để bàn. Nhóm nghiên cứu đã chạy mô hình ngoại tuyến trên một chiếc MacBook Pro trong chuyến bay và dựng được một trò mô phỏng bay chơi được trong vài phút.

Cắt tỉa chuyên gia

Mô hình khởi đầu với 384 chuyên gia mỗi lớp, chọn 8 chuyên gia cho mỗi token. Giữa quá trình huấn luyện, nhóm cắt bỏ hai phần ba số chuyên gia, giữ lại 128 chuyên gia được dùng nhiều nhất.

Sau đó mô hình huấn luyện thêm trên 1.000 tỷ token chưng cất từ một mô hình Inkling nội bộ lớn hơn. Bước này giúp các chuyên gia còn lại gánh phần việc của các chuyên gia đã bị xóa.

Tiếp theo là tinh chỉnh có giám sát (SFT), rồi học tăng cường (RL) với tổng 2.200 tỷ token qua 2.000 bước.

Đánh đổi về khả năng giám sát

Chuỗi suy nghĩ (chain of thought, CoT) là công cụ chính để con người đọc và kiểm soát một mô hình AI. Kiến trúc transformer thường giới hạn số bước tính toán trước khi mô hình phải xuất ra token, nên phần suy luận dài buộc phải hiện ra trong văn bản.

Chạy lặp nâng giới hạn đó. Mô hình tính toán nhiều hơn bên trong trước khi nói ra suy nghĩ, nên một phần lập luận có thể không bao giờ xuất hiện trong CoT.

Thinking Machines đo tác động này bằng một biến thể TML-d24-varloop-research, huấn luyện với 1 đến 5 lượt lặp và công bố trên Hugging Face.

Kết quả sơ bộ:

  • Chân trời thời gian không dùng CoT tăng từ 16 giây (một lượt) lên 37 giây (ba lượt).
  • Trên bài N-Hop Lookup, độ chính xác vẫn tăng tới mười lượt, gấp đôi số lượt huấn luyện.
  • CoT ngắn lại nhưng vẫn dễ đọc: độ dài câu và tỉ lệ từ có trong từ điển tiếng Anh gần như không đổi.
  • Mô hình ít quay lui hơn: số từ thể hiện do dự giảm từ 9,7 xuống 3,6.

Ở quy mô này, nhóm nghiên cứu chưa thấy khả năng giám sát suy luận bị giảm rõ rệt. Trong bài kiểm tra LinuxArena, tỉ lệ tác vụ xấu lọt qua giám sát không tăng theo số lượt lặp.

Những điểm yếu

Mô hình không mạnh nhất ở hội thoại nhiều lượt hay chỉ dẫn ràng buộc phức tạp. Nó đạt 50,0% trên MultiChallenge và 33,4% trên ComplexConstraints v1.1, thấp hơn Qwen3.8-27B.

Các bài suy luận nặng như CritPt v2 và HLE-Diamond cũng có điểm thấp hơn mô hình lớn hơn. Lý do: chạy lặp cải thiện suy luận nhưng không giúp trọng số lưu thêm kiến thức.

Cách dùng

Inkling 2 Mini chạy trên mọi máy Mac có ít nhất 32GB RAM qua Ollama. Trên máy AI để bàn NVIDIA DGX Spark, mô hình chạy trực tiếp ở NVFP4.

Các bản GGUF lượng tử hóa có sẵn qua Unsloth và llama.cpp. Mô hình cũng có trên Tinker để suy luận và tinh chỉnh, cùng các khung SGLang, vLLM, NVIDIA Dynamo và TokenSpeed.

Góc nhìn

Với lập trình viên Việt Nam, ngưỡng 20GB và yêu cầu 32GB RAM là mức khả thi trên nhiều máy trạm và laptop cấu hình cao hiện có. Một mô hình đạt gần 80% trên SWE-bench Verified mà chạy cục bộ mở ra hướng tự động hóa việc sửa lỗi và viết mã trong môi trường không cần đưa mã nguồn lên đám mây.

Việc hỗ trợ Ollama, llama.cpp và GGUF cũng giúp thử nghiệm nhanh mà không phải dựng hạ tầng phức tạp.

Điểm cần lưu ý là kiến trúc chạy lặp làm tăng phần tính toán ẩn bên trong mô hình. Doanh nghiệp dùng mô hình này cho tác vụ tác tử nên xem lại quy trình giám sát, không chỉ dựa vào việc đọc chuỗi suy nghĩ hiển thị ra.

Nguồn: thinkingmachines.ai · Quy trình biên tập

Chia sẻ:FacebookX