ThinkingCap cho Gemma-4-26B-A4B: giảm tới 69% token suy luận, độ chính xác gần như đứng yên

BottlecapAI vừa phát hành mô hình thứ năm trong dòng ThinkingCap, lần này nhắm vào Gemma-4-26B-A4B của Google. Kết quả đáng chú ý: mô hình "suy nghĩ" ít hơn trung bình 38,9% và tối đa 69,1%, trong khi độ chính xác chỉ chênh lệch 0,15 điểm phần trăm.

Đây là lần đầu tiên nhóm nghiên cứu áp dụng kỹ thuật của mình lên một mô hình Google, sau các phiên bản dành cho Qwen và NVIDIA. Điểm khác biệt lớn nhất so với bốn bản trước là mức đánh đổi độ chính xác nhỏ nhất từ trước tới nay.

Ảnh minh họa ThinkingCap cho Gemma-4-26B-A4B

Bài toán: suy nghĩ ít hơn, không đánh đổi chất lượng

Gemma-4-26B-A4B là mô hình mixture of experts (MoE) thưa của Google, với 26 tỷ tham số nhưng chỉ khoảng 4 tỷ tham số hoạt động cho mỗi token. Mục tiêu của ThinkingCap rất rõ ràng: giữ nguyên toàn bộ kiến thức, khả năng suy luận, chất lượng câu trả lời, khả năng tuân thủ chỉ dẫn và hành vi an toàn của mô hình gốc, chỉ thay đổi một thứ duy nhất — số token dùng để suy luận trước khi đưa ra đáp án.

Với các mô hình suy luận (reasoning model) như Gemma, mỗi câu trả lời thường kèm theo một "chuỗi suy nghĩ" dài trước khi đi tới kết luận. Chuỗi này càng dài thì chi phí hạ tầng càng lớn, độ trễ càng cao, và với người dùng Việt Nam truy cập các dịch vụ AI qua API quốc tế, điều này còn kéo theo chi phí token đáng kể.

Giảm token suy luận không có nghĩa là làm mô hình "kém thông minh" đi. Cái được cắt là những vòng lặp thừa, những bước lập luận dư thừa không đóng góp vào đáp án cuối cùng.

Con số biết nói: 12 benchmark, giảm trung bình gần 39%

Nhóm nghiên cứu đánh giá cả mô hình gốc lẫn bản ThinkingCap trên cùng một bộ khung kiểm thử, cùng cấu hình lấy mẫu và cùng hạ tầng vLLM. Trung bình trên 12 benchmark, số token suy luận giảm từ 8.773 xuống 5.398, tức giảm 38,9%, với độ chính xác chỉ giảm 0,15 điểm phần trăm (từ 75,18% xuống 75,03%).

Mức cắt sâu nhất tập trung ở nhóm tác vụ ngữ cảnh dài và đa phương thức:

• LongBench v2: giảm 69,1% token suy luận (9.486 → 2.934), độ chính xác còn tăng 1,45 điểm phần trăm
• AA-LCR: giảm 59,3% (6.519 → 2.655), nhưng đây là điểm trừ thực sự khi độ chính xác giảm 4,00 điểm phần trăm
• MMLU-Pro: giảm 49,1% (3.907 → 1.989), độ chính xác gần như không đổi
• GPQA-Diamond: giảm 44,4%, độ chính xác giảm 0,96 điểm phần trăm

Ở chiều ngược lại, nhóm tác vụ tuân thủ chỉ dẫn và agentic giảm ít nhất, chỉ 17,2%, vì bản chất công việc của chúng không nằm ở việc suy luận dài dòng mà ở việc làm đúng theo danh sách ràng buộc định dạng hay gọi đúng công cụ theo quy trình dịch vụ khách hàng cố định.

Đồ thị độ chính xác theo ngân sách token suy luận

Điểm đáng giá nhất: vòng lặp suy luận giảm mạnh

Một vấn đề quen thuộc của các mô hình suy luận là hiện tượng looping — mô hình lặp đi lặp lại cùng một lập luận mà không thoát ra được, đốt token vô ích và đôi khi không bao giờ đưa ra đáp án. Gemma-4-26B-A4B gốc bị rơi vào vòng lặp ở 3,64% số câu trả lời, còn bản ThinkingCap chỉ 0,76%.

Ở những benchmark dễ gây lặp nhất, mức cải thiện càng rõ rệt:

• AIME 2026: từ 5,5% xuống 0,9%
• HMMT tháng 11/2025: từ 8,6% xuống 1,2%
• HMMT tháng 2/2026: từ 17,0% xuống 4,5%

Tỷ lệ câu trả lời bị cắt cụt (thinking không bao giờ đóng lại, đồng nghĩa điểm bằng 0) cũng giảm từ 4,35% xuống 0,72%. Với các đội triển khai mô hình trong sản phẩm thật, đây có thể là lợi ích thiết thực hơn cả con số token tiết kiệm.

Số token suy luận trung bình theo nhóm tác vụ

Thay thế trực tiếp, không cần đổi hạ tầng

Một điểm thuận lợi cho các kỹ sư triển khai: bản ThinkingCap dùng nguyên cấu hình lấy mẫu mà Google khuyến nghị — bật thinking, temperature 1.0, top_p 0.95, top_k 64 — và chạy trên cùng hạ tầng vLLM. Nghĩa là có thể thay thế trực tiếp (drop-in replacement) mà không phải sửa code hay tinh chỉnh lại tham số.

Mô hình được công bố tại bottlecapai/ThinkingCap-gemma-4-26B-A4B-it, kèm theo các bản build GGUF để chạy cục bộ trên máy cá nhân — hữu ích cho những ai muốn thử nghiệm mà không phụ thuộc API đám mây.

Bản PRO: tiết kiệm tới 87,6% token

Ngoài bản miễn phí, BottlecapAI còn cung cấp ThinkingCap PRO cho cùng mô hình, với mức giảm token suy luận lên tới 87,6%, trung bình 62%. Đây là hướng nhắm tới các doanh nghiệp vận hành mô hình ở quy mô lớn, nơi chi phí suy luận và độ trễ là yếu tố then chốt.

Với bối cảnh thị trường AI tại Việt Nam đang ngày càng chuộng các mô hình mã nguồn mở chạy trên hạ tầng nội bộ hoặc GPU thuê theo giờ, một mô hình 26B tham số nhưng chỉ kích hoạt khoảng 4B mỗi token, lại tốn ít token suy luận hơn gần 40%, là lựa chọn đáng cân nhắc cho các bài toán cần suy luận sâu nhưng vẫn phải kiểm soát chi phí.