Cactus Needle 3: Mô hình tự động hóa 8-29MB đạt hiệu năng ngang DeepSeek V4 Flash

Cactus vừa ra mắt Needle 3, thế hệ mô hình AI siêu nhỏ chuyên cho tác vụ tự động hóa và trích xuất dữ liệu. Điểm đáng chú ý nhất là các mô hình này chỉ nặng từ 8 đến 29MB nhưng có thể đạt hiệu năng tương đương DeepSeek V4 Flash sau khi tinh chỉnh.

Khác với các mô hình ngôn ngữ lớn thông thường, Needle 3 không thiết kế để trò chuyện. Thay vào đó, nó tập trung vào hai bài toán: gọi công cụ (tool calls) và xuất JSON có cấu trúc, giúp các ứng dụng nhỏ gọn có thể chạy trực tiếp trên thiết bị mà không cần kết nối đám mây.

Kiến trúc phân tầng trí tuệ độc đáo

Điểm khác biệt cốt lõi của Needle 3 là cơ chế Intelligence Laddering (phân tầng trí tuệ). Mỗi tầng từ 2 đến 20 là một mạng con có thể triển khai độc lập, tức cùng một bộ trọng số nhưng cho phép nhà phát triển chọn kích thước phù hợp.

• Từ 25 đến 121 triệu tham số ở định dạng lượng tử hóa 2-bit
• Kích thước nhị phân từ 8 đến 29MB
• Trên Raspberry Pi 5, mô hình giải mã tới 4.000 token/giây và tiền nạp tới 10.000 token/giây

Để đạt được điều này, nhóm phát triển đã thay thế lớp FFN dày đặc bằng Monarch Hadamard MLP — sử dụng ba cặp nhân tố Kronecker khởi tạo Walsh-Hadamard xen kẽ với thang đo chéo theo kênh. Cách tiếp cận này giúp giảm độ phức tạp từ O(d²) xuống O(d√d), tiết kiệm hơn gấp đôi MFLOPs mỗi token so với transformer cùng cấu hình.

Hiệu năng vượt trội so với mô hình lớn gấp nhiều lần

Trên bộ kiểm thử Mobile Actions (lệnh điện thoại, chấm điểm theo lệnh gọi chính xác), mô hình 20 tầng đạt 86,0 điểm qua bản nhị phân 2-bit. Con số này vượt qua:

• LFM2.5 1.2B: 82,4 điểm
• Qwen3.5 0.8B: 76,0 điểm
• Mô hình on-device của Apple: 57,6 điểm

Cần lưu ý rằng các mô hình so sánh đều chạy ở định dạng f16, trong khi Needle 3 đã được lượng tử hóa xuống 2-bit.

Nhóm phát triển thừa nhận Needle 3 không thắng ở mọi bài kiểm thử, đặc biệt là các tác vụ trò chuyện tổng quát.

Tính năng nổi bật cho nhà phát triển

Hỗ trợ đa ngôn ngữ: Needle 3 hiện hỗ trợ tiếng Anh, Pháp, Tây Ban Nha, Đức, Hà Lan, Ý và Ba Lan, với nhiều ngôn ngữ khác đang được bổ sung.

Triggers bằng biểu thức chính quy: Bài toán phổ biến với gọi công cụ là xác định đúng ngữ cảnh. Needle 3 hỗ trợ regex không phân biệt hoa thường để hạn chế kết quả âm tính giả.

Điểm tin cậy (confidence): Mỗi phản hồi đều kèm điểm tin cậy đã hiệu chỉnh. Nhà phát triển có thể đặt ngưỡng: điểm cao thì thực thi ngay, điểm trung bình thì hiển thị lệnh gọi và hỏi lại, điểm thấp thì chuyển sang mô hình lớn hơn.

Tinh chỉnh hiệu quả: Chỉ cần 4 tầng, mô hình có thể đạt hiệu năng ngang DeepSeek V4 Flash trên một tác vụ hẹp. Trên bộ DroidCall, tinh chỉnh giúp mỗi mạng con tăng 18 đến 36 điểm, và từ 4 tầng trở lên có thể vượt DeepSeek V4 Flash chỉ với 29 triệu tham số.

Nền tảng hỗ trợ rộng khắp

Needle 3 có thể chạy trên gần như mọi nền tảng hiện đại:

• Máy tính: macOS, Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32), Windows (x64, ARM)
• Di động: Android, iOS
• Thiết bị đeo: watchOS, tvOS
• Web: WebAssembly và WASI component

Mỗi nền tảng đều có engine cài sẵn dưới 1MB, chỉ cần tải trọng số needle3.cact là có thể chạy.

Ứng dụng thực tế

Với kích thước nhỏ và khả năng chạy offline, Needle 3 mở ra nhiều ứng dụng thực tế:

• Nhà thông minh: Câu lệnh "Giảm đèn phòng ngủ và khóa cửa" được chuyển thành hai lệnh gọi, thực thi offline không cần hub
• Robot: Hướng dẫn phức tạp như "Dọn bếp nhưng để yên phòng ngủ" thành chuỗi hành động cụ thể
• Điện thoại: Trợ lý thao tác trực tiếp trên thiết bị thay vì chỉ trả lời
• Kính AR: Điều hướng và tìm kiếm xung quanh mà không cần điện thoại hay mạng
• Ô tô: Điều khiển điều hòa, media, dẫn đường bằng lệnh thoại trong cabin

Góc nhìn cho thị trường Việt Nam

Với các nhà phát triển Việt Nam, Needle 3 là lựa chọn đáng cân nhắc cho các ứng dụng IoT, nhà thông minh và thiết bị nhúng. Chi phí hạ tầng thấp, không phụ thuộc API đám mây nước ngoài, và khả năng chạy trên Raspberry Pi hay vi điều khiển giá rẻ rất phù hợp với các dự án khởi nghiệp trong nước.

Tuy nhiên, cần lưu ý Needle 3 không phải mô hình đa dụng. Nó chỉ phát huy sức mạnh khi được thiết kế công cụ tốt và tinh chỉnh cho tác vụ cụ thể. Đây là công cụ dành cho nhà phát triển, không phải sản phẩm dùng ngay.

Mã nguồn Needle 3 đã có trên GitHub, kèm gói Python và tài liệu hướng dẫn chi tiết về thiết kế công cụ, trích xuất dữ liệu và tinh chỉnh mô hình.