Desert Ant Labs: Trí tuệ nhân tạo cục bộ, chạy nhanh ngay trên thiết bị

Trong bối cảnh các "ông lớn" AI tập trung vào những mô hình ngôn ngữ lớn chạy trên đám mây tốn kém, Desert Ant Labs chọn một hướng đi khác: xây dựng những mô hình nhỏ, chuyên biệt chạy trực tiếp trên thiết bị. Với bộ 18 mô hình vừa ra mắt, hãng tuyên bố mang lại tốc độ phản hồi nhanh hơn, chi phí bằng không và dữ liệu người dùng không bao giờ rời khỏi máy.

Mô hình nhỏ, tác vụ cụ thể

Thay vì một "bộ não tổng quát" với khả năng xử lý đa dạng, Desert Ant Labs theo đuổi triết lý "bộ não nhỏ" (cerebellum) — những mô hình chuyên trách từng tác vụ cụ thể như phiên âm giọng nói, làm sạch âm thanh, phát hiện thông tin nhạy cảm hay nhận diện ngôn ngữ. Mỗi mô hình đều được tối ưu để hoàn thành tác vụ nhanh nhất có thể trên thiết bị mà không cần kết nối internet.

"Khi chi phí suy luận (inference) bằng không, cách chúng ta xây dựng sản phẩm hoàn toàn thay đổi." — Đại diện Desert Ant Labs.

Các mô hình nổi bật trong bộ sản phẩm đầu tiên:

• Voz: Phiên âm 10 phút âm thanh trong 2 giây trên iPhone, nhanh gấp 4,7 lần so với Whisper của OpenAI, kèm thời gian bắt đầu và kết thúc cho từng từ.
• Clear: Chỉ 9MB nhưng biến đoạn ghi âm 5 phút từ laptop thành âm thanh chất lượng phòng thu trong 1 giây, nhanh gấp 302 lần tốc độ thời gian thực trên iPhone 16 Pro.
• Redact: Che giấu tên, địa chỉ, số thẻ tín dụng trong thời gian thực, hỗ trợ 27 ngôn ngữ — nhạy cảm hơn OpenAI filter khi dùng kích thước chỉ 12MB.
• Tongue: Nhận diện 84 ngôn ngữ từ chỉ 3 từ, với mô hình dung lượng 2MB đạt độ chính xác 0.933, cao hơn cả bộ phát hiện 293MB.

Hành trình từ "Detail" đến "Desert Ant Labs"

Trong 5 năm phát triển ứng dụng video Detail với triết lý on-device-first, nhóm sáng lập đã chật vật khi muốn tìm các mô hình cục bộ hữu ích. Mỗi tháng họ phải duyệt Hugging Face nhưng không tìm được giải pháp phù hợp, buộc phải dùng API đám mây và gánh chi phí hạ tầng ngày càng lớn.

Thay vì chờ đợi, họ tự huấn luyện mô hình của riêng mình. Kết quả không chỉ thay thế Dolby trong tính năng nâng cấp âm thanh mà còn tạo ra mô hình Clips 284MB giúp chuyển video 10 phút thành nhiều đoạn clip trong 5 giây — nhanh hơn 10 lần và tốn ít năng lượng hơn 470 lần so với Claude Sonnet. Detail 6 dự kiến ra mắt cùng iOS 27 sẽ thay toàn bộ cloud API bằng các mô hình chạy hoàn toàn trên thiết bị.

Rẻ hơn, nhanh hơn và bảo mật hơn

Desert Ant Labs đặc biệt chỉ trích mô hình kinh tế của các hãng AI lớn: chi phí tính theo token khiến nhà phát triển phải cân nhắc từng cuộc gọi. Nghiên cứu của NVIDIA cho thấy 40-70% cuộc gọi đến mô hình lớn có thể thay thế bằng mô hình nhỏ chuyên biệt.

Công ty chỉ ra điểm "bất công" về mặt lợi thế: khoảng 450 tỷ USD chi cho trung tâm dữ liệu trong năm nay, nhưng hàng tỷ điện thoại, máy tính bảng có chip ngày càng mạnh mẽ đang nằm trong tay người dùng. Điện toán cục bộ biến một chiếc iPhone 5 năm tuổi thành một "siêu máy tính AI" không cần internet.

Một điểm khác biệt nữa đến từ yếu tố châu Âu — nơi quyền riêng tư dữ liệu là vấn đề nhạy cảm. Với mô hình chạy cục bộ, dữ liệu không bao giờ rời khỏi tay khách hàng, và điều chưa từng được tải lên thì không bao giờ bị thu giữ.

Xây dựng hệ sinh thái cho nhà phát triển

Desert Ant Labs đồng thời ra mắt SDK hỗ trợ Swift, Kotlin và JavaScript cho phép tích hợp chỉ với vài dòng mã. Tài liệu kỹ thuật được viết cho cả con người lẫn AI agent, người dùng có thể dùng thử ngay trên máy Mac qua CLI hoặc trên trình duyệt thông qua Hugging Face.

Toàn bộ mô hình được phát hành miễn phí lên đến 100.000 thiết bị hoạt động hàng tháng, không cần token, không cần đăng ký. Với tầm nhìn dài hạn, hãng sẽ tiếp tục phát triển những mô hình lớn hơn khi chip thiết bị ngày càng mạnh, hướng tới một hệ sinh thái AI hoàn chỉnh chạy ngay trên máy người dùng.

Hình ảnh mô tả hệ sinh thái AI cục bộ của Desert Ant Labs

Cách tiếp cận của Desert Ant Labs phản ánh một xu hướng đang nổi lên trong cộng đồng công nghệ toàn cầu, và cũng là một tin vui với nhà phát triển Việt Nam: các giải pháp AI mạnh mẽ không còn bị đóng khung trong những API đám mây tốn kém, mở đường cho các ứng dụng thông minh hoạt động tốt ở điều kiện mạng hạn chế hay yêu cầu bảo mật nghiêm ngặt.