Nari Labs vượt mặt các mô hình đóng: Qwen3-TTS và Qwen3-ASR dẫn đầu cả về độ chính xác lẫn chi phí

Nari Labs vừa gây chú ý trong cộng đồng công nghệ khi công bố các endpoint Qwen3-TTS và Qwen3-ASR đạt thứ hạng cao nhất trên bảng xếp hạng voice AI của Coval. Đáng chú ý, các mô hình mã nguồn mở này không chỉ cạnh tranh được với những sản phẩm thương mại như ElevenLabs hay Cartesia mà còn vượt trội ở nhiều chỉ số quan trọng.

Điểm đáng nói là cả hai mô hình đều nằm trên đường biên Pareto về chất lượng - độ trễ, đồng thời dẫn đầu về mối tương quan giữa chi phí với độ trễ và chất lượng trong số tất cả các mô hình công khai trên bảng xếp hạng.

Bối cảnh: Vấn đề nằm ở khâu suy luận, không phải ở mô hình

Theo Toby từ Nari Labs, thị trường voice AI vẫn đang bị chi phối bởi các mô hình đóng, dù ngày càng nhiều mô hình mã nguồn mở chất lượng cao được công bố. Nhóm của anh cho rằng đây là vấn đề của khâu suy luận (inference), chứ không phải của bản thân mô hình.

Các hệ thống suy luận phổ biến hiện nay như vLLM hay SGLang được thiết kế cho mô hình ngôn ngữ đơn phương thức, chưa tối ưu cho suy luận đa phương thức như âm thanh. Để chứng minh điều này, Nari Labs đã xây dựng một inference engine chuyên dụng cho Qwen3-TTS và mã nguồn mở nó trên GitHub.

Kết quả ban đầu khá ấn tượng: engine này đạt độ trễ dưới 50 ms ở tốc độ 10 yêu cầu mỗi giây (RPS), cho thấy các mô hình mở hoàn toàn có thể chạy nhanh và rẻ hơn nhiều so với cách triển khai thông thường.

Kết quả trên bảng xếp hạng Coval

Coval là đơn vị đánh giá và benchmark voice AI hàng đầu, chuyên giúp các speech AI agent hoạt động tốt hơn trong môi trường production. Bảng xếp hạng của họ được trích dẫn rộng rãi trong ngành.

Với speech-to-text (STT), chỉ số quan trọng là thời gian từ lúc người dùng kết thúc câu nói đến khi có kết quả văn bản cuối cùng (TTFS), cùng với tỷ lệ lỗi từ (WER). Với text-to-speech (TTS), chỉ số là thời gian từ lúc nhập văn bản đến khi phát ra đoạn âm thanh đầu tiên (TTFA), cũng kèm theo WER.

Tính đến giữa tháng 9/2026, tình hình xếp hạng của Nari Labs như sau:

• STT: đứng số 1 về độ trễ, số 2 về WER
• TTS: đứng số 2 về độ trễ, số 1 về WER

So sánh độ trễ và độ chính xác của mô hình speech-to-text

So sánh tỷ lệ lỗi từ của mô hình speech-to-text

Speech-to-Text: Nhanh nhất, gần như chính xác nhất

Mô hình Qwen3-ASR Fast của Nari Labs đứng số 1 về TTFS với p50 chỉ 44 ms và WER 3,6%. Con số này chỉ kém vị trí dẫn đầu đúng 0,1 điểm phần trăm — thuộc về AssemblyAI Universal 3.5 Pro với WER 3,5%.

Điểm mạnh thực sự nằm ở giá. Ở mức 0,12 USD/giờ, endpoint Fast của Nari Labs đồng hạng về giá thấp thứ hai trong số các mô hình có mức giá công khai. Để so sánh, Universal 3.5 Pro đắt gấp 3,75 lần và Deepgram Nova 3 đắt gấp 2,4 lần.

Phiên bản Standard thậm chí còn rẻ hơn, chỉ 0,06 USD/giờ — mức giá thấp nhất trong danh sách.

Text-to-Speech: Chính xác nhất, rẻ nhất

Mô hình Qwen3-TTS Fast đứng số 2 về TTFA với p50 là 63 ms và WER 3,8% — mức chính xác cao nhất bảng xếp hạng.

Mô hình duy nhất có TTFA trung vị thấp hơn là vui của Fluxions, đạt 49 ms. Tuy nhiên cần lưu ý đây là mô hình chỉ có 300 triệu tham số, trong khi Qwen3-TTS mà Nari Labs phục vụ có tới 1,7 tỷ tham số.

So sánh độ trễ và độ chính xác của mô hình text-to-speech

Về chi phí, endpoint Fast ở mức 10 USD cho mỗi 1 triệu ký tự, đồng hạng nhất về giá rẻ. ElevenLabs Eleven v3 Conversational đắt gấp 5 lần, còn Cartesia Sonic 3.6 đắt gấp 6,5 lần. Phiên bản Standard thậm chí chỉ 5 USD/1 triệu ký tự.

Điều thú vị là endpoint Qwen3 TTS Flash Realtime chính thức của Alibaba lại có WER lên tới 8,8% và TTFA trung vị 692 ms — dù cả hai bên đều phục vụ cùng một mô hình.

Nari Labs cũng vượt qua endpoint Qwen3-TTS chuyên dụng của Baseten, vốn ghi nhận WER 6,0% và TTFA trung vị 101 ms.

Ý nghĩa đối với thị trường và người dùng Việt Nam

Câu chuyện này mang lại bài học quan trọng: khoảng cách giữa mô hình mở và mô hình đóng phần lớn đến từ chất lượng hạ tầng suy luận, chứ không phải từ năng lực của mô hình. Khi tối ưu đúng cách, các mô hình mã nguồn mở hoàn toàn có thể đạt được chất lượng cao với chi phí thấp hơn nhiều lần.

Với các đội phát triển sản phẩm tại Việt Nam — đặc biệt là các startup làm về ứng dụng AI thoại, tổng đài chăm sóc khách hàng tự động hay trợ lý ảo — đây là tín hiệu đáng mừng. Chi phí vận hành TTS và STT có thể giảm mạnh, giúp bài toán đơn vị kinh tế trở nên khả thi hơn nhiều.

Nhóm Nari Labs cho biết họ đang mở rộng sang các phần khác của xử lý âm thanh như phân tách người nói (diarization), cùng với suy luận cho video và world model. API Public Beta của họ sẽ chuyển sang giai đoạn trả phí trong tuần này, kèm ưu đãi 20 USD credit cho những ai đã đăng ký tài khoản trước thời điểm chuyển đổi.