Voxtral 3: Mistral ra mắt bộ mô hình giọng nói và SDK tạo tác nhân thoại thời gian thực

Mistral vừa chính thức giới thiệu Voxtral 3, một gia đình mô hình giọng nói thế hệ mới gồm mô hình chuyển giọng nói thành văn bản (speech-to-text), mô hình chuyển văn bản thành giọng nói (text-to-speech) và một bộ công cụ phát triển (SDK) để xây dựng tác nhân thoại (voice agent). Điểm đáng chú ý là toàn bộ quy trình nghe – suy luận – gọi công cụ – phản hồi được gộp vào một đường ống streaming thời gian thực duy nhất.

Sơ đồ kiến trúc Voxtral 3

Bài toán khó của tác nhân thoại

Theo Mistral, việc xây dựng một tác nhân thoại hoạt động trọn vẹn vẫn là thách thức lớn, bởi hệ thống phải đồng thời làm tốt bốn việc: nghe chính xác qua nhiều ngôn ngữ, giọng điệu và tình huống ngắt lời; hiểu sâu ý người dùng trong từng ngữ cảnh; nói tự nhiên với cảm xúc; và thực hiện hành động nhiều bước qua các hệ thống kết nối.

Việc khiến cả bốn yếu tố phối hợp nhịp nhàng trong thời gian thực vẫn là một nút thắt lớn. Voxtral 3 được thiết kế để giải quyết đúng điểm nghẽn này, hướng tới các tổng đài chăm sóc khách hàng, bàn hỗ trợ dịch vụ, trợ lý ảo và trợ lý rảnh tay.

Những điểm nổi bật của Voxtral 3

• Phiên âm chính xác trên hơn 50 ngôn ngữ: mô hình Voxtral Small Transcribe 3 đạt hiệu năng hàng đầu trong phiên âm đa ngôn ngữ, xác định được ai đang nói (diarization), dùng cụm từ khóa để tăng độ chính xác (context-biasing) và phát hiện thời điểm người dùng nói xong (end-of-turn detection).
• Giọng nói tự nhiên, thích ứng theo ngữ cảnh: mô hình Voxtral Mini TTS 3 bổ sung các giọng mới có thể điều chỉnh cảm xúc, tốc độ và điểm nhấn dựa trên mạch hội thoại, hỗ trợ hơn 35 ngôn ngữ và hơn 50 phương ngữ.
• Trí tuệ gần như con người qua giọng nói: SDK tác nhân thoại mới kết hợp nghe, suy luận, gọi công cụ và nói trong một trải nghiệm thời gian thực. Tác nhân có thể tra cứu thông tin, tương tác với hệ thống doanh nghiệp và hoàn tất tác vụ ngay trong cuộc gọi qua điện thoại hoặc web.
• Pro Voice cho khả năng thích ứng giọng nói chuyên sâu: với các trường hợp chuyên nghiệp mà nhân bản giọng cơ bản chưa đủ, Pro Voice tái tạo được cá tính, dải cảm xúc và phong cách nói của người nói xuyên ngôn ngữ chỉ với 30 phút âm thanh.
• Chủ quyền dữ liệu: dùng API đặt tại EU của Mistral hoặc triển khai Voxtral 3 trên hạ tầng riêng, giữ hội thoại nhạy cảm trong môi trường của mình và kiểm soát việc có lưu trữ âm thanh hay không.

Phiên âm: 50+ ngôn ngữ, độ chính xác hàng đầu

Voxtral Transcribe 3 là bước tiến đáng kể về phiên âm, diarization và context-biasing. Danh sách ngôn ngữ được mở rộng lên 50, bao gồm 24 ngôn ngữ chính thức của EU cùng nhiều ngôn ngữ ít tài nguyên ở châu Á và Ấn Độ.

Phiên bản Small đạt kết quả hàng đầu ở cả diarization lẫn phiên âm đa ngôn ngữ, gồm tiếng Anh, Pháp và Tây Ban Nha, vượt qua Whisper, Scribe v2 và Gemini 3.5 Transcribe. Phiên bản Mini chỉ 4 tỷ tham số, cho tốc độ và độ chính xác cao với mức giá 0,0035 USD/phút.

Cả hai mô hình đều hỗ trợ context-biasing, cho phép đưa vào các thuật ngữ then chốt và văn bản tự do để cải thiện khả năng nhận diện thuật ngữ chuyên ngành mà không cần tinh chỉnh. Đây là lợi thế lớn với các doanh nghiệp có từ vựng đặc thù.

Ngoài ra, Voxtral Realtime Transcribe 3 là mô hình phiên âm thời gian thực dành cho tác nhân AI, đạt chất lượng cao với độ trễ dưới 500ms trên hơn 35 ngôn ngữ, có cả diarization và context-biasing. Mô hình cũng hỗ trợ dự đoán thời điểm kết thúc lượt nói dựa trên cả thông tin âm học lẫn ngữ nghĩa, giúp giảm tỷ lệ cắt lời nhầm.

Giọng nói biết biểu cảm, đúng giọng thương hiệu

Voxtral Mini TTS 3.0, có cả bản batch và realtime, đạt mức độ biểu cảm và khả năng tuân thủ chỉ dẫn hàng đầu cho hơn 35 ngôn ngữ và 50 phương ngữ. Với giá 13 USD/1 triệu ký tự, Mistral khẳng định chi phí vận hành thấp hơn các mô hình tương đương như OpenAI TTS-1, Deepgram, ElevenLabs Flash và Gemini Flash.

Mô hình tự diễn giải ý nghĩa ngữ nghĩa của ngữ cảnh để tạo ra giọng nói tự nhiên qua nhiều cung bậc cảm xúc và ngôn ngữ. Các tính năng mới gồm nhân bản giọng từ hơn 30 phút âm thanh mẫu, tuân thủ chỉ dẫn tùy chỉnh, TTS theo ngữ cảnh và thư viện từ vựng.

Biểu đồ so sánh hiệu năng các mô hình giọng nói

Mistral nhấn mạnh khả năng kiểm soát cách phát âm các từ hiếm hoặc từ bịa, điều thường là điểm yếu của các hệ thống TTS khi gặp số liệu, tên riêng hoặc email. Đây chính là những tình huống thất bại phổ biến trong chăm sóc khách hàng doanh nghiệp.

Tác nhân thoại điều khiển toàn bộ cuộc hội thoại

Điểm nhấn của Voxtral 3 là SDK tác nhân thoại xây dựng trên LiveKit, chạy đầu vào giọng nói, suy luận và đầu ra giọng nói như một đường ống streaming. Voxtral Mini Transcribe Realtime 3 lắng nghe và phát hiện khi người gọi nói xong, một mô hình tổng quát như Mistral Small suy luận và gọi công cụ, còn Voxtral Speech 3 phản hồi theo tông giọng của cuộc hội thoại.

Không giai đoạn nào phải chờ giai đoạn trước, nên mỗi lượt hoàn tất trong chưa đầy một giây, và tác nhân dừng nói ngay khi người gọi ngắt lời. Trong cuộc gọi, tác nhân có thể xác minh danh tính, kiểm tra hóa đơn hay đặt lịch hẹn nhờ gọi hàm, tìm kiếm web và truy xuất trên hệ thống riêng. Hệ thống nhận và gọi điện qua SIP, chạy trên trình duyệt và ứng dụng qua WebRTC, đồng thời kết nối với phần mềm tổng đài, IVR và trung tâm liên lạc sẵn có.

Vì mỗi giai đoạn là một mô hình riêng, doanh nghiệp có thể thay LLM, giọng nói hoặc ngôn ngữ mà không phải viết lại tác nhân.

Giá và cách truy cập

Voxtral 3 hiện có sẵn qua API của Mistral, được lưu trữ tại các endpoint châu Âu, Mỹ và toàn cầu. Người dùng có thể thử tác nhân thoại, phiên âm âm thanh, tạo giọng nói và nhân bản giọng trong Studio playground.

• Voxtral Mini Transcribe 3 (batch): 0,0035 USD/phút
• Voxtral Mini Transcribe Realtime 3: 0,008 USD/phút
• Voxtral Small Transcribe 3: 0,0040 USD/phút
• Voxtral Speech 3 (batch và realtime, cùng API): 13 USD/1 triệu ký tự

Với doanh nghiệp muốn chạy toàn bộ hệ thống tại chỗ hoặc trên private cloud, Mistral cho biết có thể liên hệ trực tiếp để được tư vấn.

Góc nhìn cho thị trường Việt Nam

Đáng chú ý là tiếng Việt nằm trong danh sách ngôn ngữ được hỗ trợ của Voxtral 3, cả ở phần phiên âm lẫn giọng nói, và cũng có trong bộ Voice Presets. Với các doanh nghiệp Việt đang số hóa tổng đài, chăm sóc khách hàng hay xây trợ lý ảo nội bộ, một bộ công cụ tích hợp sẵn khả năng nghe – hiểu – nói tiếng Việt cùng hạ tầng có thể triển khai tại chỗ là lựa chọn đáng cân nhắc, nhất là khi bài toán bảo mật dữ liệu hội thoại ngày càng được siết chặt.

Việc Mistral đưa cả SDK lẫn mô hình vào một gói, kèm tùy chọn tự triển khai, cho thấy xu hướng rõ ràng: tác nhân thoại đang chuyển từ thử nghiệm sang hạ tầng sản xuất thực sự.