Nvidia ra mắt mô hình chuyển giọng nói thành văn bản mã nguồn mở, hỗ trợ 40 ngôn ngữ

Nvidia vừa phát hành Nemotron 3.5 Transcribe, một mô hình chuyển giọng nói thành văn bản miễn phí với trọng số mở, có khả năng xử lý tới 40 ngôn ngữ. Hãng cũng tung ra phiên bản 2 của Granary, bộ dữ liệu giọng nói mã nguồn mở của mình. Đây là bước tiến đáng chú ý cho các công cụ ghi biên bản cuộc họp và y tế, dù vẫn còn để ngỏ mảng âm thanh thời gian thực cho các đối thủ.

Những gì Nemotron 3.5 Transcribe có thể làm

Theo Nvidia, mô hình này có thể dịch qua lại giữa 31 ngôn ngữ và tiếng Anh, xử lý các bản ghi dài tới một giờ và phân biệt được tối đa 8 người nói trong cùng một đoạn âm thanh. Hãng khẳng định Transcribe vượt qua các đối thủ trên nhiều bảng xếp hạng đánh giá, trong đó có Open ASR Leaderboard của Hugging Face.

Bộ công cụ này nhắm trực tiếp vào các lập trình viên đang xây dựng ứng dụng cho cuộc họp doanh nghiệp và ghi chép y tế — hai lĩnh vực mà AI đã có chỗ đứng vững chắc trong môi trường làm việc.

Nvidia cho biết các nhà phát triển có thể kết hợp mô hình này, bộ dữ liệu Granary cập nhật và các công cụ như NeMo Speech để tùy biến ứng dụng nhận diện đúng thuật ngữ chuyên ngành của từng lĩnh vực, ở từng ngôn ngữ.

Hạn chế: chưa hỗ trợ âm thanh trực tiếp

Điểm trừ đáng kể nhất là Transcribe chỉ xử lý âm thanh đã ghi lại, không hỗ trợ phát trực tiếp. Điều này đồng nghĩa với việc các ứng dụng phiên dịch thời gian thực hay trợ lý giọng nói cần phản hồi tức thì vẫn phải tìm đến những giải pháp khác. Đây là khoảng trống mà các đối thủ như ElevenLabs đang khai thác.

Chạy được trên một con chip duy nhất

Dù sở hữu tới 30 tỷ tham số, Nvidia cam kết Transcribe có thể vận hành trên một chip duy nhất. Danh sách phần cứng tương thích trải rộng từ bộ điều khiển robot Jetson AGX Thor, chip DGX Spark trang bị trên các mẫu laptop mới, cho đến các chip trung tâm dữ liệu Blackwell.

Mô hình này gia nhập bộ sưu tập mô hình giọng nói trọng số mở của Nvidia, bên cạnh Parakeet — một mô hình rất nhỏ (1,1 tỷ tham số) nhưng được đánh giá cao về hiệu năng.

Thị trường AI giọng nói đang nóng lên

Việc Nvidia tung sản phẩm mới diễn ra trong giai đoạn các ông lớn liên tục ra mắt mô hình giọng nói. Mistral vừa phát hành Voxtral 3 hồi đầu tháng, ElevenLabs trình làng Realtime cho phép trợ lý giọng nói phản hồi tức thì, còn Salesforce giới thiệu mô hình giọng nói Launa-Omni.

Với các nhà phát triển tại Việt Nam, sự xuất hiện của một mô hình mã nguồn mở đa ngôn ngữ như Nemotron 3.5 mở ra cơ hội xây dựng công cụ ghi biên bản cuộc họp hay chuyển ngữ tài liệu chuyên ngành với chi phí thấp hơn nhiều so với việc phụ thuộc hoàn toàn vào các dịch vụ đám mây thương mại. Tuy vậy, khả năng xử lý tiếng Việt thực tế vẫn cần được cộng đồng kiểm chứng trước khi đưa vào ứng dụng thương mại.