Dessa của Block: Mô hình giọng nói AI nghe như người thật, chạy được trên MacBook M4 Max

Block – công ty do Jack Dorsey sáng lập – vừa giới thiệu một mô hình giọng nói mới từ phòng nghiên cứu của mình, có khả năng chạy cục bộ và tạo ra giọng nói tự nhiên đến mức đáng kinh ngạc, với đầy đủ các biểu cảm như cười, ngập ngừng hay nghẹn ngào.

Mô hình mang tên Dessa được huấn luyện hoàn toàn trên dữ liệu giọng nói của con người và chỉ cần một GPU NVIDIA duy nhất. Đây được xem là bước tiến quan trọng trong lĩnh vực AI hội thoại, khi lần đầu tiên một mô hình có thể tạo ra cuộc trò chuyện chân thực mà không cần đến văn bản trung gian.

Full-duplex: vừa nói vừa nghe như người thật

Dessa là mô hình full-duplex, nghĩa là nó có thể vừa nói vừa lắng nghe cùng lúc – giống như cách con người giao tiếp trong đời thực. Điều này tương tự mô hình GPT-Live mà OpenAI từng công bố hồi đầu năm nay.

Thông thường, các mô hình giọng nói được ghép với một mô hình ngôn ngữ lớn (LLM) để truy xuất kiến thức. Tuy nhiên, Block cho biết kiến thức của Dessa đến trực tiếp từ dữ liệu hội thoại mà nó được huấn luyện.

"Chúng tôi tin rằng giọng nói là cách tự nhiên nhất để tương tác với trí tuệ nhân tạo, nên chúng tôi tạo ra Dessa – mô hình giọng nói full-duplex chân thực nhất từng được xây dựng. Trò chuyện với nó giống như nói chuyện với một con người… đầy cảm xúc, sắc thái, những khoảng ngập ngừng và nhịp điệu tự nhiên." – Jack Dorsey chia sẻ.

Vấn đề của các mô hình giọng nói hiện tại

Theo Block, nhiều mô hình hiện nay nghe thiếu tự nhiên và gây khó chịu vì chúng phải đi qua bước văn bản trước khi tạo ra giọng nói. Các mô hình như ElevenLabs v4 hay Fish Audio Drama 3 sử dụng các thẻ giọng nói (voice tags) để điều khiển cảm xúc, trong khi Block khẳng định cảm xúc của Dessa được tích hợp sẵn trong mô hình.

Chưa rõ liệu cảm xúc này có được điều khiển bằng một cơ chế gắn thẻ nào đó hay không.

"Tương tác với AI giọng nói hiện tại thực sự có thể rất tệ. Nó biến giọng nói của bạn thành văn bản và ném đi một lượng lớn thông tin mà văn bản không thể truyền tải. Những AI mạnh nhất thế giới không thể nghe được bạn đang cảm thấy thế nào. Chúng tôi thấy điều đó thật vô lý, dẫn đến trải nghiệm tồi tệ hơn và tiềm ẩn nguy hiểm." – trích blog của Block.

Những minh họa đáng chú ý

Nhóm nghiên cứu của Block đã công bố nhiều ví dụ về các cuộc trò chuyện với Dessa, trong đó tác nhân AI có giọng điệu, nhịp điệu và cảm xúc khác nhau. Chẳng hạn, trong một đoạn hội thoại, Bot nói rằng nó mệt mỏi vì công việc – và đúng lúc đó, giọng nó nghe cũng mệt mỏi thật sự.

Một ví dụ khác cho thấy Bot đang nói về việc người đối diện khiến nó cảm thấy thoải mái, với giọng điệu xúc động và gần như nghẹn lại. Cũng có đoạn video ghi lại cảnh một thành viên nhóm Block chơi trò đoán chữ cùng trợ lý giọng nói này.

Chạy cục bộ trên máy tính tiêu dùng

Block cho biết Dessa có thể chạy cục bộ trên các máy tính phổ thông như MacBook M4 Max trở lên. Đây là điểm khác biệt lớn so với các mô hình giọng nói đám mây, vốn đòi hỏi hạ tầng mạnh và chi phí vận hành cao.

Tuy nhiên, hiện chưa có quyền truy cập công khai vào Dessa. Block đang kêu gọi các nhà nghiên cứu an toàn thử nghiệm mô hình – có thể nhằm kiểm tra các tình huống mà một tác nhân giọng nói có thể đánh lừa người ở đầu dây bên kia.

Ý nghĩa với thị trường và người dùng Việt Nam

Block vốn hoạt động trong lĩnh vực tài chính và cung cấp giải pháp cho doanh nghiệp nhỏ. Square – dịch vụ thanh toán của công ty – đã ứng dụng AI giọng nói để xử lý đơn hàng. Với mô hình giọng nói riêng chạy được trên thiết bị, Block có thể mở rộng nhiều trải nghiệm cho doanh nghiệp và người tiêu dùng với chi phí thấp hơn.

Đối với người dùng và lập trình viên Việt Nam, sự xuất hiện của các mô hình giọng nói chạy cục bộ như Dessa mở ra triển vọng ứng dụng thực tế: từ tổng đài chăm sóc khách hàng tự động, trợ lý ảo tiếng Việt đến các ứng dụng giáo dục và hỗ trợ người khuyết tật – tất cả có thể vận hành mà không cần phụ thuộc vào hạ tầng đám mây đắt đỏ.