Dessa: Mô hình giọng nói full-duplex chân thực nhất từng được tạo ra

Block vừa công bố Dessa, một mô hình giọng nói thế hệ mới được phát triển bởi nhóm nghiên cứu AI nhỏ trực thuộc công ty. Điểm khác biệt cốt lõi: Dessa được huấn luyện từ đầu chỉ bằng âm thanh hội thoại của con người, không dùng văn bản, không dựa vào mô hình tiền huấn luyện nào. Trò chuyện với Dessa được kỳ vọng giống như nói chuyện với một người thật — đầy cảm xúc, sắc thái, những khoảng lặng và nhịp điệu tự nhiên.

Vấn đề của các trợ lý giọng nói hiện tại

Theo nhóm phát triển, hầu hết trợ lý giọng nói hiện nay đều gặp chung một điểm yếu: chúng chuyển giọng nói thành văn bản và vứt bỏ một lượng thông tin khổng lồ mà chỉ văn bản không thể truyền tải.

"Những AI mạnh nhất thế giới không thể nghe được bạn đang cảm thấy thế nào. Chúng tôi cho rằng điều đó thật vô lý, dẫn đến trải nghiệm tệ hơn, và thậm chí có thể nguy hiểm."

Ví dụ dễ thấy nhất: một người đang rất đau đớn, nhưng AI giọng nói không hề nhận ra và vẫn tiếp tục nói như không có gì. Đây không chỉ là vấn đề trải nghiệm mà còn là vấn đề an toàn.

Dessa hoạt động như thế nào?

Dessa là mô hình speech-to-speech thực thụ: âm thanh vào, âm thanh ra. Toàn bộ kiến thức của nó đến từ giọng nói con người.

• Full-duplex: nghe và nói cùng lúc, giống cách con người trò chuyện
• Biết khi nào nên ngắt lời, khi nào nên đáp lại bằng những câu đệm như "ừ nhỉ!", "hiểu rồi!", "ồ!"
• Suy luận nhanh hơn thời gian thực, không có khoảng chờ gượng gạo
• Chạy cục bộ trên MacBook Pro M4 Max hoặc cấu hình mạnh hơn

Dessa nghe và nói được cảm xúc, sự mỉa mai, tiếng cười, tiếng thở dài bực bội, hay giọng nói run lên vì buồn. Khi chuyển giọng nói qua văn bản, tất cả những thứ đó đều biến mất — đó là lý do phần lớn AI giọng nói hiện nay nghe cứng nhắc, chậm chạp và gây khó chịu.

Thách thức kỹ thuật đáng kinh ngạc

Các mô hình ngôn ngữ lớn cần một lượng văn bản khổng lồ để học. Dessa thì học ngôn ngữ từ số lượng từ ít hơn hàng trăm lần — dù công bằng mà nói, các LLM còn phải học cả C++ lẫn "cái thứ quái quỷ mang tên Angular".

Nhưng Dessa phải học nhiều hơn cả ngôn ngữ: ngữ điệu, khoảng ngừng, hơi thở, sự mỉa mai, hài hước, biến điệu, cảm xúc, thời điểm ngắt lời. Mỗi yếu tố đều thay đổi ý nghĩa câu nói. Thử đọc to câu "Tôi không nói cô ấy ăn cắp mã CUDA của tôi" và nhấn mạnh vào một từ khác nhau mỗi lần — cùng từ ngữ, nhưng ý nghĩa khác nhau hoàn toàn.

Thêm vào đó, giọng nói không bao giờ lặp lại. Nói một câu hai lần theo cùng một cách, dữ liệu thu được vẫn khác nhau. Trong khi đó, văn bản giống hệt nhau dù ai gõ. Một từ nói ra chiếm dung lượng lớn gấp hàng nghìn lần so với từ đó ở dạng văn bản. Với một cỗ máy không có văn bản để bám vào, đây là bài toán cực kỳ khó.

Điều đáng chú ý: nhóm nghiên cứu cho biết họ đã huấn luyện thành công Dessa chỉ trên một cụm NVIDIA GB200 NVL72 duy nhất.

Ba lý do đằng sau dự án

Nhóm phát triển nêu rõ ba động lực:

• Tò mò (và vui): Trẻ sơ sinh học nói mà chưa từng nhìn thấy chữ viết. Họ muốn xem một mô hình có làm được như vậy không. Câu trả lời là có — chỉ là rất khó.
• Hiểu biết tốt hơn giữa người và AI: Giọng nói là giao diện tự nhiên nhất với bất kỳ trí tuệ nào, nhưng AI giọng nói hiện tại đang lãng phí nó bằng cách ép mọi thứ thành văn bản.
• An toàn: AI ngày càng mạnh và độc lập nhưng vẫn gần như "điếc" trước cảm xúc trong giọng nói con người. Dessa là một bước tiến để khắc phục điều này.

Ai đứng sau Dessa?

Dessa được phát triển bởi một nhóm nghiên cứu AI rất nhỏ tại Block, do các cựu thành viên của Dessa — startup deep learning tại Toronto — sáng lập. Nhóm đã xây dựng các mô hình deep learning từ năm 2012 và mô hình giọng nói tạo sinh trong hơn tám năm. Họ báo cáo trực tiếp lên Jack Dorsey, đồng sáng lập kiêm Chủ tịch Block.

Nhóm cũng đang mời các nhà nghiên cứu an toàn AI bên ngoài tiếp cận sớm để tìm ra những rủi ro mà họ chưa lường trước — một động thái đáng ghi nhận với một mô hình khai phá lãnh thổ hoàn toàn mới.

Góc nhìn cho độc giả Việt Nam

Với cộng đồng công nghệ Việt Nam, Dessa mở ra hướng đi đáng chú ý: không cần văn bản vẫn có thể xây dựng AI hội thoại chất lượng cao. Điều này đặc biệt ý nghĩa với các ngôn ngữ ít tài nguyên văn bản như tiếng Việt, nơi dữ liệu chữ viết chất lượng cao khan hiếm hơn nhiều so với dữ liệu âm thanh. Nếu cách tiếp cận này được nhân rộng, các mô hình giọng nói tiếng Việt tự nhiên, giàu cảm xúc có thể trở nên gần hơn với thực tế.

Việc Dessa chạy cục bộ trên một chiếc MacBook Pro M4 Max cũng là tín hiệu tích cực: chi phí triển khai AI giọng nói đang giảm nhanh, mở đường cho các sản phẩm nội địa không phụ thuộc hoàn toàn vào hạ tầng đám mây nước ngoài.