Chuyển 1 giờ âm thanh thành văn bản trong 13 giây trên MacBook Air

Một nhóm phát triển vừa giới thiệu Embedding Gemma Transcribe, công cụ chuyển giọng nói thành văn bản có thể xử lý một giờ âm thanh chỉ trong khoảng 13 giây trên chiếc MacBook Air M3 cơ bản. Điểm đáng chú ý là toàn bộ quá trình diễn ra ngay trên thiết bị, không cần gửi dữ liệu lên máy chủ.

Công cụ này được xây dựng dựa trên EmbeddingGemma 2 — vốn là một mô hình embedding đa phương thức của Google, chứ không phải mô hình nhận dạng giọng nói chuyên dụng.

Từ mô hình embedding đến công cụ nhận dạng giọng nói

EmbeddingGemma 2 là một mô hình embedding đa phương thức, có khả năng đưa văn bản, hình ảnh, âm thanh và video vào chung một không gian biểu diễn. Điều này có nghĩa là khi bạn nói một từ, đoạn âm thanh của từ đó sẽ nằm gần vị trí của từ viết tương ứng trong không gian đó.

Ý tưởng của nhóm phát triển khá đơn giản: nếu âm thanh và văn bản nằm gần nhau trong cùng một không gian, liệu có thể đọc trực tiếp từ ngữ ra từ không gian đó hay không?

Cách hoạt động cụ thể như sau:

• Bộ mã hóa âm thanh của EmbeddingGemma 2 được giữ nguyên, không thay đổi.
• Một bộ đọc nhỏ sẽ chuyển từng đoạn âm thanh ngắn vào không gian văn bản của mô hình.
• Từ gần nhất trong khoảng 229.000 từ tiếng Anh sẽ được chọn, và các đoạn này ghép lại thành bản ghi văn bản.
• Một mô hình nhỏ bổ sung sẽ thêm dấu câu và chữ viết hoa.

Đáng chú ý, chỉ có bộ đọc được huấn luyện, với thời gian chưa đến hai giờ trên 8 GPU H100, sử dụng dữ liệu giọng nói tiếng Anh có giấy phép mở. Bản thân mô hình gốc chưa từng được huấn luyện cho bài toán chuyển giọng nói thành văn bản.

Tốc độ gây ấn tượng

Trong các thử nghiệm trên cùng một chiếc MacBook Air M3 cơ bản với 8 GB RAM, Embedding Gemma Transcribe đạt tốc độ 288 lần thời gian thực, tức xử lý một giờ âm thanh trong khoảng 12,6 giây. Con số này vượt trội so với nhiều giải pháp khác:

• IBM Granite Speech 5.0 TurboCTC (chạy trên GPU qua MLX): khoảng 25,7 giây cho một giờ âm thanh.
• NVIDIA Parakeet TDT 0.6B v3 (qua FluidAudio): nhanh hơn trên các dòng chip M4 Pro và M5 Pro, nhưng đó là các máy mới và mạnh hơn.

Cần lưu ý rằng đây là so sánh tương đối, không hoàn toàn cùng điều kiện, vì các benchmark của FluidAudio được thực hiện trên máy Mac mới hơn và với nguồn âm thanh khác.

Điểm mạnh và hạn chế hiện tại

Ưu điểm lớn nhất của công cụ này là chạy hoàn toàn trên thiết bị, tận dụng Neural Engine của Apple Silicon. Âm thanh của người dùng không bao giờ rời khỏi máy, đây là lợi thế rõ rệt về mặt quyền riêng tư so với các dịch vụ đám mây.

Tuy nhiên, hiện tại tỷ lệ lỗi từ (word error rate) của công cụ vào khoảng 5%, so với mức 2–3% của các mô hình nhận dạng giọng nói hàng đầu. Nhóm phát triển cho biết họ tin rằng một bộ đọc được huấn luyện tốt hơn có thể thu hẹp khoảng cách này, và đây sẽ là hướng phát triển tiếp theo.

Cách sử dụng

Người dùng có thể kéo thả file âm thanh vào ứng dụng, hoặc giữ phím Right Option, nói và thả ra để đọc chính tả vào bất kỳ ứng dụng nào. Phần mềm yêu cầu macOS 14 trở lên và chip Apple Silicon, với dung lượng mô hình khoảng 715 MB tải về trong lần chạy đầu tiên.

Việc một mô hình embedding đa phương thức có thể "học lỏm" khả năng nhận dạng giọng nói mà không cần huấn luyện chuyên biệt cho thấy tiềm năng to lớn của các mô hình đa phương thức trong việc tái sử dụng cho nhiều bài toán khác nhau.

Đối với người dùng Việt Nam, đây là hướng đi đáng quan tâm, bởi các công cụ chuyển giọng nói thành văn bản chạy nội bộ giúp tiết kiệm chi phí thuê dịch vụ đám mây và bảo vệ dữ liệu ghi âm. Tuy nhiên, cần lưu ý rằng mô hình hiện tại được huấn luyện chủ yếu trên tiếng Anh, nên hiệu quả với tiếng Việt sẽ cần thêm thời gian và dữ liệu huấn luyện phù hợp để đánh giá đầy đủ.