Tự động hóa đọc sách đắm chìm: Giải mã thuật toán căn chỉnh âm thanh và văn bản của Storyteller

Storyteller, một nền tảng mã nguồn mở đang phát triển mạnh mẽ, đã giải quyết thành công bài toán khó: tự động đồng bộ sách điện tử (ebook) với sách nói (audiobook). Thuật toán căn chỉnh cưỡng bức (forced alignment) của nó cho phép người đọc vừa nghe văn bản được đọc thành tiếng, vừa nhìn từng câu được tô sáng trên màn hình — một trải nghiệm đọc sách "đắm chìm" (immersive reading) thực thụ. Bài viết này sẽ mổ xẻ cách thức hoạt động của công nghệ đằng sau tính năng này.

Thách thức khi căn chỉnh sách điện tử và sách nói

Ban đầu, Storyteller chỉ là một tập lệnh Python đơn giản, nhưng nhanh chóng phải đối mặt với những vấn đề phức tạp mà bất kỳ hệ thống forced alignment nào cũng gặp phải khi xử lý sách:

• Thứ tự chương khác nhau: Phần mở đầu (frontmatter) trong ebook như lời đề tặng có thể được đọc ở cuối audiobook, hoặc ngược lại. Ví dụ, trong Tress of the Emerald Sea, lời cảm ơn nằm ở đầu ebook nhưng lại ở cuối audiobook.
• Chương không tồn tại ở định dạng còn lại: Phụ lục, lời tựa, mục lục thường bị bỏ qua trong audiobook, trong khi audiobook có thể có các chương nhỏ không có trong ebook.
• Bỏ qua hoặc thêm nội dung: Người đọc có thể bỏ qua một số câu văn hoặc thêm vào mô tả hình ảnh, đồ họa.
• Thay đổi từ ngữ: Đạo diễn hoặc người đọc có thể chủ động thay đổi một từ, cụm từ để đọc dễ hơn hoặc do lỗi. Ví dụ, thay "reading" bằng "listening" trong các cuốn sách phi hư cấu.

Những khác biệt này khiến các công cụ căn chỉnh cũ (như syncabook) trở nên bất lực, vì chúng thường yêu cầu người dùng xác định thủ công sự tương ứng giữa các chương.

Tìm kiếm ranh giới: Thuật toán n-gram với RANSAC

Để giải quyết thách thức trên, bước đầu tiên là tìm vị trí bắt đầu và kết thúc của từng chương văn bản trong file âm thanh. Vì không có bản chép lời chính xác tuyệt đối, tác giả sử dụng mô hình Massively Multilingual Speech (MMS) để tạo ra "CTC emissions" — một dạng biểu diễn xác suất ký tự theo từng khung 20ms âm thanh.

Sau đó, thuật toán giải mã tham lam (greedy decoding) được dùng để chuyển các emissions này thành văn bản gần đúng. Văn bản này không hoàn hảo, nhưng đủ để so sánh với nội dung ebook đã được tiền xử lý (loại bỏ dấu câu, viết thường, chuyển số thành chữ).

Bước tiếp theo là kỹ thuật n-gram kết hợp với RANSAC. Cụ thể, hệ thống chia văn bản thành các chuỗi 10 ký tự liên tiếp và tìm những chuỗi trùng khớp giữa tài liệu (ebook) và truy vấn (audio). Thuật toán RANSAC giúp lọc ra các điểm tương ứng thực sự (inliers) khỏi các điểm nhiễu, từ đó ước tính chính xác vị trí của chương. Phương pháp này cực kỳ bền bỉ ngay cả khi có nhiều sai sót trong bản giải mã.

Căn chỉnh chi tiết: Thuật toán CTC Viterbi

Sau khi xác định được ranh giới, bài toán trở nên đơn giản hơn. Hệ thống sử dụng thuật toán Viterbi — một thuật toán quy hoạch động kinh điển — để tìm đường đi tối ưu qua các khung thời gian, sao cho chuỗi ký tự được "nhận dạng" khớp với văn bản gốc.

Ý tưởng cốt lõi là tại mỗi bước, chỉ cần xét ba khả năng di chuyển: giữ nguyên trạng thái, chuyển sang ký tự tiếp theo, hoặc bỏ qua ký tự trống (blank) giữa hai ký tự khác nhau. Nhờ vậy, thay vì phải so sánh hàng trăm nghìn đường đi khả dĩ, thuật toán chỉ cần tính toán một vài con đường tối ưu cục bộ.

Để tăng tốc, hệ thống sử dụng "match anchors" — những n-gram duy nhất trùng khớp chắc chắn giữa văn bản và âm thanh. Chúng chia nhỏ bài toán thành từng đoạn dài khoảng 2.000 ký tự, giúp quá trình xử lý trở nên hiệu quả hơn rất nhiều.

Ý nghĩa của công nghệ này với độc giả Việt Nam

Mặc dù Storyteller chủ yếu hỗ trợ tiếng Anh (và một số ngôn ngữ khác thông qua MMS), nhưng thuật toán này tiềm năng ứng dụng rất lớn cho thị trường sách nói Việt Nam đang phát triển. Với mô hình MMS hỗ trợ đa ngôn ngữ, các nhà phát triển Việt có thể học hỏi cách tiếp cận này để xây dựng các ứng dụng đọc sách kết hợp nghe thông minh cho sách tiếng Việt.

Công nghệ này mở ra cơ hội mới cho ngành xuất bản số, giúp việc "đọc sách bằng mắt kết hợp nghe bằng tai" trở nên trọn vẹn, đặc biệt hữu ích cho người khiếm thị hoặc người muốn nâng cao khả năng ngoại ngữ.

Kết luận

Thuật toán của Storyteller là sự kết hợp tinh tế giữa các kỹ thuật xử lý âm thanh hiện đại (CTC, Wav2Vec 2.0, MMS) và các thuật toán tối ưu kinh điển (RANSAC, Viterbi). Việc chia bài toán thành hai giai đoạn rõ ràng (tìm ranh giới và căn chỉnh chi tiết) giúp giải quyết hiệu quả những khác biệt phức tạp giữa ebook và audiobook, mang lại trải nghiệm nghe đọc vô cùng mượt mà. Bạn có thể tự mình trải nghiệm thử bằng cách sử dụng công cụ stalign với cờ --ctc hoặc phiên bản beta của Storyteller v3.