Magenta RealTime 2: Google ra mắt mô hình AI âm nhạc thời gian thực chạy mượt trên MacBook

Đội ngũ Magenta của Google đã công bố Magenta RealTime 2 (MRT2), một bước tiến lớn trong lĩnh vực AI âm nhạc, biến máy tính xách tay thành nhạc cụ ảo có thể chơi nhạc thời gian thực. Không giống như các mô hình tạo nhạc phổ biến hiện nay thường hoạt động theo chế độ offline (nhập văn bản -> chờ xử lý -> nhận file nhạc), MRT2 được thiết kế để tương tác trực tiếp, tức thì như một cây đàn piano hay synthesizer thực thụ.

Giao diện và mô hình hoạt động của Magenta RealTime 2

MRT2 là một mô hình mã nguồn mở với 2,4 tỷ tham số, có khả năng tổng hợp âm nhạc chất lượng cao với độ trễ cực thấp. Người dùng có thể điều khiển mô hình này bằng nhiều phương thức khác nhau bao gồm MIDI (bàn phím điện tử), đoạn âm thanh mẫu hoặc văn bản mô tả phong cách. Điều này mở ra khả năng sáng tạo vô hạn, từ việc sao chép âm thanh (cloning), hòa trộn các phong cách nhạc lý cho đến tạo ra phần đệm (accompaniment) trực tiếp khi biểu diễn.

Độ trễ thấp và Hiệu suất vượt trội

Một trong những cải tiến đáng kể nhất của MRT2 so với phiên bản tiền nhiệm là độ trễ (latency). Phiên bản đầu tiên của Magenta RealTime yêu cầu phần cứng mạnh mẽ như GPU hoặc TPU và có độ trễ kiểm soát lên tới khoảng 3 giây. Trong khi đó, MRT2 đã giảm độ trễ này xuống chỉ còn khoảng 200ms, cho phép phản hồi gần như tức thì đối với các thao tác của người chơi.

So sánh hiệu suất giữa phiên bản cũ và mới

Bảng so sánh dưới đây cho thấy sự tiến bộ vượt bậc:

• Thời lượng khung hình (Frame size): Giảm từ 2 giây xuống chỉ còn 40ms.
• Độ trễ điều khiển: Giảm từ ~3 giây xuống ~200ms.
• Phương thức điều khiển: Bổ sung cổng MIDI bên cạnh văn bản và âm thanh.
• Yêu cầu phần cứng: Không còn cần GPU/TPU đắt đỏ, thay vào đó có thể chạy trên MacBook.

Công nghệ suy luận C++ và MLX trên Apple Silicon

Để mang khả năng tạo nhạc thời gian thực đến với phần cứng mà các nhạc sĩ thực sự sử dụng, đội ngũ Magenta đã xây dựng một động cơ suy luận (inference engine) bằng C++ được hỗ trợ bởi framework MLX của Apple. Điều này cho phép MRT2 chạy nguyên bản (native) và hiệu quả trên các chip Apple Silicon (M-series).

Ứng dụng demo chạy trên MacBook

Cụ thể, MLX được sử dụng để biên dịch mô hình MRT2 (được triển khai bằng thư viện SequenceLayers) thành tệp .mlxfn. Engine C++ sẽ tải tệp này và sử dụng runtime của MLX để thực thi hiệu quả trên GPU của Apple Silicon. Nhờ đó, người dùng có thể chạy MRT2 dưới dạng ứng dụng độc lập, plugin trong DAW (Digital Audio Workstation) hoặc tích hợp vào các phần mềm âm nhạc khác.

Yêu cầu phần cứng để chạy chế độ streaming thời gian thực (tạo âm thanh nhanh hơn tốc độ phát) như sau:

• Mô hình cơ sở (2.4B): MacBook M3 Pro trở lên, hoặc M2 Max trở lên.
• Mô hình nhỏ (230M): Bất kỳ MacBook Apple Silicon nào, kể cả MacBook Air.

Bộ công cụ dành cho Nhạc sĩ và Nhà phát triển

Mục tiêu cốt lõi của Magenta RealTime 2 là giúp nhạc sĩ tích hợp các mô hình âm nhạc trực tiếp vào quy trình làm việc của họ. Đội ngũ phát triển cũng cung cấp bộ mã nguồn mở bao gồm thư viện Python (magenta-rt) và engine C++ để các nhà phát triển có thể tự xây dựng các ứng dụng hoặc nhạc cụ tùy chỉnh riêng.

Trong tương lai, Magenta hứa hẹn sẽ bổ sung thêm tính năng tinh chỉnh (finetuning), cho phép bất kỳ ai cũng có thể tùy biến mô hình bằng cách huấn luyện trực tiếp trên dữ liệu âm nhạc của riêng mình. Với MRT2, AI đang dần khẳng định vai trò là một công cụ hỗ trợ đắc lực, mang lại khả năng kiểm soát và tính tức thì mà các nhà sáng tạo mong đợi, thay vì chỉ đơn thuần là một công cụ thay thế con người.

Nguồn: Magenta Team - Google