Apple MLX chạy mô hình gần 1.000 tỷ tham số trên Mac Studio: Suy luận AI cục bộ và phân tán

Apple gần đây đã công bố một bước tiến đáng chú ý trong lĩnh vực suy luận mô hình ngôn ngữ lớn (LLM) cục bộ. Nhóm nghiên cứu học máy của hãng đã trình diễn cách chạy Muse Spark Open — một mô hình gần một nghìn tỷ tham số — ngay trên bàn làm việc, sử dụng phiên bản MLX mới nhất. Điểm nhấn đáng chú ý nhất là việc kết hợp giữa phần cứng Apple silicon thế hệ M5 và khả năng giao tiếp độ trễ thấp giữa nhiều máy Mac.

Ảnh minh họa nghiên cứu học máy của Apple

MLX và kiến trúc bộ nhớ hợp nhất

MLX là khung làm việc mảng mã nguồn mở của Apple, tận dụng kiến trúc bộ nhớ hợp nhất (unified memory) của Apple silicon. Điều này cho phép các nhà nghiên cứu AI và lập trình viên thử nghiệm những mô hình, phương pháp mới nhất ngay trên phần cứng của mình, trong một môi trường riêng tư và không phụ thuộc vào đám mây.

Trong bài đăng trước đó, Apple từng nhấn mạnh lợi thế của kiến trúc M5 cùng các GPU Neural Accelerator — phần cứng chuyên dụng hỗ trợ phép nhân ma trận, vốn là phép toán cốt lõi trong hầu hết tác vụ học máy. Lần này, điểm mới nằm ở khả năng mở rộng quy mô: từ một máy Mac Studio đơn lẻ lên một cụm nhiều máy nhờ trình điều khiển RDMA qua Thunderbolt.

Chạy mô hình gần nghìn tỷ tham số trên bàn làm việc

Theo Apple, trên một cụm gồm bốn máy Mac Studio, mô hình Muse Spark Open có thể tạo ra hơn 36 token mỗi giây — một tốc độ vượt xa tốc độ đọc trung bình của con người. Đây là kết quả đáng kể khi xét rằng mô hình này sở hữu 816 tỷ tham số, thuộc nhóm mô hình cấp tiên tiến (frontier-class).

Muse Spark Open là mô hình hỗn hợp chuyên gia (MoE) — chỉ kích hoạt một phần nhỏ các chuyên gia, và do đó chỉ dùng một phần tham số (42 tỷ trong trường hợp này) tại thời điểm suy luận. Điều này giúp giảm đáng kể khối lượng tính toán cần thiết.

Các mô hình khác được Apple dùng để đánh giá bao gồm:

• Mistral Medium 3.5 (128 tỷ tham số), kiến trúc dày đặc, độ chính xác FP8
• Qwen 3.8 (27 tỷ tham số), kiến trúc dày đặc, độ chính xác BF16
• Muse Spark Open (816 tỷ tham số), kiến trúc MoE, lượng tử hóa NVFP4

Hiệu năng ấn tượng trên một máy Mac Studio

Đối với các mô hình vừa và nhỏ như Qwen 3.8 và Mistral Medium 3.5, chúng có thể chạy thoải mái trên một máy Mac Studio với 512GB bộ nhớ hợp nhất. Đây là điểm mạnh của M5 Ultra so với thế hệ M3 Ultra trước đó:

• Thời gian tạo token đầu tiên (TTFT) nhanh hơn tới 4,6 lần nhờ GPU Neural Accelerator tăng tốc phép nhân ma trận — yếu tố then chốt cho các tác vụ ngữ cảnh lớn
• Tốc độ sinh token nhanh hơn 1,6 lần, nhờ băng thông bộ nhớ hợp nhất tăng từ 819 GB/s lên 1,2 TB/s
• Mức tiêu thụ điện năng đỉnh chỉ khoảng 200W với M3 Ultra và 300W với M5 Ultra — thấp hơn nhiều so với các hệ thống GPU chuyên dụng

Mức tiêu thụ điện năng khiêm tốn này đồng nghĩa một chiếc Mac Studio có thể được triển khai cho công việc AI ở bất kỳ văn phòng hay không gian gia đình nào.

Song song hóa đường ống: Chia mô hình theo chiều sâu

Muse Spark Open, nếu ở độ chính xác gốc (BF16), cần tới hơn 1,6TB RAM chỉ để chứa các tham số. Ngay cả khi lượng tử hóa xuống 4-bit (NVFP4), dung lượng bộ nhớ vẫn khoảng 493GB — vượt quá khả năng của một máy đơn lẻ.

Giải pháp là song song hóa đường ống (pipeline parallelization): chia mô hình thành hai nửa, mỗi máy Mac Studio giữ một nửa. Máy thứ nhất xử lý các lớp đầu, gửi kết quả sang máy thứ hai xử lý các lớp còn lại. Cách này dễ triển khai và chỉ cần thay đổi mã tối thiểu.

Điểm đáng chú ý là với ngữ cảnh rất lớn (65.536 token), song song hóa đường ống có thể nhanh hơn một máy đơn lẻ tới ~1,8 lần ở giai đoạn prefill, nhờ MLX chia ngữ cảnh thành các đoạn nhỏ và xử lý chồng lấn giữa hai máy.

Song song hóa tensor: Tăng tốc mạnh hơn

Song song hóa tensor (tensor parallelization) phân chia chiều rộng của mô hình — mỗi máy giữ một phần của từng lớp. Cách này cho hiệu năng cao hơn nhưng phức tạp hơn nhiều, đòi hỏi giao tiếp độ trễ cực thấp giữa các máy. Đây chính là lúc RDMA qua Thunderbolt 5 phát huy tác dụng.

Ảnh minh họa khả năng suy luận AI cục bộ của Mac

Với bốn máy Mac Studio dùng M5 Ultra, kết quả đạt được rất ấn tượng:

• Muse Spark Open: đạt 36,73 token/giây ở ngữ cảnh 8.192 token và vẫn duy trì tốc độ cao ở ngữ cảnh 65.536 token
• Qwen 3.8: đạt tới 50,89 token/giây với bốn máy
• Mistral Medium 3.5: đạt 23,37 token/giây với bốn máy

Đáng chú ý, mô hình kiến trúc dày đặc (dense) có khả năng mở rộng tốt hơn mô hình MoE khi thêm máy. Tuy nhiên, việc thêm máy vẫn mang lại lợi ích rõ rệt cho mọi mô hình.

AI tác tử cục bộ trên Mac

Một trong những ứng dụng thực tế được Apple nhấn mạnh là AI tác tử (agentic AI) chạy cục bộ. Các công cụ lập trình tác tử đang ngày càng phổ biến trong giới lập trình viên, và với MLX, việc chạy chúng cục bộ trở nên đơn giản.

Chỉ cần khởi động máy chủ mlx_lm.server — có thể kết hợp với mlx.launch để song song hóa qua nhiều máy Mac Studio — người dùng có thể kết nối với các công cụ như OpenCode thông qua giao diện tương thích OpenAI. Điều này mở ra khả năng chạy trợ lý lập trình AI mạnh mẽ hoàn toàn cục bộ, không cần gửi dữ liệu lên đám mây.

Ý nghĩa đối với người dùng Việt Nam

Đối với cộng đồng nghiên cứu và phát triển AI tại Việt Nam, bước tiến này mang lại nhiều ý nghĩa thiết thực. Việc chạy được các mô hình lớn ngay trên phần cứng cục bộ giúp:

• Bảo mật dữ liệu tốt hơn, đặc biệt với các doanh nghiệp không muốn đưa dữ liệu nhạy cảm lên đám mây nước ngoài
• Giảm chi phí vận hành so với thuê GPU đám mây theo giờ
• Chủ động thử nghiệm các kỹ thuật suy luận và tinh chỉnh mới nhất mà không phụ thuộc vào nhà cung cấp dịch vụ

Tuy nhiên, chi phí đầu tư ban đầu cho một cụm nhiều máy Mac Studio vẫn khá cao, phù hợp hơn với các phòng thí nghiệm, trường đại học hoặc doanh nghiệp có nhu cầu AI chuyên sâu. Với cá nhân, một chiếc Mac Studio đơn lẻ vẫn đủ sức chạy nhiều mô hình mã nguồn mở phổ biến.

Kết luận

Sự kết hợp giữa phần cứng Apple silicon mới nhất — Mac Studio với M5 Ultra, Neural Accelerator trong GPU, 512GB bộ nhớ hợp nhất và RDMA qua Thunderbolt 5 — cùng các cải tiến phần mềm trong MLX đang dần xóa nhòa ranh giới giữa suy luận AI cục bộ và trên đám mây. Việc chạy các mô hình hơn 800 tỷ tham số ngay trên bàn làm việc, với tốc độ nhanh gấp 4,6 lần thế hệ trước ở giai đoạn khởi động, là minh chứng rõ ràng cho xu hướng này.