Thiết lập AI cục bộ trên Mac mini M4 Pro: Tự chủ hạ tầng, thoát khỏi 'đất thuê' của API đám mây

Trong khi phần lớn giới công nghệ còn đang tranh cãi về chi phí đăng ký API, một nhà phát triển đã chọn con đường ngược lại: vận hành một máy chủ LLM hoàn toàn cục bộ trên Mac mini M4 Pro với 48GB RAM. Thiết lập này không chỉ giải quyết bài toán chi phí mà còn mang lại quyền kiểm soát dữ liệu, độ trễ thấp và khả năng hoạt động ngoại tuyến — những ưu điểm mà bất kỳ dịch vụ đám mây nào cũng khó lòng đáp ứng được.

Vì sao nên chạy mô hình AI cục bộ?

Tác giả bài viết chia sẻ quan điểm thẳng thắn: API đám mây là "đất thuê" — bạn không bao giờ thực sự kiểm soát được nó. Các nhà cung cấp có thể thay đổi giá, giới hạn tốc độ sử dụng, hoặc âm thầm hoán đổi phiên bản mô hình phía sau hậu trường mà không hề báo trước. Anh đã từng trả tới 400 USD/tháng cho hai gói đăng ký nhưng chất lượng phản hồi ngày càng thất thường.

Vấn đề nghiêm trọng hơn nằm ở quyền riêng tư dữ liệu. Khi gửi mã nguồn nhạy cảm, dữ liệu khách hàng hoặc quy trình công việc độc quyền cho API bên thứ ba, bạn đưa ra một quyết định không thể đảo ngược. Không ai biết chắc dữ liệu đó sẽ được lưu trữ, sử dụng hay bán như thế nào.

Ngoài ra còn có vấn đề chủ quyền AI. Các chính phủ có thể giới hạn việc triển khai một mô hình nào đó bất kỳ lúc nào. Nếu quy trình làm việc của bạn phụ thuộc vào một mô hình đám mây bị hạn chế, bạn buộc phải dừng lại hoặc tìm đường gấp. Cách duy nhất để tránh điều này là tự sở hữu hạ tầng tính toán của mình.

Những lợi ích thực tế khác bao gồm:

• Chi phí dự đoán được: Phần cứng mua một lần, điện năng tiêu thụ thấp, mỗi lần suy luận sau đó gần như miễn phí.
• Độ trễ thấp: Không cần vòng lặp mạng, tốc độ phản hồi gần như tức thời cho hầu hết tác vụ nhờ bộ xử lý media engine của M4 Pro.
• Hoạt động ngoại tuyến: Không cần internet vẫn chạy tốt — yếu tố quan trọng với agent chạy nền.
• Không giới hạn tốc độ: API thường giới hạn khi vượt ngưỡng sử dụng, máy của bạn thì không.

Kiến trúc hệ thống và các công cụ chính

Hệ thống gồm một Mac mini M4 Pro 48GB chạy liên tục, kết nối các thiết bị (iPhone, MacBook) qua mạng lưới riêng tư Tailscale. Toàn bộ ngăn xếp bao gồm:

• Qwen3.6-35B-A3B-OptiQ-4bit: Mô hình chính cho các tác vụ suy luận và yêu cầu độ sâu.
• Gemma-4-E4B-it-OptiQ-4bit: Mô hình nhẹ cho chat thông thường, định dạng văn bản.
• oMLX: Máy chủ suy luận (inference server).
• Hermes: Agent backend chạy trên Mac mini, truy cập qua Telegram trên điện thoại hoặc ứng dụng desktop trên MacBook.

Ngoài ra, Apollo trên iOS dành cho các câu hỏi nhanh, Pi đóng vai trò coding agent, và Raycast AI xử lý các tác vụ ngẫu nhiên. Điểm mấu chốt là thiết lập này không thay thế hoàn toàn API mà chỉ chiếm lĩnh ~80% nhu cầu hàng ngày, để lại các tác vụ đặc biệt phức tạp cho GPT-5 hoặc Claude Opus khi cần.

Hiểu đúng về mô hình MoE (Mixture-of-Experts)

Hiểu đúng về mô hình MoE (Mixture-of-Experts)

Một trong những hiểu lầm phổ biến nhất khi chọn mô hình cục bộ là nhìn vào tổng tham số. Với MoE, con số này hoàn toàn gây hiểu nhầm. Ví dụ:

• Qwen3.6-35B-A3B: Có 35 tỷ tham số tổng, nhưng chỉ 3 tỷ tham số hoạt động (active) cho mỗi token.
• Ngược lại, mô hình dense 27B phải nạp toàn bộ 27 tỷ tham số vào RAM mọi lúc.

Trên Mac mini 48GB, Qwen 35B-A3B ở định dạng 4-bit tiêu tốn khoảng 20GB RAM, để lại đủ tài nguyên cho bộ nhớ ngữ cảnh và hệ điều hành. Trong khi đó, một mô hình dense 27B với 16GB RAM sẽ nhanh chóng rơi vào tình trạng tràn bộ nhớ và phải swap sang SSD — gây ra trải nghiệm cực kỳ khó chịu.

Cách kiểm tra mô hình có chạy trên phần cứng của bạn hay không:

• Xem kích thước file lượng tử hóa trước tiên. Mô hình 4-bit có dung lượng gần bằng số tham số (35B ≈ 17-20GB).
• Trừ đi phần chi phí hệ điều hành (macOS chiếm khoảng 6-8GB).
• Dành không gian cho bộ nhớ ngữ cảnh — lên kế hoạch 8-16GB cho các cuộc hội thoại dài.
• Với MoE, hãy tìm con số "tham số hoạt động" để ước lượng bộ nhớ suy luận thực tế.

Nếu mô hình + ngữ cảnh vẫn vừa với RAM khả dụng với dư địa an toàn 10-15%, bạn đã an toàn. Ngược lại, hệ thống sẽ phải swap và mọi thứ trở nên chậm chạp.

Dễ dàng hoán đổi mô hình khi có phiên bản mới

Điều tuyệt vời nhất của thiết lập này là quá trình nâng cấp mô hình cực kỳ đơn giản: chỉ cần tải file mới vào thư mục ~/models/, oMLX tự động phát hiện, chọn mô hình trong ứng dụng là xong. Dashboard của oMLX còn tích hợp trình duyệt mô hình HuggingFace để tải trực tiếp. Bạn cũng có thể SSH vào Mac mini từ bất kỳ thiết bị nào để thao tác qua CLI.

Chất lượng mô hình ngày càng cạnh tranh hơn với API đám mây. Ví dụ, Qwen 35B-A3B ở định dạng 4-bit chỉ thua khoảng 1-2 điểm trên hầu hết benchmark so với BF16 (float 16-bit không nén) — một sự đánh đổi chấp nhận được khi tiết kiệm tới 40GB bộ nhớ. Khoảng cách giữa mô hình cục bộ và mô hình API đang thu hẹp nhanh chóng.

Kết nối an toàn qua Tailscale

Tailscale tạo ra một mạng lưới mesh riêng tư giữa Mac mini, iPhone và MacBook. Không có gì lộ ra internet công cộng, mọi thiết bị trong mạng đều có thể truy cập máy chủ oMLX trên cổng 8000 thông qua cùng một endpoint — tuyệt đối không có sự sai lệch cấu hình giữa các thiết bị.

Đặc biệt với các agent lập trình, KV cache persistence của oMLX đóng vai trò quan trọng. Khi agent quay lại các ngữ cảnh trước đó trong phiên làm việc, cache được khôi phục từ SSD trong vài mili-giây thay vì phải tính toán lại. Điều này khiến thiết lập cục bộ thực sự hữu dụng cho công việc agent.

Kết luận

Mô hình AI cục bộ trên Apple Silicon không còn là thí nghiệm lẻ tẻ nữa. Mac mini M4 Pro xử lý mượt mà mà không hề quá tải, chất lượng đủ tốt cho hầu hết tác vụ, và bạn có thể hoán đổi mô hình bất cứ khi nào muốn. Bạn không trả tiền theo token, không đưa dữ liệu nhạy cảm qua bên thứ ba, và khi một phiên bản tốt hơn ra mắt vào tuần sau, chỉ cần tải về và thử nghiệm với chi phí bằng vài gigabyte ổ cứng.

Tác giả đã đặt mua Mac Studio M5 Max 128GB để nâng cấp cuối năm, nhưng vẫn tỏ ra vô cùng hài lòng với hiệu năng của Mac mini M4 Pro hiện tại. Nếu bạn đang sở hữu thiết bị Apple Silicon, hãy thử — có thể cần điều chỉnh kích thước mô hình theo cấu hình máy, nhưng quy trình thiết lập chung hoàn toàn áp dụng được.