Chạy mô hình AI cục bộ trên MacBook M4 24GB: cấu hình thực tế
Một lập trình viên chia sẻ thiết lập chạy mô hình ngôn ngữ cục bộ trên MacBook Pro M4 24GB. Mô hình Qwen 3.5-9B lượng tử hóa Q4 đạt khoảng 40 token mỗi giây, dùng được công cụ và ngữ cảnh 128K, đủ cho các tác vụ lập trình cơ bản mà không cần Internet.

Chạy mô hình ngôn ngữ ngay trên máy cá nhân từng bị xem là chuyện của dân phần cứng khó tính. Nhưng với chip Apple M4 và 24GB bộ nhớ thống nhất, một lập trình viên đã tìm ra cấu hình đủ dùng cho công việc hằng ngày, hoàn toàn không cần kết nối mạng.
Bài chia sẻ trên jola.dev ghi lại quá trình thử nghiệm nhiều mô hình và công cụ khác nhau. Tác giả thừa nhận việc thiết lập không hề dễ, nhưng kết quả đủ để duy trì một quy trình làm việc có ích.
Ba lựa chọn công cụ, mỗi thứ một kiểu
Để chạy mô hình cục bộ, có ba lựa chọn phổ biến: Ollama, llama.cpp và LM Studio. Mỗi công cụ có cách vận hành riêng và không hỗ trợ cùng một danh sách mô hình. Người dùng phải cân nhắc cả hai yếu tố trước khi bắt đầu.
Tiếp theo là chọn mô hình. Yêu cầu đặt ra khá gắt: mô hình tốt nhất vừa với bộ nhớ, vẫn chừa chỗ cho các ứng dụng Electron thường chạy, và có cửa sổ ngữ cảnh (context window) tối thiểu 64K, lý tưởng là 128K trở lên.
Tác giả đã thử Qwen 3.6 Q3, GPT-OSS 20B, Devstral Small 24B. Cả ba đều vừa bộ nhớ trên giấy tờ nhưng thực tế không dùng được. Gemma 4B chạy ổn nhưng gặp khó khi dùng công cụ (tool use).
Qwen 3.5-9B là lựa chọn cân bằng
Mô hình thắng cuộc là qwen3.5-9b@q4_k_s (lượng tử hóa Q4_K_S, tải từ HuggingFace), chạy trên LM Studio. Tốc độ khoảng 40 token mỗi giây, bật chế độ suy luận (thinking), dùng công cụ thành công và giữ được ngữ cảnh 128K.
So với mô hình hàng đầu (SOTA), nó dễ bị phân tâm hơn, đôi khi lặp vô hạn, hay hiểu sai yêu cầu. Nhưng với một chiếc MacBook Pro 24GB còn phải chạy nhiều thứ khác, kết quả này khá bất ngờ.
Cấu hình được tác giả đề xuất cho chế độ suy luận và viết mã:
- temperature = 0.6
- top_p = 0.95
- top_k = 20
- min_p = 0.0
- presence_penalty = 0.0
- repetition_penalty = 1.0
Để bật chế độ suy luận trong LM Studio, chọn mô hình, mở phần cấu hình, cuộn xuống cuối tab Inference và thêm dòng {%- set enable_thinking = true %} vào Prompt Template.
Hai giao diện, hai phong cách
Tác giả dùng mô hình qua pi và OpenCode. Pi có cảm giác nhanh nhạy hơn, nhưng thiếu cấu hình mặc định hợp lý. Người dùng dễ tốn nhiều thời gian chỉnh pi hơn là làm dự án thật, dù ý tưởng để công cụ tự dựng lên chính nó rất đáng hoan nghênh.
Cấu hình cho pi nằm ở ~/.pi/agent/models.json, trỏ tới máy chủ LM Studio tại http://localhost:1234/v1 với giao diện API kiểu OpenAI. Muốn ẩn phần suy luận gây phân tâm, thêm "hideThinkingBlock": true vào ~/.pi/agent/settings.json.
Với OpenCode, cấu hình ở ~/.config/opencode/opencode.json, dùng gói @ai-sdk/openai-compatible, đặt context_length là 131072 và max_tokens là 32768.
Không thể thay thế mô hình hàng đầu
Tác giả nói thẳng: Qwen 3.5 9B Q4 không thể tự giải quyết vấn đề phức tạp trong thời gian dài. Giao cả một ứng dụng cho nó viết một mạch là vô ích.
Cách dùng hiệu quả là trao đổi từng bước, hướng dẫn rõ ràng. Nghe có vẻ mất công, nhưng tác giả thấy chính điều đó khiến mình chủ động hơn. Với mô hình hàng đầu, người ta dễ phó mặc toàn bộ tư duy cho máy.
Hai ví dụ được nêu. Thứ nhất, sau khi nâng cấp credo (công cụ kiểm tra mã Elixir), mô hình chỉ đúng bốn cảnh báo về việc dùng length(list) > 0 và đề xuất đổi thành list != []. Yêu cầu sửa thì nó thực hiện bốn chỉnh sửa song song, gọn gàng.
Thứ hai, khi xử lý xung đột trong một pull request của Dependabot, mô hình phân tích đúng tình huống và đưa ba phương án. Nhưng khi được yêu cầu sửa, nó quên chỉnh tệp mà chạy thẳng git add rồi git rebase --continue, để lại dấu xung đột. Nó cũng không nhận ra lệnh này mở trình soạn thảo, khiến OpenCode bị treo.
Cái được và cái mất
Tác giả liệt kê lợi ích của mô hình cục bộ: không cần Internet nên vẫn làm việc được trên máy bay, chi phí chỉ là tiền điện, không phải trả phí thuê bao, và dùng phần cứng của mình nghĩa là bớt phụ thuộc vào trung tâm dữ liệu.
Đổi lại, chất lượng thấp hơn rõ rệt. Việc huấn luyện mô hình vẫn tiêu tốn tài nguyên môi trường, dù các công ty mô hình mở không nằm trong nhóm gây tác động lớn nhất.
Góc nhìn
Với lập trình viên Việt Nam, một cấu hình chạy được trên máy 24GB là mốc đáng tham khảo. Không phải ai cũng sẵn sàng trả phí thuê bao hằng tháng, và kết nối mạng không phải lúc nào cũng ổn định. Một mô hình chạy tại chỗ đủ làm trợ lý tra cứu, gợi ý lỗi và giải thích mã giúp giảm phụ thuộc vào dịch vụ đám mây.
Nhưng cần nhìn đúng năng lực của nó. Qwen 9B lượng tử hóa không thay được mô hình hàng đầu cho các tác vụ dài hơi. Cách dùng hợp lý là chia nhỏ công việc, kiểm tra từng bước, và luôn xem lại kết quả trước khi áp dụng vào mã nguồn thật.
Nguồn: jola.dev · Quy trình biên tập
Bài viết liên quan

Phần mềm
Chạy Google Gemma 4 cục bộ: Tận dụng LM Studio Headless CLI và Claude Code
06 tháng 4, 2026

Phần mềm
Chạy LLM cục bộ trên Mac: máy nào phù hợp, công cụ nào miễn phí và đâu là điều không cần thiết
25 tháng 9, 2026

Phần mềm
Chạy Qwen3.8 27B local: Số liệu thực tế từ Mac Studio của tôi
28 tháng 8, 2026