Sunk Cost: Bao lâu thì dàn máy chạy LLM tại chỗ mới hoàn vốn?

Nếu bạn từng nghe câu "cứ mua một chiếc Mac rồi chạy model tại chỗ, kiểu gì cũng hoàn vốn" thì dự án Sunk Cost ra đời để kiểm chứng điều đó. Công cụ này nhận đầu vào là cấu hình máy, mô hình sử dụng và số token bạn tiêu thụ mỗi ngày, từ đó tính ra thời gian phần cứng hoàn vốn so với việc thuê API cùng mô hình theo token.

Bài toán hoàn vốn được đặt ra như thế nào?

Tác giả dự án cho biết ý tưởng xuất phát từ việc liên tục nghe lời khuyên mua máy chạy model tại chỗ để tiết kiệm chi phí. Sunk Cost tiếp cận vấn đề thuần túy từ góc độ tiết kiệm chi phí thuê LLM, dù thực tế còn nhiều lý do khác để sở hữu phần cứng riêng như quyền kiểm soát dữ liệu, khả năng hoạt động ngoại tuyến hay yêu cầu bảo mật.

Công cụ này lấy các thông số sau:

• Cấu hình máy và mô hình bạn định chạy
• Số token sử dụng mỗi ngày
• Cửa sổ ngữ cảnh (context window) mong muốn
• Tỷ lệ tùy chỉnh giữa đầu vào và đầu ra
• Giá điện tính theo USD/kWh
• Tốc độ API tính theo token/giây

Điểm đáng chú ý: giả định giá API sẽ tiếp tục giảm

Một trong những giả định thú vị mà người dùng có thể điều chỉnh là tốc độ giảm giá của API. Đây là yếu tố then chốt, bởi nếu giá thuê API tiếp tục rẻ đi nhanh chóng, thời gian hoàn vốn của phần cứng sẽ bị kéo dài đáng kể — thậm chí có thể không bao giờ đạt được.

"Ở những chỗ chưa có số liệu đo đạc, tốc độ chạy tại chỗ được ước tính bằng băng thông bộ nhớ chia cho số byte đọc mỗi token, và được ghi chú rõ ràng như vậy. Tốc độ API chỉ ảnh hưởng đến phần so sánh thời gian."

Cách tiếp cận này cho thấy tác giả khá minh bạch về giới hạn của công cụ: khi không có dữ liệu thực đo, con số đưa ra chỉ mang tính ước lượng và được dán nhãn tương ứng.

Góc nhìn dành cho người dùng Việt Nam

Với người dùng tại Việt Nam, bài toán này đặc biệt đáng cân nhắc vì hai lý do. Thứ nhất, giá điện ở Việt Nam nhìn chung thấp hơn nhiều thị trường phương Tây, giúp chi phí vận hành máy chạy tại chỗ rẻ hơn tương đối. Thứ hai, việc thuê API thường phải trả bằng USD, chịu ảnh hưởng của tỷ giá và các khoản phí thanh toán quốc tế, khiến chi phí thực tế có thể cao hơn mức niêm yết.

Tuy nhiên, cần lưu ý rằng các dàn máy chạy LLM đủ mạnh — như Mac Studio hay máy trạm gắn GPU rời — vẫn có giá khá cao tại thị trường trong nước. Vì vậy, nếu nhu cầu sử dụng hàng ngày không lớn, việc thuê API theo token gần như luôn là lựa chọn kinh tế hơn.

Kết luận

Sunk Cost không nhằm phủ nhận giá trị của việc tự chạy model tại chỗ, mà chỉ cung cấp một góc nhìn định lượng để người dùng ra quyết định tỉnh táo hơn. Tác giả cũng mời gọi cộng đồng đóng góp ý tưởng để công cụ trở nên hữu ích hơn, chẳng hạn bổ sung thêm các yếu tố như chi phí bảo trì, khấu hao phần cứng hay giá trị của quyền riêng tư dữ liệu.