Walmart chạy đa tác tử LLM cho 4.700 cửa hàng, chi phí giảm 10 lần

Walmart Global Tech đã đưa hệ thống đa tác tử LLM (multi-agent) vào vận hành thực tế để chạy dự báo tồn kho theo lô vào ban đêm trên phạm vi 4.700 cửa hàng. Kỹ sư Aditya Mulik trình bày chi tiết về cách triển khai này, trong đó điểm đáng chú ý nhất là việc đưa chi phí suy luận (inference) trên cloud từ hơn 100.000 USD xuống còn 10.000 USD mỗi tháng.

Bài toán: dự báo hàng đêm ở quy mô hàng nghìn cửa hàng

Bài toán đặt ra là dự báo tồn kho cho từng cửa hàng, chạy theo lô (batch) mỗi đêm. Với quy mô 4.700 cửa hàng, khối lượng tác vụ LLM cần xử lý rất lớn, và mọi sự cố nhỏ trong một tác vụ đều có thể lặp lại trên toàn hệ thống.

Theo Mulik, nhóm đã dựng quy trình gồm nhiều tác tử LLM phối hợp thay vì một lời gọi mô hình duy nhất, để xử lý được tính phức tạp của dữ liệu thực tế.

Ba rào cản khi lên production

Nhóm Walmart Global Tech đối mặt với ba vấn đề điển hình khi đưa hệ thống ra vận hành thật:

• Vi phạm schema (schema violation): đầu ra của mô hình không khớp với cấu trúc dữ liệu yêu cầu.
• Dữ liệu lệch giữa các phòng ban (cross-department data mismatch): thông tin từ các bộ phận khác nhau không ăn khớp khi ghép lại.
• Rớt mạng (network drop): kết nối bị ngắt giữa chừng trong quá trình chạy lô.

Để xử lý, họ dùng nền tảng MCP (Model Context Protocol) nhằm neo (grounding) đầu ra của mô hình vào nguồn dữ liệu đáng tin cậy, kết hợp với tác tử vòng lặp (loop agent) để tự kiểm tra và chạy lại khi gặp lỗi. Đây chính là phần "khả năng phục hồi tích hợp" (built-in resilience) trong thiết kế hệ thống — hệ thống tự chịu lỗi thay vì dừng toàn bộ lô.

Chi phí: chuyển từ PTU sang trả theo mức dùng

Yếu tố kinh tế là điểm sáng lớn nhất của bài trình bày. Mulik cho biết việc chuyển từ PTU (Provisioned Throughput Unit — đơn vị băng thông cấp trước, trả tiền cố định) sang mô hình trả theo mức sử dụng (pay-as-you-go) đã đưa chi phí suy luận từ hơn 100.000 USD/tháng xuống khoảng 10.000 USD/tháng.

Với bài toán chạy theo lô ban đêm, việc trả tiền cho công suất dự phòng suốt cả ngày là lãng phí, nên mô hình trả theo mức dùng tỏ ra phù hợp hơn nhiều.

Góc nhìn

Câu chuyện của Walmart là một bài học thực tế cho các đội kỹ thuật trong nước đang xây dựng hệ thống AI theo lô: độ phức tạp thật sự không nằm ở mô hình mà ở phần phòng lỗi — đầu ra sai schema, dữ liệu không khớp và mất kết nối là những thứ gần như chắc chắn xảy ra khi chạy ở quy mô lớn. Thiết kế tác tử vòng lặp kèm cơ chế neo dữ liệu đáng tin cậy nên được tính từ đầu, không phải vá sau.

Về chi phí, bài học về việc chọn giữa công suất cấp trước và trả theo mức dùng rất đáng tham khảo. Với tác vụ chạy theo lô, không dùng suốt ngày như dự báo hàng đêm, việc rà lại mô hình tính phí có thể tạo ra khác biệt lớn mà không cần thay đổi gì về công nghệ lõi.