Spotify vận hành hệ thống đa tác nhân AI cho nền tảng quảng cáo như thế nào?

Khi các mô hình ngôn ngữ lớn ngày càng được nhúng sâu vào sản phẩm thương mại, câu hỏi không còn là "có nên dùng AI" mà là "làm sao để vận hành nó ở quy mô công nghiệp". Tại Spotify, đội ngũ Ads Manager đã chọn hướng đi táo bạo: xây dựng hệ thống đa tác nhân (multi-agent) chạy thật trong môi trường sản xuất, phục vụ hoạt động quảng cáo với khối lượng lớn.

Trong bài trình bày mới đây, Pratik Rasam đã chia sẻ chi tiết cách Spotify hiện thực hóa điều này bằng Google ADK Java, đồng thời đúc kết những bài học đắt giá mà bất kỳ kỹ sư nào đang xây dựng hệ thống AI tác nhân cũng nên biết.

Vì sao không dùng một tác nhân khổng lồ?

Sai lầm phổ biến nhất khi bắt đầu với AI tác nhân là gom hết mọi khả năng vào một "siêu tác nhân" duy nhất. Cách tiếp cận này nhanh chóng bộc lộ điểm yếu: khó gỡ lỗi, khó mở rộng, chi phí tăng vọt và hành vi trở nên khó đoán.

Spotify chọn hướng ngược lại — chia nhỏ theo miền nghiệp vụ. Mỗi tác nhân chịu trách nhiệm cho một phạm vi rõ ràng trong luồng quảng cáo, thay vì ôm đồm toàn bộ quy trình. Cách phân chia này giúp đội ngũ kiểm soát được hành vi từng phần, đồng thời cho phép các nhóm phát triển song song.

"Ranh giới tác nhân không phải là chi tiết kỹ thuật nhỏ — nó quyết định toàn bộ khả năng vận hành và bảo trì hệ thống của bạn."

Các mẫu kiến trúc cốt lõi

Bài trình bày điểm qua những mẫu thiết kế mà Spotify áp dụng để hệ thống vừa linh hoạt vừa đáng tin cậy:

• Mô hình sở hữu theo miền (domain ownership): mỗi tác nhân gắn với một miền nghiệp vụ cụ thể, có chủ sở hữu rõ ràng trong tổ chức
• Hàng rào bảo vệ tất định (deterministic guardrails): các quy tắc cứng chặn hành vi ngoài mong muốn, không phụ thuộc vào "thiện chí" của mô hình
• Điều phối giữa các tác nhân: luồng giao tiếp và chuyển giao nhiệm vụ được thiết kế tường minh thay vì để mô hình tự quyết
• Lược đồ công cụ tối ưu: định nghĩa công cụ gọn gàng, rõ ràng giúp mô hình chọn đúng hành động và giảm chi phí token

Kiểm soát chi phí và độ tin cậy

Một trong những phần được chờ đợi nhất là câu chuyện về chi phí. Khi hệ thống đa tác nhân chạy ở quy mô lớn, mỗi lần gọi mô hình đều tốn tiền, và số lượng cuộc gọi có thể bùng nổ nhanh chóng.

Spotify giải quyết bài toán này bằng cách tối ưu lược đồ công cụ để mô hình ít phải suy luận dư thừa, đồng thời đặt hàng rào tất định để chặn các vòng lặp hoặc hành vi bất thường trước khi chúng tiêu tốn tài nguyên.

Đánh giá hệ thống bằng truy vết

Điểm đáng chú ý khác là chiến lược đánh giá dựa trên truy vết (tracing-based evaluation). Thay vì chỉ đo kết quả cuối cùng, đội ngũ theo dõi toàn bộ đường đi của tác nhân — từ quyết định gọi công cụ nào, thứ tự thực thi, đến kết quả trung gian.

Cách làm này giúp phát hiện sớm các vấn đề như tác nhân chọn sai công cụ, vòng lặp vô tận hay suy luận lệch hướng — những lỗi rất khó lộ ra nếu chỉ nhìn vào đầu ra.

Bài học cho cộng đồng kỹ sư Việt Nam

Với các đội ngũ phát triển sản phẩm AI tại Việt Nam, câu chuyện của Spotify mang lại vài gợi ý thực tiễn:

• Đừng bắt đầu bằng một tác nhân vạn năng; hãy chia nhỏ theo miền nghiệp vụ ngay từ đầu
• Luôn có hàng rào tất định thay vì tin tưởng hoàn toàn vào khả năng "tự giác" của mô hình
• Đầu tư vào hạ tầng truy vết và quan sát (observability) trước khi mở rộng quy mô
• Coi chi phí token là một chỉ số kỹ thuật cần theo dõi liên tục, không phải chuyện hậu kiểm

Việc Spotify chọn Google ADK Java cũng cho thấy hệ sinh thái Java vẫn là lựa chọn nghiêm túc cho các hệ thống AI cấp doanh nghiệp, đặc biệt ở những nơi cần ổn định và khả năng bảo trì dài hạn.