Tối ưu hóa AI Agent tìm kiếm căn hộ: Giảm số lần gọi mô hình mà vẫn đảm bảo kết quả tốt

Khi xây dựng một AI agent để tìm kiếm căn hộ cho thuê, mỗi lần gọi mô hình ngôn ngữ lớn (LLM) đều tốn tiền và thời gian. Câu hỏi đặt ra: liệu có thể giảm số lần gọi mô hình mà vẫn tìm được kết quả phù hợp?

Một kỹ sư đã thực hiện thí nghiệm theo dõi 2.500 lượt kiểm tra tin đăng bằng công cụ Weights & Biases Weave, loại bỏ dần từng tác vụ gọi mô hình không cần thiết và chấm điểm mỗi phiên bản dựa trên cùng một bộ câu trả lời chuẩn. Kết quả mang lại bài học quan trọng cho bất kỳ ai đang vận hành AI agent trong môi trường sản xuất.

Bài toán đặt ra

Các AI agent hiện đại thường hoạt động theo mô hình vòng lặp suy luận (reasoning loop): nhận yêu cầu, phân tích, gọi công cụ, đánh giá kết quả rồi lặp lại. Với một agent tìm kiếm căn hộ, quy trình này có thể bao gồm:

• Phân tích yêu cầu người dùng (ngân sách, vị trí, số phòng)
• Truy vấn danh sách tin đăng từ cơ sở dữ liệu
• Đánh giá từng tin đăng có khớp tiêu chí không
• Tổng hợp và xếp hạng kết quả trả về

Mỗi bước như vậy đều có thể tiêu tốn một hoặc nhiều lần gọi mô hình. Với hàng nghìn tin đăng, chi phí token tăng vọt nhanh chóng.

Vấn đề cốt lõi không phải là agent có thông minh hay không, mà là nó có đang lãng phí tài nguyên vào những tác vụ mà logic lập trình thông thường có thể xử lý được hay không.

Phương pháp đo lường

Điểm đáng chú ý của thí nghiệm này là tính khoa học trong cách tiếp cận:

• Theo dõi toàn diện 2.500 lượt kiểm tra tin đăng bằng Weave, ghi lại mọi lần gọi mô hình
• Loại bỏ từng thay đổi một thay vì tối ưu ồ ạt, giúp xác định chính xác tác động của từng yếu tố
• Chấm điểm trên cùng bộ đáp án để đảm bảo so sánh công bằng giữa các phiên bản

Cách làm này tương tự như kiểm thử A/B trong phát triển phần mềm, nhưng áp dụng cho chuỗi suy luận của AI agent.

Các điểm tối ưu tiềm năng

Từ kinh nghiệm vận hành AI agent, có một số hướng cắt giảm thường được áp dụng:

• Dùng quy tắc lập trình thay vì gọi mô hình: Các bộ lọc cứng như giá tối đa, số phòng, quận/huyện hoàn toàn có thể xử lý bằng truy vấn cơ sở dữ liệu thay vì để LLM đọc từng tin
• Xử lý theo lô (batching): Thay vì gọi mô hình cho từng tin đăng riêng lẻ, gộp nhiều tin vào một prompt
• Cache kết quả: Những tin đăng không thay đổi có thể lưu lại kết quả đánh giá
• Lọc trước bằng mô hình nhỏ: Dùng mô hình nhẹ để sàng lọc sơ bộ, chỉ gọi mô hình lớn cho các ứng viên tiềm năng

Bài học cho nhà phát triển tại Việt Nam

Với các startup công nghệ và đội ngũ phát triển sản phẩm tại Việt Nam đang tích hợp AI vào ứng dụng, bài học này đặc biệt có giá trị:

• Chi phí API là chi phí thật: Một agent tối ưu kém có thể đội chi phí vận hành lên gấp nhiều lần, ảnh hưởng trực tiếp tới biên lợi nhuận
• Độ trễ ảnh hưởng trải nghiệm: Giảm số lần gọi mô hình đồng nghĩa phản hồi nhanh hơn — yếu tố then chốt với người dùng Việt Nam quen với tốc độ
• Đo lường trước khi tối ưu: Đừng đoán mò. Hãy dùng công cụ observability như Weave, LangSmith hay Langfuse để có dữ liệu thực tế

Kết luận

Câu trả lời cho câu hỏi ban đầu là có — một AI agent hoàn toàn có thể gọi mô hình ít hơn mà vẫn tìm được kết quả tốt, miễn là nhà phát triển chịu khó đo lường và loại bỏ những tác vụ mà lập trình truyền thống xử lý hiệu quả hơn.

Điều quan trọng là thay đổi có kỷ luật: từng bước một, có số liệu đối chiếu, và luôn đánh giá trên cùng một thước đo. Đây chính là sự khác biệt giữa một nguyên mẫu demo và một hệ thống AI sẵn sàng chạy production.