Kiến trúc 3 tầng để giám sát AI agent ở quy mô lớn
Chuyên gia Monte Carlo đề xuất chèn một tầng giám sát tự động tách rời giữa agent vận hành và người kiểm duyệt. Tầng này xử lý các sửa lỗi có thể đảo ngược, còn con người chỉ phê duyệt các thay đổi rủi ro cao.

Hầu hết doanh nghiệp đang thiết kế hệ thống tác nhân AI (AI agent) theo mô hình hai tầng: một nhóm agent thực thi công việc, phía trên là các kỹ sư người duyệt kết quả. Khi số lượng agent tăng lên, hàng đợi chờ người duyệt biến thành điểm nghẽn.
Mô hình giám sát AI agent nhiều tầng
Vì sao người không theo kịp máy
Agent có thể ra hàng nghìn quyết định mỗi giờ, gọi API và chạy truy vấn SQL với tốc độ không ai theo dõi nổi. Một kỹ sư cần vài phút chỉ để đọc hiểu một vết thực thi (trace).
Với năm agent thì việc duyệt thủ công còn khả thi. Ở mức năm mươi, một trăm hay hàng nghìn agent, cách làm này sụp đổ.
Khảo sát State of AI Reliability do Monte Carlo phối hợp CDO Magazine thực hiện đầu năm 2026 cho thấy mâu thuẫn rõ rệt:
- 58% lãnh đạo kỳ vọng số agent sẽ tăng mạnh trong 12 tháng tới.
- 62% vẫn dựa vào người kiểm tra thủ công đầu ra của AI.
- Chỉ 25% dùng giám sát tự động.
Hệ quả là độ trễ giữa lúc sự cố phát sinh và lúc nó được phát hiện. 61% tổ chức trong khảo sát đã gặp lỗi âm thầm (silent failure): các chỉ số giám sát vẫn bình thường trong khi một lỗi nghiêm trọng đang diễn ra.
Ba nguyên nhân khiến con người đuối sức:
- Giới hạn băng thông vận hành: một kỹ sư chỉ theo dõi nổi vài agent đang chạy cùng lúc trước khi chất lượng đánh giá giảm.
- Độ trễ ngữ cảnh: truy tìm gốc rễ lỗi qua chuỗi lập kế hoạch động, các đoạn truy xuất vector (vector retrieval) và thay đổi lược đồ dữ liệu tốn hàng giờ.
- Trôi dạt âm thầm (silent drift): agent hiếm khi báo lỗi rõ ràng. Chúng tạo ra kết quả trông hợp lệ nhưng dựa trên các lệnh gọi công cụ sai hoặc dữ liệu cũ.
Kiến trúc ba tầng
Tác giả, đồng sáng lập kiêm CEO Monte Carlo, đề xuất tách giám sát thời gian thực khỏi việc duyệt của con người bằng một tầng độc lập ở giữa.
- Tầng 1, agent sản xuất: thực thi tác vụ chuyên môn như sinh SQL, xử lý quy trình khách hàng, phân tích tài liệu, gọi API. Chúng phát ra dữ liệu đo từ xa (telemetry) và không biết tầng 2 đang tồn tại.
- Tầng 2, giám sát viên tách rời (out-of-band): liên tục đánh giá vết thực thi, đối chiếu dữ liệu kho, tương quan bất thường, tự thực hiện các biện pháp ngăn chặn có thể đảo ngược và soạn sẵn phương án khắc phục.
- Tầng 3, người vận hành: định nghĩa chính sách, tham số hóa rủi ro, kiểm toán và phê duyệt các thay đổi tác động lớn.
Điểm cốt lõi: con người kiểm tra người giám sát, chứ không đọc từng kết quả thô.
Gartner dự báo các agent giám sát (guardian agent) sẽ chiếm ít nhất 10% đến 15% thị trường agentic AI vào năm 2030. McKinsey cũng hình dung doanh nghiệp nhúng các agent kiểm soát vào quy trình, gồm agent phản biện và agent thực thi chính sách.
Bốn nguyên tắc thiết kế
Nếu tầng giám sát chạy cùng luồng với agent, nó thừa hưởng luôn lỗi, giới hạn thời gian chờ và điểm yếu của hệ thống mà nó phải kiểm tra. Vì vậy tầng này cần:
- Tách tài nguyên và thông tin xác thực: chạy trên hạ tầng riêng, dùng tài khoản dịch vụ riêng. Agent không đọc, sửa hay dừng được tiến trình giám sát.
- Không nhận chỉ thị từ agent bị giám sát: đầu ra của agent chỉ là dữ liệu để phân tích, không bao giờ là lệnh thực thi.
- Bằng chứng từ nguồn agent không ghi được: lấy vết từ cổng mạng hoặc proxy LLM, nhật ký truy vấn kho dữ liệu, chỉ số bảng gốc, thay vì số liệu tự báo cáo.
- Nhật ký kiểm toán bất biến: mọi quan sát, lần khắc phục và quyết định nâng cấp đều ghi vào nhật ký chỉ thêm, kỹ sư đọc được.
Tự chủ theo mức tác vụ
Không nên cấp quyền theo kiểu nhị phân tin cậy hay không tin cậy cho toàn bộ agent. Quyền tự chủ phải xét theo từng hành động: một lần sai có thể gây thiệt hại bao nhiêu.
Ví dụ với quy trình đối soát hóa đơn, con người viết chính sách trước:
- Tạm dừng xử lý lô: rủi ro thấp, giám sát viên tự quyết khi tỷ lệ giao dịch dùng tỷ giá dự phòng vượt 15%.
- Làm mới bảng dữ liệu cũ: rủi ro thấp, giám sát viên tự quyết khi dữ liệu nguồn trễ quá 90 phút.
- Vá ánh xạ lược đồ: rủi ro cao, cần người duyệt. Quá 30 phút không phản hồi thì giám sát viên tự tạm dừng lô.
- Hoàn tác prompt hệ thống: rủi ro cao, cần người duyệt khi điểm độ bám nguồn (groundedness) xuống dưới 0,70.
Vì chính sách là cấu hình chứ không nằm rải rác trong mã, nó có thể được xem lại, đánh phiên bản, kiểm toán và siết chặt dần khi niềm tin với giám sát viên tăng.
Sự cố mẫu: tỷ giá API đổi tên trường
Một agent tại tổ chức tài chính quy đổi ngoại tệ trên hóa đơn quốc tế, dựa vào API tỷ giá bên thứ ba và một view trong kho dữ liệu nội bộ.
Nhà cung cấp API đổi lược đồ, đổi tên trường chứa tỷ giá USD. Agent không nhận ra. Thay vì báo lỗi, logic dự phòng gán tỷ giá thiếu bằng 1,00, vẫn xử lý hóa đơn và trả về mã trạng thái 200 với số tiền trông hợp lệ nhưng sai về mặt tính toán.
Số liệu agent tự báo cáo không hề chỉ ra vấn đề. Nếu chỉ dựa vào đó, người vận hành chỉ phát hiện khi lỗi đã lan tới người dùng cuối.
Với tầng giám sát độc lập, giám sát viên kiểm tra bảng đích trong kho dữ liệu thay vì telemetry tự báo cáo. Nó tính ra tỷ lệ dự phòng, tức phần giao dịch được ghi với tỷ giá đúng bằng 1,00, đã nhảy từ mức nền 0,2% lên 18,4%.
Theo chính sách, tạm dừng lô là hành động rủi ro thấp nên giám sát viên tự gửi yêu cầu giữ lại tới trình quản lý hàng đợi, chặn hóa đơn trước khi ra khỏi hệ thống. Sau đó nó so sánh khác biệt payload qua proxy, phát hiện khóa API bị đổi tên, soạn bản vá ánh xạ và đẩy sự cố vào hàng đợi của kỹ sư trực.
Kỹ sư chỉ cần đọc thông báo có sẵn nguyên nhân gốc, danh sách hóa đơn bị ảnh hưởng, trạng thái lô đang giữ và bản vá đề xuất, rồi bấm duyệt.
Con người kiểm tra người giám sát, chứ không đọc từng kết quả thô.
Ai giám sát giám sát viên
Tầng giám sát cũng là phần mềm, nên nó cũng có thể hỏng. Cách tránh vòng lặp vô hạn agent canh agent là giữ tầng này đơn giản hơn nhiều so với agent nó theo dõi.
Nó chỉ đối chiếu quy tắc với dữ liệu tự thu thập, không tự suy luận ra kết luận mới. Nó chỉ được làm những việc dễ hoàn tác như tạm dừng lô hay làm mới bảng. Khi sai, thiệt hại chỉ là thời gian, không phải doanh thu hay uy tín. Quyết định của nó phải được ghi log và người vận hành kiểm tra mẫu đều đặn.
Góc nhìn
Với đội kỹ thuật tại Việt Nam đang đưa agent vào quy trình nội bộ, bài học thực dụng nhất là bước rà soát đầu tiên: liệt kê mọi hành động agent có thể làm và ước lượng thiệt hại nếu nó sai. Những hành động dễ hoàn tác nên giao cho lớp tự động, phần rủi ro cao để người quyết. Cách này giữ được chất lượng khi số agent tăng mà không phải tuyển thêm người duyệt.
Điểm cần lưu ý là yêu cầu tách tài nguyên và không tin telemetry tự báo cáo. Đây là việc tốn công thiết lập ban đầu, nhưng nếu tầng giám sát dùng chung quyền với agent thì nó gần như vô dụng khi agent gặp sự cố. Bài học này bổ sung cho hướng tiếp cận ở bài Quản trị AI Agent: Từ bảo vệ một agent đến điều phối cả một đội quân: thay vì chỉ kiểm soát từng agent, cần một tầng vận hành riêng biệt, có nhật ký kiểm toán và chính sách viết thành cấu hình để siết hay nới theo mức độ tin cậy.
Nguồn: towardsdatascience.com · Quy trình biên tập
Bài viết liên quan

AI & ML
Đưa AI vào vận hành thực tế: Những lỗi âm thầm, kỹ nghệ khai thác và quản trị tác nhân
16 tháng 10, 2026

Phần mềm
AI dạng tác nhân trong môi trường production: Vì sao agent của bạn vẫn trả lời dù công cụ đã chết
25 tháng 10, 2026

AI & ML
Sự suy giảm ngữ cảnh và những lỗi thầm lặng đe dọa hệ thống AI doanh nghiệp
26 tháng 4, 2026