AgentSight là công cụ quan sát (observability) dành cho AI Agent chạy trên Linux, sử dụng eBPF để thu thập dữ liệu ở cấp kernel mà không cần can thiệp vào mã nguồn. Công cụ này cung cấp khả năng phân tích token, kiểm toán hành vi, phát hiện gián đoạn và hiển thị trực quan qua dashboard web, hỗ trợ các nhà phát triển giám sát toàn diện hệ thống AI Agent của mình.

AgentSight: "Mắt thần" eBPF giúp quan sát AI Agent mà không cần sửa code

AgentSight là công cụ quan sát (observability) mã nguồn mở dành riêng cho AI Agent trên Linux, hoạt động ở tầng kernel nhờ eBPF, cho phép theo dõi toàn bộ vòng đời của agent mà không cần thêm bất kỳ đoạn mã nào. Công cụ này do Alibaba phát triển, tích hợp trong bộ ANOLISA, mang đến khả năng phân tích token, kiểm toán hành vi, phát hiện lỗi gián đoạn và hiển thị trực quan qua giao diện web.

Với sự bùng nổ của các ứng dụng AI Agent, việc giám sát hiệu suất và chi phí token trở thành bài toán nan giải. AgentSight giải quyết triệt để bằng cách hoạt động ở tầng kernel, không xâm nhập vào ứng dụng, giúp các kỹ sư DevOps và nhà phát triển có cái nhìn toàn cảnh về hệ thống AI của mình.

Tính năng nổi bật

AgentSight cung cấp bộ tính năng toàn diện cho việc giám sát AI Agent:

Phân tích mức tiêu thụ Token: Hạch toán token đa chiều theo agent, tác vụ và mô hình
Kiểm toán hành vi (Behavior Audit): Ghi lại toàn bộ quá trình gọi LLM và thực thi tiến trình
Dashboard trực quan: Web UI hiển thị xu hướng token theo thời gian thực, tình trạng sức khỏe agent và phiên hoạt động
Tự động phát hiện Agent: Nhận diện các tiến trình AI Agent đang chạy trên hệ thống
Phát hiện gián đoạn: Bắt lỗi LLM, SSE bị cắt, tràn context và crash
Xuất log ngoài: Hỗ trợ xuất sự kiện có cấu trúc ra các dịch vụ log bên ngoài

Yêu cầu hệ thống

Để triển khai AgentSight, hệ thống cần đáp ứng:

Yêu cầu	Tối thiểu
Hệ điều hành	Linux
Kernel	>= 5.8 (cần hỗ trợ BTF)
Đặc quyền	root hoặc CAP_BPF

Đáng chú ý, trên macOS công cụ chỉ cung cấp hai lệnh trace (thu thập dữ liệu từ file JSONL, không dùng eBPF) và serve (xem dashboard). Toàn bộ lệnh liên quan eBPF chỉ hoạt động trên Linux.

Cài đặt nhanh chóng

Việc cài đặt được thực hiện đơn giản qua CLI của ANOLISA:

# Cài đặt bản phát hành chính thức
sudo anolisa install agentsight

# Hoặc cài qua YUM trên Alinux
sudo yum install agentsight

Sau khi cài đặt, khởi động dịch vụ bằng systemd:

sudo systemctl enable --now agentsight.service

Dashboard sẽ hoạt động tại địa chỉ http://localhost:7396.

Lưu ý bảo mật: Dashboard mặc định bind vào 0.0.0.0, vì vậy hãy cấu hình firewall hoặc security group để giới hạn truy cập trước khi đưa vào mạng không tin cậy.

Lệnh hữu dụng cho nhà phát triển

AgentSight cung cấp bộ lệnh CLI phong phú:

Theo dõi token: sudo agentsight token --period week --compare xem so sánh tuần
Kiểm toán sự kiện: agentsight audit --pid 12345 --type llm lọc theo tiến trình
Phát hiện gián đoạn: agentsight interruption list --last 24 liệt kê lỗi 24h qua
Báo cáo tổng hợp: agentsight summary --last 168 --json xuất báo cáo 7 ngày dạng JSON

Phát hiện gián đoạn thông minh

Một trong những điểm mạnh của AgentSight là khả năng phân loại và xử lý các sự kiện gián đoạn:

Loại gián đoạn	Mô tả	Mức độ
`llm_error`	HTTP status >= 400 hoặc có lỗi trong SSE	Cao
`sse_truncated`	Luồng SSE kết thúc không có `finish_reason=stop`	Cao
`context_overflow`	Vượt quá độ dài context	Cao
`agent_crash`	Tiến trình agent biến mất giữa phiên	Nghiêm trọng
`token_limit`	`finish_reason=length` với output gần max	Trung bình

Bảo mật và xác thực

AgentSight trang bị cơ chế xác thực token mặc định:

Truy cập localhost: Không cần xác thực, mở trực tiếp http://127.0.0.1:7396
Truy cập từ xa: Cần thêm ?token= vào URL hoặc header Authorization: Bearer

Token tự động sinh ra ở lần khởi động đầu tiên (64 ký tự hex) và lưu tại /var/log/sysak/.agentsight/.dashboard_token.

Tích hợp hệ sinh thái AI

AgentSight không hoạt động đơn lẻ. Công cụ này tích hợp với Tokenless (thành phần tối ưu token của ANOLISA) để hiển thị dữ liệu tiết kiệm token trên cùng dashboard.

Bên cạnh đó, AgentSight hỗ trợ Conversational Skill cho Copilot Shell — người dùng có thể hỏi bằng ngôn ngữ tự nhiên như "Hôm nay tôi dùng bao nhiêu token?" hoặc "Hiển thị các bản ghi gọi LLM hôm nay".

Kết luận

AgentSight là giải pháp quan sát AI Agent đáng chú ý trong bối cảnh các hệ thống AI đang ngày càng phức tạp. Với cách tiếp cận zero-instrumentation dựa trên eBPF, công cụ này giúp các nhà phát triển và DevOps giải quyết bài toán giám sát mà không làm ảnh hưởng đến hiệu năng ứng dụng. Dù mới dừng ở việc hỗ trợ Linux, đây vẫn là lựa chọn đáng cân nhắc cho các đội ngũ đang vận hành AI Agent trong môi trường production.

AgentSight: Công cụ quan sát AI Agent mã nguồn mở dựa trên eBPF, không cần sửa đổi code