Kelet: Tác nhân phân tích nguyên nhân gốc rễ giúp tự động sửa lỗi ứng dụng LLM

Kelet: Tác nhân phân tích nguyên nhân gốc rễ giúp tự động sửa lỗi ứng dụng LLM

Việc xây dựng các tác nhân AI (AI agents) đã trở nên phổ biến, nhưng việc duy trì và gỡ rối chúng trong môi trường sản xuất (production) vẫn là một cơn ác mộng đối với nhiều kỹ sư. Khác với phần mềm truyền thống thường "crash" rõ ràng, các ứng dụng LLM thường thất bại một cách âm thầm bằng cách đưa ra câu trả lời sai. Kelet ra đời như một giải pháp tự động hóa quy trình điều tra và sửa chữa những lỗi này.

Dashboard tổng quan

Nỗi đau khi gỡ rối ứng dụng AI

Tác giả của Kelet, người đã từng xây dựng hơn 50 tác nhân AI phục vụ hàng triệu phiên mỗi ngày, nhận thấy rằng khó khăn nhất không phải là xây dựng chúng mà là tìm hiểu lý do tại sao chúng hoạt động sai. Các kỹ sư thường phải dành hàng giờ để cuộn qua từng dòng trace (dấu vết) một cách thủ công, cố gắng tìm ra mẫu lỗi trong hàng trăm phiên người dùng. Quá trình này tốn kém thời gian và thường dựa trên cảm tính hơn là dữ liệu thực tế.

Kelet hoạt động như thế nào?

Kelet tự động hóa quy trình điều tra lỗi bằng cách đóng vai trò như một "thám tử" phần mềm. Quy trình hoạt động của nó bao gồm 5 bước chính:

1. Kết nối dữ liệu: Bạn kết nối các traces và tín hiệu (signals) như phản hồi của người dùng, chỉnh sửa, nhấp chuột, phân tích cảm xúc hoặc đánh giá từ LLM-as-a-judge.
2. Xử lý và trích xuất: Kelet xử lý các tín hiệu này để trích xuất sự thật về từng phiên làm việc.
3. Hình thành giả thuyết: Nó đưa ra các giả thuyết về những gì đã sai trong từng trường hợp cụ thể.
4. Phân cụm: Các giả thuyết tương tự được nhóm lại với nhau để phân tích chung.
5. Đề xuất sửa lỗi: Kelet đưa ra nguyên nhân gốc rễ (root cause) cùng với bản vá đề xuất (suggested fix) để bạn xem xét và áp dụng.

Danh sách các vấn đề được phát hiện

Tích hợp nhanh chóng và dễ dàng

Cách nhanh nhất để tích hợp Kelet là thông qua "Kelet Skill" dành cho các tác nhân lập trình. Công cụ này sẽ quét mã nguồn của bạn, tự động phát hiện nơi nên thu thập tín hiệu và thiết lập mọi thứ. Ngoài ra, Kelet cũng cung cấp các SDK cho Python và TypeScript nếu bạn muốn thiết lập thủ công. Quá trình tích hợp có thể hoàn tất chỉ trong 5 phút mà không cần thay đổi hạ tầng hiện có, đặc biệt là nếu ứng dụng của bạn đã sử dụng OpenTelemetry.

Khác biệt so với các công cụ giám sát truyền thống

Nhiều người có thể hỏi về sự khác biệt giữa Kelet và các nền tảng quan sát (observability) như Langfuse hay Arize. Sự khác biệt cốt lõi nằm ở tính năng tự động hóa. Các công cụ giám sát truyền thống giống như một "cái nhiệt kế" — chúng chỉ báo cáo các triệu chứng và hiển thị traces. Trong khi đó, Kelet đóng vai trò là "bác sĩ" — nó chẩn đoán nguyên nhân gốc rễ và tạo ra các bản vá prompt nhắm mục tiêu. Bạn không còn cần phải thủ công lọc qua hàng ngàn traces nữa.

Chi tiết phiên làm việc và trace

Bảo mật và Hiệu suất

Kelet được xây dựng bởi đội ngũ gồm những cựu duy trì viên của Kubernetes và các chuyên gia hạ tầng đám mây, đảm bảo khả năng mở rộng từ ngày đầu tiên. Công cụ này đạt chuẩn SOC 2 và đảm bảo dữ liệu của bạn được cô lập hoàn toàn. Đặc biệt, Kelet không sử dụng dữ liệu của bạn để huấn luyện các mô hình công cộng; các mô hình phân tích được tinh chỉnh riêng cho từng tài khoản và chỉ phục vụ mục đích phân tích nguyên nhân lỗi của chính bạn.

Hiện tại, Kelet đang miễn phí hoàn toàn trong giai đoạn beta và không yêu cầu thẻ tín dụng. Đây là công cụ hữu ích cho các đội ngũ kỹ thuật đang vận hành các tác nhân AI ở quy mô thực tế và muốn giảm bớt gánh nặng gỡ rối thủ công.