Relvy (YC F24): Tác nhân AI tự động hóa quy trình on-call và phân tích nguyên nhân gốc rễ

Relvy, một startup mới ra mắt từ Y Combinator (khóa F24), đang giới thiệu giải pháp sử dụng AI để tự động hóa các quy trình trực kỹ thuật (on-call runbooks) cho các đội ngũ phát triển phần mềm. Đây là một tác nhân AI được trang bị các công cụ chuyên dụng có khả năng phân tích dữ liệu telemetry và mã nguồn quy mô lớn, hỗ trợ các đội ngũ debug và giải quyết các sự cố sản xuất chỉ trong vài phút.

Hiện nay, nhiều đội ngũ kỹ thuật đã áp dụng AI dưới một hình thức nào đó để giảm bớt gánh nặng khi trực. Tuy nhiên, Bharath và Simranjit - những người sáng lập Relvy - chỉ ra rằng việc phân tích nguyên nhân gốc rễ (root cause analysis) một cách tự chủ là một bài toán cực kỳ khó đối với AI. Theo các tiêu chuẩn đo lường (benchmarks), mô hình Claude Opus 4.6 hiện chỉ đạt độ chính xác 36% trên tập dữ liệu OpenRCA, một con số thấp hơn nhiều so với các tác vụ lập trình thông thường.

Có ba nguyên nhân chính cho sự khó khăn này:

1. Khối lượng dữ liệu telemetry quá lớn có thể làm ngập mô hình bằng các tín hiệu nhiễu.
2. Việc diễn giải và lập luận dữ liệu phụ thuộc rất nhiều vào ngữ cảnh doanh nghiệp.
3. Trực kỹ thuật là một vấn đề có thời gian hạn hẹp và rủi ro cao, không cho phép AI quá nhiều thời gian để khám phá trong quá trình điều tra. Những sai lầm dẫn kỹ sư đi sai hướng sẽ không dễ dàng được tha thứ.

Để giải quyết các vấn đề này, Relvy tập trung xây dựng các công cụ chuyên biệt cho việc phân tích dữ liệu telemetry. Các công cụ này có thể phát hiện bất thường, xác định các đoạn vấn đề từ dữ liệu chuỗi thời gian (time series) dày đặc, thực hiện tìm kiếm mẫu nhật ký (log pattern search) và lập luận trên cây span (span trees) - tất cả mà không làm quá tải ngữ cảnh của tác nhân.

Thay vì để AI tự do khám phá, Relvy neo tác nhân vào các runbook (sổ tay vận hành). Điều này dẫn đến ít sự khám phá tự phát hơn và nhiều bước xác định (deterministic) hơn, phản ánh các bước hữu ích nhất mà một kỹ sư giàu kinh nghiệm sẽ thực hiện. Kết quả là quá trình phân tích nhanh hơn và giảm tải nhận thức cho các kỹ sư khi xem xét và hiểu những gì AI đã làm.

Về cách vận hành, Relvy có thể được cài đặt trên máy cục bộ thông qua docker-compose, sử dụng helm charts, hoặc đăng ký sử dụng trên nền tảng đám mây của họ. Người dùng chỉ cần kết nối với stack công nghệ hiện có (observability và mã nguồn), tạo runbook đầu tiên và để Relvy điều tra một cảnh báo gần đây.

Mỗi cuộc điều tra được trình bày dưới dạng một notebook trong giao diện web, đi kèm với trực quan hóa dữ liệu giúp kỹ sư xác minh và xây dựng niềm tin với AI. Từ đó, Relvy có thể được cấu hình để tự động phản hồi các cảnh báo từ Slack.

Một số bước runbook mẫu mà Relvy tự động hóa bao gồm:

• Kiểm tra bảng điều khiển (dashboard) cụ thể để xem lỗi có bị cô lập ở một shard nào đó hay không.
• Kiểm tra xem có sự tăng đột biến về lưu lượng (throughput) trên trang APM không, và nếu có, nó có đến từ một vài địa chỉ IP cụ thể không?
• Kiểm tra các lần commit gần đây để xem có thay đổi nào đối với endpoint này không.

Người dùng cũng có thể cấu hình các lệnh AWS CLI để Relvy thực hiện nhằm tự động hóa các hành động khắc phục (mitigation actions), với sự phê duyệt của con người.

Đội ngũ Relvy đã tham gia YC vào mùa thu năm 2024. Họ bắt đầu hành trình với việc thử nghiệm giám sát nhật ký liên tục bằng các mô hình ngôn ngữ nhỏ - nhưng cách này quá chậm. Sau đó, họ đầu tư sâu vào việc giải quyết phân tích nguyên nhân gốc rễ một cách hiệu quả, và sản phẩm hiện tại là kết quả của khoảng một năm làm việc với các khách hàng sớm.