Laminar ra mắt mô hình flow-1: Bắt lỗi "âm thầm" của AI agent với chi phí rẻ hơn 23 lần

Trong bối cảnh các AI agent ngày càng đảm nhận những tác vụ phức tạp với nhiều bước thực thi, một vấn đề nan giải đang nổi lên: agent có thể thất bại một cách âm thầm. Startup Laminar, thành viên của chương trình YC S24, vừa công bố flow-1 — một mô hình chuyên dụng giúp phát hiện những lỗi khó thấy này với chi phí thấp đáng kể.

Vấn đề: agent thất bại mà không hề báo lỗi

Theo nhóm sáng lập Robert và Din, các AI agent hiện nay thường chạy qua rất nhiều bước và thất bại một cách ngầm định. Một agent có thể bấm nhầm nút, hoặc trích dẫn sai tài liệu, trong khi mọi lệnh gọi API vẫn trả về trạng thái thành công.

Đây chính là những lỗi hữu ích nhất để phát hiện và tìm hiểu, nhưng cũng khó thấy nhất nếu chỉ nhìn vào kết quả cuối cùng.

Để tìm ra các lỗi này, bạn cần hiểu agent đang cố gắng làm gì, đồng thời kiểm tra từng lệnh gọi mô hình ngôn ngữ (LLM) và kết quả công cụ. Chỉ xem đầu ra cuối cùng là không đủ.

Vì sao các nền tảng observability hiện tại chưa giải quyết được

Nhiều nền tảng giám sát agent hiện nay về bản chất vẫn chỉ là công cụ thu thập dữ liệu. Người dùng có thể trả tiền để lưu trữ hàng loạt vết (trace) mà không ai có thời gian đọc hoặc khai thác giá trị.

Việc dùng một LLM khác để soi các trace là hướng đi đúng, nhưng các mô hình mạnh thì quá đắt khi chạy ở quy mô lớn, còn các mô hình rẻ thường bỏ sót lỗi hoặc báo nhầm những thứ không liên quan.

flow-1: mô hình nhỏ, huấn luyện bằng RL

Để giải quyết bài toán này, Laminar đã tinh chỉnh một mô hình mã nguồn mở nhỏ, sau đó huấn luyện tiếp bằng học tăng cường (RL) trên hàng nghìn tình huống điều tra tổng hợp, mô phỏng các quy trình agent thực tế trong lĩnh vực phần mềm, pháp lý, chăm sóc khách hàng và nhiều ngành khác.

Kết quả là một mô hình vừa phân tích trace tốt, vừa rất rẻ khi vận hành. Trên bộ đánh giá nội bộ của Laminar, flow-1 đạt chất lượng phát hiện tương đương GPT-6-sol nhưng chi phí thấp hơn 23 lần. Điều này cho phép phân tích toàn bộ trace trong production mà không cần lấy mẫu.

Signals: biến trace thành "repo" để agent tự khám phá

flow-1 chạy trong một khung gọi là Signals. Khung này hoạt động như một coding agent, coi mỗi trace như một kho mã nguồn, trong đó mỗi span (một lệnh gọi LLM, một lệnh gọi công cụ...) tương ứng với một tệp.

Quy trình hoạt động gồm các bước:

• Bắt đầu từ một chuỗi nén đại diện cho toàn bộ trace cùng câu lệnh của người dùng
• Tìm kiếm (grep) trên các span để xác định vùng liên quan
• Đọc đầy đủ nội dung những span quan trọng

Điểm mạnh của Signals là khả năng phản hồi các câu lệnh tổng quát, không giới hạn ở việc phát hiện lỗi thô. Bạn có thể yêu cầu nó nhận diện sự bực bội của người dùng, kiểm tra xem agent trình duyệt đã hoàn tất thanh toán hay chưa, v.v. Kết quả trả về dưới dạng JSON theo schema do người dùng tự định nghĩa — được gọi là signal event.

Từ lỗi đơn lẻ đến cụm vấn đề lặp lại

Khi đã phân tích mọi trace, số lượng sự kiện riêng lẻ sẽ quá lớn để đọc thủ công. Vì vậy Laminar tự động gom nhóm các signal event tương tự thành cụm (cluster). Người dùng có thể thấy các vấn đề lặp lại, tần suất xuất hiện, rồi đi sâu vào từng sự kiện và trace gốc.

Đặc biệt, các trace trong một cụm có thể được dùng để xây dựng bộ dữ liệu đánh giá (eval dataset) cho loại lỗi đó. Sau đó, bạn có thể dùng coding agent yêu thích để tinh chỉnh và kiểm tra xem bản sửa lỗi có hiệu quả trên toàn bộ các trường hợp trước khi đưa lên production.

Vòng lặp trace → phân tích → bắt lỗi và tạo cụm → sửa → phát hành chính là lý do Laminar ra đời.

Mã nguồn mở và mô hình kinh doanh

Laminar được phát hành theo giấy phép Apache 2.0 và có thể tự triển khai (self-host). Công ty kiếm doanh thu từ dịch vụ cloud được quản lý. Đây là mô hình kinh doanh quen thuộc của nhiều startup hạ tầng mã nguồn mở.

Nhóm phát triển cũng cho biết đã xây dựng nhiều tối ưu khác như nén trace 20 lần, một công cụ truy vấn SQL tùy chỉnh và tính năng tự động trích xuất tác vụ.

Góc nhìn cho các đội phát triển tại Việt Nam

Với các startup và đội kỹ thuật Việt Nam đang bắt đầu triển khai AI agent vào sản phẩm, bài toán giám sát chất lượng vận hành thực tế thường bị xem nhẹ. Việc có một công cụ mã nguồn mở, chi phí thấp để theo dõi từng bước xử lý của agent có thể giúp giảm rủi ro đáng kể — đặc biệt trong các lĩnh vực nhạy cảm như chăm sóc khách hàng hay thương mại điện tử, nơi một agent trả lời sai có thể ảnh hưởng trực tiếp đến trải nghiệm và niềm tin của người dùng.