Momentic (YC W24) ra mắt Mo: AI agent tự dùng ứng dụng để tìm bug, thắng các coding agent trên benchmark QA

Momentic, startup thuộc khóa YC W24, vừa công bố Mo — một harness agent chuyên săn bug, tự lập kế hoạch, tự khám phá và tự "tấn công thử" (bug-bash) các luồng người dùng trên ứng dụng web, iOS, Android và sắp tới là desktop. Đây là hướng tiếp cận đối lập với các framework kiểm thử end-to-end truyền thống như Playwright, Selenium hay Maestro.

Điểm đáng chú ý nằm ở kết quả benchmark: Mo tìm được nhiều bug thật hơn hẳn các coding agent phổ biến, dù độ chính xác thấp hơn một chút và chi phí mỗi bug cao hơn.

Vì sao không viết script kiểm thử nữa?

Hai nhà sáng lập Wei-Wei và Jeff đều là kỹ sư phần mềm từng làm về dev tooling và hạ tầng tại Robinhood, Retool, WeWork, Qualtrics. Theo họ, kiểm thử luôn là khâu đau đầu nhất, đặc biệt với Playwright và Selenium, nên họ chọn để agent làm thay.

Lập luận cốt lõi của Momentic: các framework kiểm thử mã nguồn mở buộc bạn phải hard-code chi tiết triển khai như XPath, text hay thuộc tính aria-* vào test. Kể cả khi có agent hỗ trợ, việc tạo và bảo trì những test này vẫn tốn thời gian và token không nhỏ.

Nhóm cũng chỉ ra giới hạn của LLM trong việc kiểm thử: mô hình sinh code rất tốt nhưng lại tự củng cố giả định của chính mình, viết ra nhiều test vô dụng và hiểu hình ảnh kém. Trên DeepSWE v1.1, Sonnet 5.5 đạt tỉ lệ pass 66,2% khi bị cấm viết test, so với 65,3% khi được phép.

Chúng tôi nghĩ tương lai của QA là agent tự kiểm thử chính mình, chứ không phải viết script.

Ý tưởng này khởi nguồn từ năm 2023, khi Nat Friedman cho GPT-3 điều khiển trình duyệt qua natbot. Momentic thử để LLM sinh và bảo trì Playwright trước, nhưng nhanh chóng nhận ra những primitive đó không khớp với vòng đời phát triển phần mềm dựa trên agent (agentic SDLC).

Mo hoạt động thế nào

Mo được xây dựng dựa trên 3 năm phát triển của Momentic và hàng triệu test trace từ các ứng dụng thực tế phức tạp. Harness này tối ưu cho recall (tìm được nhiều bug thật), dù Codex nhỉnh hơn về độ chính xác: 86% so với 84%. Đánh đổi là chi phí: Mo tốn 2,67 USD mỗi bug, Codex chỉ 0,80 USD, nhưng Mo vẫn rẻ hơn Claude Code và Devin.

Các thành phần chính:

• Đồ thị agent tự tổ chức. Mo dựng một DAG (đồ thị có hướng không chu trình) trong quá trình khám phá. Những khu vực sản phẩm lớn tự động tách thành các sub-agent chạy song song, mỗi agent có trình duyệt hoặc thiết bị riêng để thực thi đồng thời.
• Agent chuyên biệt theo tác vụ. Các planner agent suy luận trên ảnh chụp màn hình và video; các locator agent chuyên trách đọc cấu trúc trang để chuyển yêu cầu bằng ngôn ngữ tự nhiên thành thao tác cụ thể. Ngoài ra còn có agent phân tích ảnh, hiểu video, sinh âm thanh…
• Cơ chế lease tài nguyên hợp tác. Các agent song song phối hợp qua việc thông báo đang "dùng" hoặc "sửa" một tài nguyên hay fixture chồng lấn. Nhiều tuyên bố "dùng" có thể cùng tồn tại, nhưng chỉ một tuyên bố "sửa" được kích hoạt trên mỗi tài nguyên.
• Hạ tầng mở rộng. Mo có sẵn một tunnel cho phép người dùng đưa site riêng và ứng dụng chạy local ra hạ tầng hosted của Momentic. Một đợt bug-bash có thể bật hàng trăm trình duyệt và thiết bị song song.

Kết quả benchmark

Nhóm đánh giá Mo với các coding agent trên 4 ứng dụng mã nguồn mở nổi tiếng: Gitea (58,8k sao), Metabase, Twenty (YC) và Saleor, với 1.396 bug do con người gán nhãn. Mỗi agent nhận cùng một brief, một sandbox E2B mới và không được truy cập mã nguồn. Codex và Claude Code dùng trình duyệt Browserbase hosted, còn Devin dùng trình duyệt tích hợp. Việc chấm điểm kết hợp LLM as a judge (GPT-6.1 Sol) với người đánh giá.

Kết quả trong 60 phút giới hạn thời gian:

• Mo: 269 bug, recall 19,3%, precision 84%, 2,67 USD/bug
• Codex (GPT-6.1 Sol + Playwright MCP): 86 bug, recall 6,2%, precision 86%, 0,80 USD/bug
• Claude Code (Opus 5.5 + Playwright MCP): 59 bug, recall 4,2%, precision 80%, 4,09 USD/bug
• Devin: 27 bug, recall 1,9%, precision 84%, 3,89 USD/bug

Đáng chú ý, Mo tìm được nhiều bug hơn khi có thêm thời gian: từ phút 30 đến phút 60, số bug tăng từ 177 lên 269 (tăng 52%), trong khi Codex chỉ tăng 16%.

Momentic đã công bố kết quả, bài viết chi tiết, dataset trên Hugging Face và harness trên GitHub để cộng đồng tự kiểm chứng.

Tính năng mới và giá

Startup vừa ra mắt tính năng PR testing cho deploy preview của Vercel và Cloudflare. Mỗi người đăng ký mới được tặng 250 USD hạn mức dùng Mo. Các gói trả phí có hạ tầng mạnh hơn, hạn mức sử dụng kèm theo và tùy chọn nạp thêm.

Góc nhìn

Với đội ngũ kỹ sư Việt Nam, điểm đáng cân nhắc nhất không phải con số recall mà là mô hình chi phí và cách vận hành. Mo đắt gấp hơn 3 lần Codex tính trên mỗi bug, nên nó chỉ hợp lý khi một bug lọt ra production tốn kém hơn nhiều so với 2,67 USD — chẳng hạn các luồng đăng nhập, thanh toán, xác thực thiết bị mới, nơi một bước kiểm tra bị bỏ qua có thể là lỗ hổng bảo mật. Với các dự án nhỏ hoặc giai đoạn đầu, dùng agent có sẵn như Codex hay Claude Code với Playwright MCP có thể thực dụng hơn.

Về mặt kỹ thuật, hướng "agent tự kiểm thử thay vì sinh script" đáng để theo dõi. Các test Playwright hiện nay vẫn là gánh nặng bảo trì lớn ở nhiều team, và việc agent tự khám phá giao diện có thể giảm bớt khối lượng đó — nhưng cũng đặt ra câu hỏi về độ tin cậy và khả năng tái lập của kết quả. Dataset và harness được công khai là điểm cộng, cho phép team tự chạy lại benchmark trên chính sản phẩm của mình trước khi quyết định chi tiền.