Cua Driver: Điều khiển ứng dụng macOS trong nền, giải quyết vấn đề chiếm dụng chuột của AI Agent

Cua Driver: Điều khiển ứng dụng macOS trong nền, giải quyết vấn đề chiếm dụng chuột của AI Agent

Cua Driver là một giải pháp phần mềm mới dành cho macOS, cho phép các tác nhân AI (AI agents) điều khiển các ứng dụng chạy ngầm mà không làm gián đoạn trải nghiệm làm việc của con người. Thay vì chiếm dụng con trỏ chuột hay chuyển đổi cửa sổ, công cụ này hoạt động ngầm để thực hiện các thao tác click, gõ phím và cuộn trang, giúp người dùng có thể tiếp tục công việc song song với các quy trình tự động hóa.

Cua Driver

Vấn đề của tự động hóa giao diện truyền thống

Trong lĩnh vực "computer-use" (sử dụng máy tính bằng AI), một thách thức lớn là khi các tác nhân tự động hóa điều khiển một ứng dụng desktop, chúng thường chiếm quyền kiểm soát phiên làm việc của người dùng. Con trỏ chuột di chuyển lung tung, bàn phím bị mất tiêu điểm và các cửa sổ bật lên che khuất màn hình, buộc người dùng phải dừng công việc chờ quy trình kết thúc.

Đây là lý do mà các giải pháp trước đây thường khuyến khích chạy các tác vụ này trên máy ảo (VM) hoặc container GUI riêng biệt để đảm bảo tính đồng thời và thực thi nền. Tuy nhiên, việc sử dụng máy ảo làm tăng độ trễ và độ phức tạp, không phải lúc nào cũng tối ưu cho các tác nhân AI thông minh cần tương tác trực tiếp với hệ điều hành chủ.

Cách Cua Driver giải quyết vấn đề

Cua Driver được thiết kế như một trình điều khiển "computer-use" chạy nền cho macOS. Nó cho phép tác nhân click, gõ, cuộn và đọc nội dung từ các ứng dụng native trong khi con trỏ chuột, ứng dụng đang mở và không gian làm việc (Space) của người dùng vẫn giữ nguyên trạng thái.

Điểm đột phá của công cụ này nằm ở việc xử lý các hạn chế kỹ thuật của macOS:

• CGEventPost: Thường xuyên làm biến dạng con trỏ chuột vì nó đi qua luồng đầu vào phần cứng (HID).
• CGEvent.postToPid: Tránh được việc di chuyển chuột nhưng lại bị Chromium coi là sự kiện không tin cậy và âm thầm bỏ qua các cú click.
• Kích hoạt ứng dụng: Thường làm cửa sổ ứng dụng bật lên và kéo theo người dùng qua các Space khác.

Cua AI

Cua Driver đã tìm ra "chìa khóa" thông qua SkyLight. Cụ thể, SLEventPostToPid là một phiên bản của lệnh gọi công cộng trên mỗi PID, nhưng nó đi qua một kênh WindowServer mà Chromium chấp nhận là tin cậy. Kết hợp với mô hình "focus-without-raise" (tập trung mà không bật lên) của yabai và một cú click chuẩn bị ngoài màn hình tại tọa độ (-1, -1), thao tác click có thể thực hiện thành công mà không bao giờ làm cửa sổ ứng dụng bật lên.

Các trường hợp sử dụng thực tế

Cua Driver cung cấp giao diện dòng lệnh (CLI) mặc định, giúp dễ dàng viết script hoặc gọi từ shell của bất kỳ tác nhân lập trình nào. Một số trường hợp sử dụng tiêu biểu bao gồm:

• Ghi lại demo ủy quyền: Yêu cầu Claude Code điều khiển một ứng dụng trong khi cua-driver recording start ghi lại quỹ đạo, ảnh chụp màn hình và các hành động để tạo ra video demo sản phẩm do chính AI tạo ra.
• Tác nhân QA tự động: Một tác nhân có thể tái tạo lỗi giao diện, sửa mã, biên dịch lại và xác minh UI trong khi trình soạn thảo mã (editor) của người dùng vẫn luôn nằm ở phía trước.
• Trợ lý cá nhân: Tích hợp với iMessage từ Claude Code hoặc các CLI trợ lý khác để gửi tin nhắn mà không làm gián đoạn màn hình.
• Trích xuất ngữ cảnh hình ảnh: Lấy thông tin từ các cửa sổ Chrome, Figma, Preview hoặc YouTube mà người dùng không đang nhìn trực tiếp, mà không cần phụ thuộc vào API của các nền tảng này.

Hệ sinh thái Cua

Bên cạnh Cua Driver, dự án còn cung cấp các công cụ bổ trợ để xây dựng và triển khai các tác nhân sử dụng máy tính:

• Cua: Bộ công cụ tạo sandbox cho tác nhân, hỗ trợ nhiều hệ điều hành (Linux, macOS, Windows, Android) thông qua một API duy nhất.
• CuaBot: CLI cung cấp sandbox sử dụng máy tính cho nhiều tác nhân, với các cửa sổ riêng biệt xuất hiện trên desktop, hỗ trợ chia sẻ clipboard và âm thanh.
• Lume: Công cụ quản lý máy ảo macOS/Linux với hiệu suất gần như native trên Apple Silicon.

Discord

Hiện tại, Cua Driver đã có sẵn để cài đặt trên macOS 14 trở lên thông qua script cài đặt nhanh. Đây là một công cụ hứa hẹn cho các lập trình viên và kỹ sư đang xây dựng giải pháp tự động hóa trên nền tảng Mac.