Tui-use: Công cụ giúp các tác nhân AI điều khiển giao diện Terminal tương tác

Tui-use: Công cụ giúp các tác nhân AI điều khiển giao diện Terminal tương tác

MIT License NPM

Trong bối cảnh phát triển phần mềm hiện đại, các tác nhân AI (AI agents) ngày càng thể hiện khả năng mạnh mẽ trong việc thực thi các lệnh shell, đọc file và gọi API. Tuy nhiên, chúng thường gặp "bế tắc" khi một chương trình yêu cầu nhập liệu tương tác từ người dùng. Tui-use ra đời để giải quyết vấn đề này, hoạt động giống như BrowserUse nhưng dành riêng cho môi trường terminal.

Tui-use là gì?

Tui-use là một công cụ dòng lệnh cung cấp cho các tác nhân AI quyền truy cập vào các phần của terminal mà bash thông thường không thể với tới được. Mục tiêu của dự án là cho phép AI điều khiển mọi chương trình TUI (Text User Interface), REPL (Read-Eval-Print Loop), và trình cài đặt được xây dựng cho con người.

Về cơ bản, nếu một con người có thể vận hành một chương trình trong terminal, thì với Tui-use, một tác nhân AI cũng có thể làm được điều tương tự.

Các trường hợp sử dụng tiềm năng

Tui-use mở ra nhiều khả năng mới cho việc tự động hóa quy trình phát triển phần mềm:

• Phiên làm việc REPL: Chạy mã trong Python, Node, psql hoặc redis-cli, kiểm tra đầu ra và tiếp tục thực thi mà không cần viết các script một lần (one-shot scripts).
• Công cụ scaffolding tương tác: Điều hướng qua các trình hướng dẫn cài đặt như npm create, cargo new, hay create-react-app mà không bị chặn lại bởi các câu hỏi nhập liệu.
• CLI cơ sở dữ liệu: Kết nối trực tiếp với psql hoặc mysql, chạy các truy vấn, kiểm tra schema mà không cần một lớp API hay ORM riêng biệt.
• SSH và chương trình từ xa: SSH vào máy chủ và vận hành các chương trình tương tác ở phía bên kia, không chỉ chạy các lệnh đơn lẻ.
• Ứng dụng TUI: Điều hướng các ứng dụng toàn màn hình như vim, lazygit, htop, fzf vốn không được thiết kế để chạy script.

Tính năng nổi bật

Tui-use được xây dựng với các tính năng kỹ thuật sâu để đảm bảo tương tác ổn định:

• Full VT Rendering: Đầu ra PTY được xử lý bởi trình giả lập xterm không giao diện (headless). Các chuỗi thoát ANSI, di chuyển con trỏ và xóa màn hình đều hoạt động chính xác. Trường màn hình luôn là văn bản thuần túy sạch sẽ.
• Mô hình Snapshot: Tương tác với chương trình terminal được mô hình hóa thành một vòng lặp đơn giản: đọc màn hình, quyết định gõ phím, và lặp lại. Tui-use làm cho vòng lặp này trở nên rõ ràng, không có các luồng async phức tạp hay phỏng đoán thời gian.
• Highlights: Mỗi snapshot bao gồm một trường highlights liệt kê các vùng video đảo ngược trên màn hình — cách tiêu chuẩn mà các chương trình TUI chỉ ra các mục đã chọn. Điều này giúp AI biết được tùy chọn menu, tab hoặc nút nào đang hoạt động mà không cần phân tích cú pháp văn bản.
• Hỗ trợ phím rich: Hỗ trợ gửi văn bản, Enter, Ctrl+C, các phím mũi tên, phím F và nhiều hơn nữa.

Cơ chế hoạt động

Đằng sau hậu trường, Tui-use chạy một daemon quản lý các phiên PTY:

1. Target program xuất ra các chuỗi thoát ANSI (màu sắc, di chuyển con trỏ, xóa màn hình).
2. @xterm/headless kết xuất chúng thành trạng thái màn hình terminal hoàn chỉnh.
3. Snapshot trả về nội dung màn hình văn bản thuần túy cùng với siêu dữ liệu như highlights, tiêu đề cửa sổ và chế độ toàn màn hình.

Nhờ đó, các tác nhân AI nhận được một "ảnh chụp nhanh" (polaroid) của terminal thay vì một luồng byte thô khó xử lý.

Cài đặt và sử dụng

Hiện tại, công cụ này hỗ trợ macOS và Linux (yêu cầu Unix PTY). Hỗ trợ Windows thông qua ConPTY đang được lên kế hoạch.

Để cài đặt từ npm (khuyến nghị):

npm install -g tui-use

Một số lệnh CLI cơ bản:

• tui-use start <program>: Khởi động một chương trình.
• tui-use type <text>: Gõ văn bản.
• tui-use press <key>: Nhấn một phím cụ thể.
• tui-use snapshot: Lấy trạng thái màn hình hiện tại.
• tui-use wait: Chờ màn hình thay đổi.

Hạn chế

Người dùng cần lưu ý một số hạn chế hiện tại của dự án:

• Thông tin màu sắc/kiểu dáng TUI sẽ bị mất, màn hình chỉ chứa văn bản thuần túy. Tuy nhiên, các mục đã chọn vẫn được bắt giữ qua tính năng highlights.
• Chưa hỗ trợ Windows (yêu cầu Unix PTY).

Tui-use là một bước tiến thú vị, biến các công cụ dòng lệnh truyền thống thành môi trường làm việc thân thiện với AI, tăng năng suất cho các lập trình viên khi sử dụng các trợ lý code như Claude Code hay Cursor.