Harness² của Google Research: Khung đệ quy giúp AI tự cải thiện cách làm việc mà không cần huấn luyện lại

Harness2 wordmark

Google Research vừa giới thiệu Harness², một framework "cắm là chạy" (plug-and-play) cho phép các tác nhân AI tự cải thiện cách vận hành trong môi trường mở. Điểm đáng chú ý: toàn bộ quá trình diễn ra mà không cần huấn luyện lại hay thay đổi trọng số mô hình.

"Harness" là gì và vì sao nó quan trọng?

Trong bối cảnh AI hiện đại, một mô hình ngôn ngữ lớn chỉ thực sự trở thành "tác nhân" (agent) khi được bao quanh bởi một hệ thống hỗ trợ. Hệ thống đó — gọi là harness — bao gồm prompt hệ thống, công cụ, bộ nhớ, kỹ năng, cơ chế điều phối và nhiều thành phần khác.

Nói cách khác, cùng một mô hình nhưng được "đóng khung" tốt hay kém sẽ cho ra kết quả rất khác nhau. Việc tối ưu hóa bộ khung này — gọi là harnessing — chính là chìa khóa để khai thác tối đa năng lực của mô hình mà không tốn kém chi phí huấn luyện.

Hai tầng đệ quy của Harness²

Harness² kết nối hai cấp độ đệ quy hoạt động song song:

• Đệ quy cấp tác vụ (task-level recursion): Tinh chỉnh bộ khung thực thi cho từng nhiệm vụ cụ thể thông qua quy trình Đề xuất – Thử nghiệm – Tổng hợp (Propose–Probe–Compose). Hệ thống đề xuất các chỉnh sửa, kiểm tra tác động của chúng trên cùng một tác vụ, rồi tổng hợp thành bộ khung tinh chỉnh dựa trên sự đối chiếu hành vi giữa các lần thực thi — mà không cần phản hồi đáp án đúng.
• Đệ quy cấp quá trình (harnessing-level recursion): Cập nhật một "bộ khung cải tiến" bền vững, tích lũy các bộ khung đã được chấp nhận cùng những bài học có bằng chứng từ mỗi tác vụ, nhằm định hướng cho những lần tinh chỉnh sau này.

Paper badge

Kết quả thực nghiệm ấn tượng

Theo nhóm nghiên cứu, trên ba bộ đánh giá chuyên môn và bốn cấu hình mô hình–bộ khung, chỉ một bước Harness² duy nhất đã giúp GLM-5 và Gemini 3.5 Flash vượt qua bộ khung gốc của chúng:

• Tăng tới 11,5 điểm trên WorkBuddy-Bench
• Tăng 4,5 điểm trên JobBench
• Tăng 11,8 điểm phần trăm về tỷ lệ đạt một phần trên LAB

Đáng chú ý, việc tăng ngân sách đệ quy ở cấp tác vụ còn mang lại mức cải thiện lớn hơn nữa. Điều này cho thấy mô hình càng được "suy nghĩ lại" về cách làm việc thì hiệu quả càng cao.

Tám thành phần có thể chỉnh sửa

Harness² phơi ra tám thành phần có thể tùy biến xoay quanh mô hình: prompt hệ thống, rào chắn an toàn, bộ nhớ, hướng dẫn dùng công cụ, tác nhân con, kỹ năng, script và plugin. Chúng kiểm soát việc xây dựng ngữ cảnh, giao diện công cụ, cơ chế ủy thác và hành vi bên trong vòng lặp công cụ.

Docs badge

Cách cài đặt và chạy thử

Dự án yêu cầu Linux, Python 3.12 và uv. Từ thư mục gốc của kho mã:

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

Bản demo cục bộ chạy cả hai chế độ đệ quy với trình biên tập tất định và thực thi Python thật, không cần thông tin xác thực mô hình. Với các bài đánh giá cần mô hình, người dùng phải cài thêm Node.js 20+, Google Cloud CLI và cấu hình Vertex AI.

Dự án hỗ trợ ba bộ đánh giá chính: JobBench (công việc chuyên môn), LAB (công việc pháp lý) và WorkBuddy-Bench (văn phòng, web và lập trình). WorkBuddy còn cho phép chọn tập con office, web hoặc code.

Hai chiến lược đệ quy

Người dùng có thể mở rộng ngân sách đệ quy theo hai hướng:

• Đệ quy song song (--mode parallel): Khám phá nhiều bộ khung ứng viên cùng lúc rồi tổng hợp tinh chỉnh từ bằng chứng thực thi — mở rộng theo chiều rộng.
• Đệ quy tuần tự (--mode sequential): Mang bộ khung đã tinh chỉnh cùng bằng chứng tích lũy qua nhiều bước liên tiếp — đào sâu theo chiều dọc.

Tham số --k quy định ngân sách đệ quy cấp tác vụ, còn --substrate cx cho phép dùng Codex thay vì OpenCode mặc định.

Lưu ý về an toàn và môi trường

Nhóm phát triển cảnh báo: quyền truy cập mạng của bộ thực thi là không giới hạn, và Codex chạy với sandbox bị vô hiệu hóa. Vì các tiêu chí đánh giá công khai có thể truy cập được trực tuyến, người dùng nên cấu hình hạn chế mạng trước khi đánh giá để tránh tác nhân vô tình truy cập đáp án.

License badge

Giấy phép và tuyên bố miễn trừ

Harness² được phát hành theo giấy phép Apache 2.0. Tuy nhiên, Google lưu ý rõ: đây không phải sản phẩm chính thức được Google hỗ trợ, và dự án không đủ điều kiện tham gia Chương trình Thưởng Lỗ hổng Phần mềm Mã nguồn mở của Google.

Với cộng đồng phát triển AI tại Việt Nam, Harness² là một hướng tiếp cận đáng tham khảo: thay vì chạy đua huấn luyện mô hình tốn kém, có thể tối ưu hóa "lớp vỏ" của tác nhân để đạt hiệu quả cao hơn trên cùng một mô hình nền tảng.

Công trình được công bố dưới dạng bài báo trên arXiv với mã định danh arXiv:2610.14224, do nhóm tác giả Ruiyao Xu, Yanfei Chen, Zhongying CuiZhu, Bhavana Dalvi Mishra, Yifei Ming, Han Yu, Rujun Han, Chen-Yu Lee và Tomas Pfister thực hiện.