Nhà nghiên cứu Meta huấn luyện mô hình AI 8B đạt hiệu suất ngang Claude Opus 4.5 mà không cần chi phí khổng lồ

Hãy tưởng tượng một AI agent đảm nhận quy trình vận hành phức tạp trong doanh nghiệp — chẳng hạn như di chuyển hàng loạt dữ liệu khách hàng từ CRM cũ lên cơ sở dữ liệu đám mây. Với công việc kéo dài nhiều giờ, agent không thể chỉ dựa vào cửa sổ ngữ cảnh nội bộ, mà phụ thuộc rất nhiều vào harness — lớp runtime hỗ trợ thực thi bên ngoài.

Harness này cung cấp phản hồi từ quá trình thực thi như server logs để agent duy trì hiểu biết chính xác về các kết nối API động. Nó cũng cung cấp cơ chế theo dõi trạng thái và điều khiển luồng để quản lý các mục tiêu con đã hoàn thành và đang chờ, ngăn agent bỏ sót hoặc xử lý trùng lặp dữ liệu. Khi gặp lỗi bất ngờ — chẳng hạn như database từ chối do giới hạn tốc độ API — harness cung cấp công cụ và hướng dẫn để agent phục hồi.

Cách truyền thống để dạy agent sử dụng công cụ là con người viết ra bộ quy tắc và hướng dẫn từng bước. Ví dụ: lập trình viên yêu cầu agent luôn tìm kiếm wiki công ty trước khi viết email. Vì chỉ tuân theo kịch bản cứng nhắc, agent thiếu đi tính tự chủ thực sự — nó không được huấn luyện để tự cân nhắc chi phí và lợi ích của hành động.

EvoHarness-RL — Giải pháp đột phá từ Meta AI

Để giải quyết bài toán này, các nhà nghiên cứu tại Meta AI và Đại học Illinois Urbana–Champaign đã giới thiệu EvoHarness-RL, một framework thêm lớp trừu tượng hóa vào harness và dạy mô hình nền khi nào nên đọc, cập nhật hoặc hợp nhất thông tin thu thập từ môi trường.

Trong các tác vụ dài hạn, cách AI agent đọc và xử lý thông tin từ môi trường xung quanh là yếu tố quyết định thành công. Agent phải cập nhật hiểu biết về môi trường, theo dõi mục tiêu đã hoàn thành và chờ xử lý, phục hồi sau lỗi, và tái sử dụng quy trình từ kinh nghiệm trước đó. Tất cả điều này phụ thuộc vào harness.

Các framework agent tự tiến hóa trước đây như Harness-1 giải quyết được một phần vấn đề bằng cách tích lũy trajectory và chưng cất thành bộ nhớ thủ tục có cấu trúc (kỹ năng tái sử dụng, workflow, thư viện mã). Nhưng chúng thường tách biệt việc quản lý kỹ năng dài hạn khỏi theo dõi trạng thái theo thời gian thực trong từng phiên làm việc.

Xuying Ning, đồng tác giả nghiên cứu, chia sẻ với VentureBeat rằng logic viết tay và cấu trúc bộ nhớ cứng nhắc là nguyên nhân chính tiêu tốn nguồn lực kỹ thuật:

"Harness tối ưu thường thay đổi theo mô hình. Các mô hình khác nhau có thể cần prompt, thiết kế bộ nhớ, quyền truy cập hoặc cấu hình sandbox khác nhau. Nếu tất cả logic này được viết mã thủ công, mỗi lần nâng cấp mô hình đều dẫn đến chu kỳ tinh chỉnh và gỡ lỗi kéo dài."

Chưa kể, hệ thống bộ nhớ tích lũy đơn thuần có thể làm suy giảm khả năng suy luận của agent:

"Bộ nhớ chỉ-ghi-thêm giả định rằng nhiều ngữ cảnh luôn hữu ích, điều này không nhất thiết đúng. Trong tác vụ dài, bộ nhớ có thể chứa kết luận lỗi thời, lần thử thất bại hoặc thông tin không còn liên quan."

Do đó, agent tác vụ dài cần bộ nhớ động có khả năng cập nhật, nén và thay thế thông tin để tránh lặp lại sai lầm.

Không gian làm việc thống nhất: Belief, Progress, Experience

Để vượt qua giới hạn của prompt cứng nhắc, EvoHarness-RL hợp nhất các hệ thống hỗ trợ của agent vào một giao diện duy nhất gọi là BPE (Belief, Progress, Experience), phân loại nhu cầu bên ngoài thành ba khu vực chức năng:

• Belief (Niềm tin): Duy trì hiểu biết chính xác về môi trường hiện tại.
• Progress (Tiến độ): Quản lý mục tiêu con đã hoàn thành và đang chờ.
• Experience (Kinh nghiệm): Tái sử dụng kiến thức lịch sử giữa các tác vụ.

Thay vì dùng API phức tạp theo từng lĩnh vực, AI tương tác với bảng điều khiển này qua bốn meta-action gọn nhẹ: track (theo dõi), commit (xác nhận), recall (hồi tưởng) và note (ghi chú). Agent ra lệnh để theo dõi môi trường trực tiếp, xác nhận cập nhật workflow, hồi tưởng chiến lược trước khi hành động, và ghi chú những phát hiện mới cho các lần chạy sau.

Các trạng thái này ánh xạ trực tiếp vào lĩnh vực doanh nghiệp giá trị cao. Ning lấy ví dụ trong kỹ thuật phần mềm:

"Belief có thể đại diện cho hiểu biết hiện tại của agent về repository. Progress theo dõi những gì đã hoàn thành, việc cần làm và bước nào phụ thuộc bước nào. Experience lưu lại bài học — như phản hồi người dùng về lỗi — để định hướng hành động tương lai."

Trong lĩnh vực tài chính, khi kiểm toán tuân thủ, Belief mô tả quy tắc áp dụng và bằng chứng có sẵn. Progress theo dõi kiểm tra nào đã hoàn thành, ngoại lệ nào còn mở. Experience giúp agent nhận ra sai lệch lặp lại hoặc biết khi nào nên nâng vấn đề lên cấp cao hơn.

"Các trạng thái này giúp agent không bị mất dấu công việc hoặc lặp lại cách tiếp cận thất bại," Ning nhấn mạnh.

Quy trình huấn luyện hai giai đoạn

Để dạy agent cả cơ chế lẫn chiến lược quản lý không gian làm việc ngoại vi, nhóm nghiên cứu thiết kế quy trình huấn luyện hai giai đoạn:

Giai đoạn 1 — Supervised Harness Fine-tuning: Mô hình nền học cách trích xuất và cấu trúc thông tin hữu ích từ log tương tác lộn xộn thành khung BPE.

Giai đoạn 2 — Cost-aware Reinforcement Learning: Vì truy vấn bộ nhớ hoặc cập nhật tracker tiêu tốn thời gian và token tính toán, giai đoạn này dạy agent tính toán thời điểm truy cập trạng thái ngoại vi đáng giá chi phí. Quá trình này biến việc sử dụng công cụ từ prompt cứng nhắc thành hành vi runtime được học.

Kết quả này biến đổi cách tiếp cận orchestration AI. Như chính tác giả nghiên cứu nhận định:

"Đây không phải sự thay thế hoàn toàn kỹ thuật workflow, mà là sự chuyển dịch từ việc viết kịch bản trực tiếp cho hành vi agent sang tạo ra hệ thống trong đó hành vi tốt hơn có thể được học."

Kết quả ấn tượng: Mô hình 8B vượt trội so với các "ông lớn"

Để kiểm chứng, nhóm nghiên cứu sử dụng benchmark ALFWorld — môi trường văn bản với tác vụ đa bước kiểm tra logic tuần tự và theo dõi trạng thái. Họ dùng Qwen3-8B làm mô hình nền để huấn luyện, sau đó so sánh với ba mô hình frontier lớn (Claude Opus 4.5, GPT-4.1, GPT-5), các framework agent đóng băng với công cụ tĩnh (ReAct, ExpeL, ReasoningBank) và các phương pháp huấn luyện tiên tiến (GRPO, SkillOS, SkillRL).

Kết quả cho thấy bước nhảy vọt ngoạn mục cho mô hình nhỏ, tiết kiệm chi phí:

• Qwen3-8B + EvoHarness-RL đạt 96,9% tỷ lệ thành công trung bình — cải thiện 49 điểm phần trăm so với baseline ReAct.
• Vượt trội hơn các framework huấn luyện được như SkillRL (89,9%) và SkillOS (80,2%).
• Đáng chú ý nhất: mô hình 8B gần như ngang bằng với Claude Opus 4.5 (96,4%) khi chạy nguyên bản.

Ngoài ra, thử nghiệm cho thấy framework BPE mang lại lợi ích phổ quát cho mọi quy mô mô hình, kể cả khi không có giai đoạn RL mở rộng. Khi trang bị BPE harness cho GPT-4.1 và GPT-5 chạy nguyên bản, tỷ lệ thành công tăng lần lượt 22,1 và 25,7 điểm phần trăm.

Hiện tượng thú vị: Harness Annealing và Harness Evolution

Trong quá trình thí nghiệm, nhóm nghiên cứu ghi nhận hai hành vi động cho thấy khả năng thích nghi của LLM:

Harness Annealing: Ban đầu, AI phụ thuộc nặng nề vào việc truy vấn Experience và Progress tracker ở hầu hết mọi bước. Nhưng khi đã thành thạo các thao tác quen thuộc, nó chủ động giảm phụ thuộc vào công cụ ngoại vi, nhúng mẫu hành vi thành công trực tiếp vào tham số. Trong doanh nghiệp thực tế, điều này giúp giảm độ trễ và chi phí tính toán đáng kể — AI không còn lãng phí token truy vấn database cho workflow đã nắm vững.

Harness Evolution: Agent linh hoạt điều chỉnh chiến lược dựa trên độ phức tạp của tình huống. Với tác vụ đơn giản quen thuộc, nó bỏ qua công cụ. Nhưng khi gặp môi trường mới hoặc rào cản bất ngờ, nó chủ động tăng cường sử dụng Belief và Experience. Ví dụ: khi di chuyển dữ liệu database chuẩn, AI xử lý nhanh. Khi gặp API endpoint lạ từ hệ thống cũ hoặc lỗi validation phức tạp, nó chậm lại, kéo server logs trực tiếp và truy vấn ticket lịch sử để xử lý an toàn thay vì đoán bừa.

Tích hợp vào hệ thống hiện tại — Không cần thay thế toàn bộ

Dù đạt hiệu quả vượt trội, việc áp dụng framework mới thường tạo ra rào cản cho đội kỹ thuật. Tuy nhiên, EvoHarness-RL sử dụng environment adapter cho phép triển khai nội bộ giữ nguyên đặc thù theo lĩnh vực của tổ chức, đồng thời chia sẻ lớp huấn luyện chung.

Về khả năng tích hợp, Ning cho biết:

"BPE có thể hoạt động như lớp quản lý trạng thái bổ sung, liên tục tổ chức những gì agent đang tin tưởng, tiến độ đạt được và bài học tích lũy — mà không bắt buộc đội ngũ phải thay thế công cụ hay framework hiện tại."

Đối với doanh nghiệp lo ngại chi phí suy luận, framework giải quyết chi phí kỹ thuật ẩn của việc hợp nhất dữ liệu. Giải pháp đề xuất là kiến trúc hybrid và bất đồng bộ: dùng frontier model tạo dữ liệu hợp nhất chất lượng cao, sau đó fine-tune mô hình open-weight để xử lý quản lý trạng thái định kỳ. Vì quá trình hợp nhất diễn ra bất đồng bộ, nó không làm chậm vòng lặp thực thi chính của agent.

Tuy nhiên, các đội ngũ cần cân nhắc kỹ khi nào cần BPE harness có thể huấn luyện được:

"Với tác vụ ngắn và ổn định, ReAct hoặc RAG tiêu chuẩn có thể đã đủ. BPE trở nên đáng giá hơn nhiều khi agent làm việc nhiều giờ, nhiều ngày, thậm chí nhiều tuần."

Trong các tình huống phức tạp đó, agent cần hiểu biết nén gọn về quyết định của mình để tránh bị lạc, dựa vào Experience để cải thiện lặp lại từ thất bại và phản hồi từ con người.

Nghiên cứu mở ra hướng đi mới đầy hứa hẹn: AI agent hiệu suất cao không nhất thiết cần mô hình lớn đắt tiền — chỉ cần được dạy cách sử dụng thông minh các công cụ và bộ nhớ của mình. Với các doanh nghiệp tại Việt Nam đang tìm cách triển khai AI agent cho quy trình phức tạp trong khi tối ưu chi phí hạ tầng, đây là hướng tiếp cận đáng theo dõi chặt chẽ trong thời gian tới.