Các nhà nghiên cứu cảnh báo: File cấu hình "có mùi" khiến tác nhân AI lãng phí token

Các nhà nghiên cứu cảnh báo: File cấu hình "có mùi" khiến tác nhân AI lãng phí token

Nếu bạn đang để tác nhân AI (AI agent) của mình tiếp xúc với một "mùi hương" mạnh, có lẽ đã đến lúc dọn dẹp lại các hướng dẫn của mình. Trong lập trình, các mẫu mã rủi ro hoặc cấu trúc kém thường được gọi là "code smells" (mùi mã), và các nhà nghiên cứu phát hiện ra rằng các chỉ thị cho tác nhân lập trình cũng có thể gặp tình trạng tương tự. Điều này dẫn đến việc lãng phí token và kết quả đầu ra kém hơn.

Tác nhân lập trình phụ thuộc vào các file cấu hình để tóm tắt hành vi mong đợi. Các file này thường được viết bằng định dạng Markdown và đặt tên là CLAUDE.md (đối với các mô hình của Anthropic) hoặc AGENTS.md (đối với hầu hết các nền tảng khác). Chúng chứa các hướng dẫn văn bản chi tiết về hành vi và cách sử dụng công cụ cho tác nhân.

Tuy nhiên, các file này có xu hướng trở nên quá dài dòng. Anthropic khuyên rằng không nên vượt quá 200 dòng văn bản, vì các file dài hơn sẽ tiêu tốn ngữ cảnh của mô hình và có thể làm giảm tính mạch lạc của nó.

Nghiên cứu về các "mùi" cấu hình

Các nhà nghiên cứu thuộc Khoa Khoa học Máy tính của Viện Liên bang Minas Gerais (Brazil) gần đây đã phân tích 532.000 file để xây dựng và đánh giá một tập dữ liệu từ 100 dự án mã nguồn mở phổ biến chứa file AGENTS.md hoặc CLAUDE.md.

"Kết quả của chúng tôi cho thấy các 'mùi' cấu hình (configuration smells) đang rất phổ biến", các tác giả stated. "Lint Leakage (Rò rỉ Lint) là loại mùi phổ biến nhất, ảnh hưởng đến 62% số file, tiếp theo là Context Bloat (Phình ngữ cảnh - 42%) và Skill Leakage (Rò rỉ kỹ năng - 35%)."

Các vấn đề phổ biến

Lint Leakage đề cập đến việc các hướng dẫn cho tác nhân lặp lại các quy tắc đã được thực thi bởi các công cụ linting, trình kiểm tra định dạng và công cụ phân tích tĩnh. Việc lặp lại các quy tắc này gây lãng phí token bằng cách làm gánh nặng cho mô hình cơ bản với các hướng dẫn cho một nhiệm vụ đã được xử lý đáng tin cậy bởi các công cụ lập trình.

Context Bloat, như tên gọi của nó, mô tả xu hướng của các nhà phát triển chỉ định quá chi tiết hành vi của tác nhân lập trình. "Các file cấu hình phình to làm tăng mức tiêu thụ token, nâng cao chi phí và giảm khả năng hiển thị của các hướng dẫn quan trọng", các tác giả nhận định, đồng thời nhắc lại khuyến cáo của Anthropic về giới hạn 200 dòng.

Skill Leakage, một vấn đề phổ biến khác, xảy ra khi các công cụ hoặc phương pháp hiếm khi được sử dụng được thêm vào file AGENTS.md, file này sẽ được tải trong mọi phiên làm việc của tác nhân. Các hướng dẫn này sẽ tốt hơn nếu được đặt trong một file kỹ năng riêng (ví dụ: SKILLs.md) và chỉ được tải khi cần thiết. Skill Leakage cũng làm mở rộng ngữ cảnh của tác nhân một cách không cần thiết và có thể gây xao nhãng.

Ngoài ra, nghiên cứu còn chỉ ra một số "mùi" khác:

• Blind References (Tham chiếu mù quáng): Khi file cấu hình tham chiếu đến tài liệu bên ngoài (ví dụ: qua URL) mà không giải thích khi nào tài liệu đó trở nên liên quan.
• Init Fossilization (Hóa thạch khởi tạo): Các chi tiết cấu hình được thiết lập khi khởi tạo dự án nhưng không còn phù hợp nữa.
• Conflicting Instructions (Hướng dẫn xung đột): Khi các chỉ thị cho tác nhân mâu thuẫn với nhau.

Ít hơn là nhiều hơn

Các tác giả nghiên cứu phát hiện ra rằng ít nhất một trong số sáu "mùi" này xuất hiện trong 91 trong số 100 file AGENTS.md được kiểm tra. Họ kết luận rằng các nhà phát triển có thể hưởng lợi từ các danh mục và công cụ được thiết kế để phát hiện vấn đề cấu hình trong các file này.

Thông điệp cốt lõi ở đây là nguyên tắc "ít hơn là nhiều hơn" đối với các file cấu hình của tác nhân lập trình. Tương tự, một nghiên cứu trước đây của ETH Zurich về tác động của các file ngữ cảnh đối với tác nhân cũng đã tìm thấy rằng các hướng dẫn do nhà phát triển tạo ra làm tăng chi phí và chỉ cải thiện hiệu suất mã khoảng 4%, trong khi các hướng dẫn do LLM tạo ra thậm chí còn có tác động tiêu cực nhỏ.

Họ kết luận rằng "các yêu cầu không cần thiết từ các file ngữ cảnh làm cho nhiệm vụ trở nên khó khăn hơn, và các file ngữ cảnh do con người viết nên chỉ mô tả các yêu cầu tối thiểu."