Sự suy giảm ràng buộc: Tại sao các tác nhân LLM lại "bất lực" trước mã Backend phức tạp?

Các tác nhân Mô hình Ngôn ngữ Lớn (LLM) đã cho thấy khả năng ấn tượng trong việc tự động tạo mã nguồn khi các yêu cầu còn lỏng lẻo. Tuy nhiên, phần mềm sản phẩm thực tế đòi hỏi sự tuân thủ nghiêm ngặt các ràng buộc cấu trúc như mô hình kiến trúc, cơ sở dữ liệu và ánh xạ đối tượng-quan hệ (ORM).

Một nghiên cứu mới có tiêu đề "Constraint Decay: The Fragility of LLM Agents in Backend Code Generation" đã đi sâu phân tích vấn đề này. Nghiên cứu chỉ ra rằng các tiêu chuẩn đánh giá hiện tại thường bỏ qua các yêu cầu phi chức năng này, dẫn đến việc đánh giá cao các giải pháp về mặt chức năng nhưng lại tùy tiện về mặt cấu trúc.

Hiện tượng "Sự suy giảm ràng buộc"

Nghiên cứu đã thực hiện đánh giá hệ thống trên 80 nhiệm vụ tạo mới (greenfield) và 20 nhiệm vụ triển khai tính năng trên 8 khung công tác web khác nhau. Kết quả đã hé lộ một hiện tượng đáng báo động mà các tác giả gọi là "sự suy giảm ràng buộc".

Khi các yêu cầu cấu trúc tích lũy lại, hiệu suất của các tác nhân LLM thể hiện sự sụt giảm đáng kể. Các cấu hình mạnh mẽ nhất mất trung bình 30 điểm về tỷ lệ vượt qua các bài kiểm thử khẳng định (assertion pass rates) khi chuyển từ nhiệm vụ cơ bản sang nhiệm vụ được đặc tả đầy đủ. Một số cấu hình yếu hơn thậm chí tiệm cận mức 0.

Tác động của khung công tác (Framework)

Phân tích độ nhạy của khung công tác đã phơi bày sự chênh lệch lớn về hiệu suất. Các tác nhân LLM thường thành công trong các môi trường tối giản và rõ ràng như Flask. Ngược lại, chúng hoạt động kém hơn nhiều trong các môi trường nặng về quy ước và cấu trúc phức tạp như FastAPI hay Django.

Nguyên nhân lỗi nằm ở đâu?

Phân tích lỗi xác định rằng các khiếm khuyết ở lớp dữ liệu là nguyên nhân gốc rễ hàng đầu. Cụ thể, các lỗi bao gồm việc soạn thảo truy vấn không chính xác và các vi phạm thời gian chạy của ORM. Điều này cho thấy rằng việc thỏa mãn đồng thời cả yêu cầu chức năng và cấu trúc vẫn là một thách thức mở lớn đối với các tác nhân lập trình hiện nay.

Nghiên cứu này đóng vai trò như một lời nhắc nhở quan trọng cho cộng đồng phát triển phần mềm và AI: việc đưa các tác nhân LLM vào quy trình sản xuất thực tế vẫn còn nhiều rào cản cần vượt qua.