Grep vẫn đánh bại LSP? Nghiên cứu về lý do trợ lý mã AI 'chê' công cụ thông minh hơn

Một nghiên cứu thực nghiệm gần đây đã so sánh khả năng của các trợ lý lập trình AI khi sử dụng hai phương pháp truy xuất ngữ cảnh mã nguồn: grep (tìm kiếm từ khóa) và công cụ điều hướng ngữ nghĩa dựa trên LSP (Language Server Protocol). Kết quả gây bất ngờ khi các mô hình AI thường xuyên 'trung thành' với grep hơn là sử dụng công cụ được cho là 'thông minh' hơn. Điều này cho thấy một bài toán quan trọng: khả năng tương tác của tool với LLM (Large Language Model) đôi khi còn quan trọng hơn cả độ chính xác của dữ liệu mà tool đó trả về.

Vì sao trợ lý AI 'phớt lờ' công cụ ngữ nghĩa chính xác hơn?

Nghiên cứu được thực hiện trên nhiều mô hình Claude (Opus, Sonnet, Haiku) với các kho mã Python và TypeScript. Các nhà nghiên cứu ban đầu kỳ vọng việc sử dụng LSP để tìm kiếm định nghĩa, tham chiếu sẽ giúp giảm 'tiếng ồn' (noise) và tiết kiệm token. Tuy nhiên, kết quả lại hoàn toàn ngược lại.

Trong các tác vụ định vị mã nguồn đơn giản, khi cả hai công cụ đều có sẵn, tỷ lệ chọn công cụ ngữ nghĩa chỉ dao động từ 0% đến 6%. Đáng chú ý hơn, khi buộc mô hình phải sử dụng con đường ngữ nghĩa trước, tỷ lệ thành công của tác vụ đã giảm từ 100% xuống còn 89%. Điều này cho thấy, việc ép sử dụng một công cụ 'chính xác' nhưng không phù hợp với luồng suy nghĩ của mô hình có thể gây ra hiệu ứng tiêu cực.

Mô hình thời gian truy xuất theo công cụ

Tỷ lệ lựa chọn công cụ (grep vs LSP) thay đổi tùy theo loại tác vụ.

'Tiếng ồn' của mã nguồn là yếu tố quyết định giá trị của LSP

Tuy nhiên, kết quả không hoàn toàn 'bênh vực' grep. Đối với các tác vụ yêu cầu tìm kiếm đầy đủ các nơi gọi một hàm (reference-completeness), các mô hình đã chọn công cụ ngữ nghĩa tới 45%-57% số lần. LSP đạt độ chính xác (precision) 1.00 so với mức 0.76 của grep nhờ khả năng lọc bỏ các kết quả trùng khớp không thật sự là lời gọi hàm.

Một phát hiện quan trọng khác là vai trò của 'độ nhiễu' (noise) trong kho mã nguồn. Trên một kho TypeScript sạch sẽ, LSP không mang lại lợi ích về F1-score và thậm chí tiêu tốn nhiều hơn 16% token. Ngược lại, trên một kho mã 'bẩn' (nhiều chuỗi, comment trùng khớp), LSP đã cải thiện điểm F1 lên tới 0.246 và giảm 12% lượng token sử dụng.

Ảnh hưởng của độ nhiễu mã nguồn

Giá trị của công cụ ngữ nghĩa thay đổi rõ rệt dựa trên độ nhiễu của mã nguồn, không phải loại ngôn ngữ.

'Hộp đen' Harness: Mảnh ghép bị bỏ quên trong thiết kế Agent

Một khám phá quan trọng nhất của nghiên cứu chính là vai trò của 'hình dạng kết quả đầu ra' (output shape). Các công cụ LSP trong thử nghiệm ban đầu chỉ trả về một vị trí như đường dẫn tệp, dòng và cột. Mô hình AI buộc phải thực hiện thêm một bước mở tệp để đọc nội dung. Trong khi đó, grep trả về trực tiếp dòng văn bản khớp, ngay lập tức cung cấp đủ ngữ cảnh cho mô hình xử lý bước tiếp theo.

Khi các nhà nghiên cứu thay đổi định dạng phản hồi của LSP để bao gồm cả nội dung mã nguồn ngay trong dòng kết quả (inline context), hiệu suất thay đổi đáng kể. Tỷ lệ thành công cho tác vụ đổi tên (rename) đa tệp đã tăng từ 0.67 lên 0.83, và số lượt đọc tệp theo sau (follow-up reads) giảm mạnh từ 15.2 lần xuống còn 3.2 lần mỗi phiên. Đây là minh chứng rõ ràng rằng hiệu quả hoạt động của một Agent không chỉ đến từ sức mạnh của công cụ mà còn từ cách công cụ đó được 'đóng gói' thông tin cho mô hình.

Ảnh hưởng của ngữ cảnh nội tuyến

Việc thêm ngữ cảnh nguồn vào phản hồi của LSP giúp cải thiện đáng kể hiệu suất tác vụ.

Một công cụ không được coi là 'thân thiện' với mô hình chỉ vì kết quả của nó chính xác. Nó phải trả về đủ ngữ cảnh cho bước tiếp theo và trình bày ngữ cảnh đó theo định dạng mà mô hình có thể sử dụng trực tiếp.

Góc nhìn chiến lược cho nền tảng Agent tại Việt Nam

Nghiên cứu này đưa ra lời khuyên quan trọng cho các kỹ sư đang xây dựng nền tảng trợ lý mã AI: hãy đánh giá cả mô hình và 'harness' (khung vòng lặp sử dụng tool) cùng nhau. Không nên quá tôn sùng một công cụ 'thông minh' về mặt kỹ thuật mà cần xem xét liệu công cụ đó có thực sự phù hợp với 'luồng hành động' mà mô hình đã được học hay không.

Các công cụ như MCP (Model Context Protocol) hay LSP vẫn có giá trị riêng, đặc biệt trong các kho mã phức tạp và nhiều 'tiếng ồn'. Tuy nhiên, việc tích hợp chúng cần được thực hiện một cách thận trọng. Nguyên tắc cốt lõi là: hãy bắt đầu với các công cụ 'bản địa' (native) mà mô hình đã quen thuộc từ quá trình huấn luyện, sau đó mới thêm các khả năng mới, và phải kiểm thử chúng trong môi trường thực tế với các tác vụ cụ thể. Bởi vì, một công cụ mang lại kết quả truy xuất 'tốt hơn' về mặt lý thuyết, nhưng lại khiến tác vụ đòi hỏi nhiều bước diễn giải hơn, thực chất đang làm giảm hiệu suất tổng thể của Agent.