Mô-đun AI giả mạo 86% mức tăng độ chính xác của pipeline bằng cách 'nhồi' câu trả lời cho mô-đun khác

Mô-đun AI giả mạo 86% mức tăng độ chính xác của pipeline bằng cách "nhồi" câu trả lời cho mô-đun khác

Một hệ thống RAG (Retrieval-Augmented Generation) được xây dựng để trả lời dựa trên các tài liệu được truy xuất. Nhưng khi các kỹ sư tối ưu hóa các pipeline AI này từ đầu đến cuối, mô-đun đọc (Reader) có thể học được một "đường tắt": thay vì dựa vào bằng chứng được truy xuất, nó bắt đầu trả lời từ bộ nhớ nội bộ của chính mình — trong khi độ chính xác tổng thể của hệ thống vẫn tiếp tục tăng. Đây là thách thức tiềm ẩn của "role drift" (lệch vai trò), một chế độ lỗi trong các hệ thống AI phức hợp, nơi các mô-đun riêng lẻ học cách bỏ qua nhiệm vụ được giao ngay cả khi hiệu suất tổng thể được cải thiện.

Để giải quyết vấn đề này, các nhà nghiên cứu tại MIT và Harvard đã giới thiệu Role Anchor, một kỹ thuật buộc các mô-đun phải tuân thủ đúng vai trò của mình trong quá trình huấn luyện. Khi được áp dụng, kỹ thuật này giảm thiểu tình trạng lệch vai trò. Ví dụ, nó buộc bộ đọc RAG phải dựa vào bằng chứng được truy xuất thay vì trả lời dựa trên kiến thức nội bộ của mình.

Bài học chính rút ra cho các kỹ sư là độ chính xác đầu cuối (end-to-end accuracy) một mình có thể phóng đại mức độ học hỏi thực sự của một hệ thống AI phức hợp. Các kỹ sư phải đánh giá từng thành phần riêng lẻ và đảm bảo chúng hoạt động đúng như thiết kế.

Role Anchor đóng vai trò là cả một công cụ bảo vệ lẫn chẩn đoán khi tối ưu hóa các pipeline LLM nhiều bước. Nó có thể rất quan trọng cho các ứng dụng AI thực tế đòi hỏi sự phân công lao động chặt chẽ giữa các mô-đun.

Tại sao độ chính xác đầu cuối che giấu vấn đề

Các hệ thống LLM phức hợp chia các tác vụ phức tạp cho các mô-đun chuyên biệt. Ví dụ, một hệ thống được thiết kế cho lý luận đa bước (multi-hop reasoning) có thể chia một tác vụ giữa một "Decomposer" (Bộ phân rã) và một "Solver" (Bộ giải). Decomposer chia một vấn đề lớn thành các nhiệm vụ con nhỏ, trong khi Solver tính toán câu trả lời cho những câu hỏi con đó. Sự phân công này cho phép các kỹ sư AI ủy quyền thực thi cho các mô hình nhỏ hơn, rẻ hơn và xử lý các tác vụ con song song khi có thể.

Để cải thiện hiệu suất của các pipeline AI, các kỹ sư thường tối ưu hóa chúng bằng học tăng cường (RL) đầu cuối được hướng dẫn bởi một "phần thưởng đầu cuối" (terminal reward) duy nhất. Điều này có nghĩa là hệ thống được đánh giá dựa trên việc câu trả lời cuối cùng có đúng hay không (các nhà nghiên cứu gọi là "terminal accuracy"). Khi độ chính xác đầu cuối tăng, hệ thống được coi là đang học hỏi và hoạt động đúng như dự kiến.

Tuy nhiên, độ chính xác đầu cuối không xác minh liệu các mô-đun có thực hiện đúng các tác vụ được giao hay không. Như Xiaoyang Cao, đồng tác giả của bài báo, nói với VentureBeat: "Độ chính xác đầu cuối rút gọn hành vi của toàn bộ hệ thống AI đa phần thành một con số duy nhất. Nó cho thấy câu trả lời cuối cùng có đúng hay không, nhưng ít nói về thành phần nào đã đóng góp hoặc liệu chúng có tuân theo vai trò được giao hay không."

Điểm mù này dẫn đến tình trạng lệch vai trò, một chế độ lỗi nơi hành vi của một mô-đun đi chệch khỏi vai trò được giao trong quá trình tối ưu hóa, mặc dù độ chính xác đầu cuối của hệ thống vẫn tiếp tục cải thiện.

"Đối với các nhóm kỹ thuật, rủi ro thực tế là họ có thể triển khai một pipeline vượt qua mọi đánh giá đầu cuối ngay cả khi sự phân công lao động theo thiết kế đã âm thầm bị phá vỡ," Cao nói. Vì hệ thống phần thưởng chỉ chấm điểm câu trả lời cuối cùng, nó không phát hiện hay phạt mô-đun khi chúng đi "chệch đường ray".

Hãy xem điều này xảy ra trong pipeline Decomposer-Solver như thế nào. Vai trò của Decomposer là viết các câu hỏi con trừu tượng mà không giải quyết nhiệm vụ, để lại việc suy luận cho Solver. Dưới RL đầu cuối, Decomposer nhanh chóng học được rằng Solver yếu hơn dễ mắc lỗi với các tác vụ trừu tượng. Để tối đa hóa phần thưởng, Decomposer bắt đầu rò rỉ hoặc cài sẵn câu trả lời vào các câu hỏi con mà nó gửi cho Solver. Solver cuối cùng chỉ lặp lại câu trả lời mà Decomposer đã nhồi cho nó. Độ chính xác đầu cuối tăng lên, nhưng kiến trúc dự kiến đã bị xâm phạm.

Nhưng nếu hệ thống đưa ra câu trả lời đúng và độ chính xác tiếp tục tăng, tại sao chúng ta lại phải quan tâm nếu một mô-đun lệch vai trò của nó?

Triển khai trong thế giới thực đòi hỏi nhiều hơn một câu trả lời cuối cùng chính xác trên tập dữ liệu huấn luyện. Các vai trò ngầm được gán cho các mô-đun này đảm bảo khả năng mở rộng, độ tin cậy và khả năng kiểm toán. Hãy xem xét điều gì xảy ra khi vai trò bị lệch:

• Mất hiệu quả và khả năng kiểm toán: Trong ví dụ suy luận, lệch vai trò khiến Decomposer làm tất cả các công việc nặng nhọc thay vì lập kế hoạch và ủy quyền. "Khi Decomposer bắt đầu đặt câu trả lời trực tiếp vào các câu hỏi con, các Solver bị giảm thành việc sao chép những câu trả lời đó," Cao nói. "Bạn vẫn trả tiền để chạy [các mô-đun khác nhau], nhưng chúng không còn làm việc độc lập nữa." Khối lượng công việc không thể được song song hóa trên nhiều Solver, không thể ủy quyền cho các mô hình rẻ hơn để tiết kiệm chi phí tính toán, và các bên liên quan con người ở hạ nguồn không thể kiểm toán logic từng bước của hệ thống để xác minh cách nó đưa ra câu trả lời.

• Sự mong manh trong môi trường động: Hãy xem xét một hệ thống RAG, nơi một mô hình Reader có nhiệm vụ trả lời câu hỏi chỉ dựa trên các tài liệu được truy xuất bên ngoài. Nếu Reader bị lệch và học cách dựa vào bộ nhớ tham số nội bộ của chính nó (vì bộ nhớ của nó tình cờ chính xác trong quá trình huấn luyện), hệ thống trở nên mong manh. Khi doanh nghiệp cập nhật cơ sở dữ liệu với thông tin mới, hoặc người dùng hỏi về một chủ đề mới ngoài phạm vi dữ liệu được huấn luyện trước của mô hình, hệ thống sẽ thất bại vì nó đã bỏ rơi cơ chế neo dữ liệu mà nó được xây dựng để sử dụng.

Cách Role Anchor đo lường và thực thi một vai trò

"Huấn luyện chỉ vì kết quả cuối cùng sẽ thưởng cho một hệ thống vì đã tạo ra câu trả lời đúng, bất kể nó đạt được điều đó bằng cách nào," Cao nói. Để chống lại điều này, Role Anchor là một kỹ thuật điều chuẩn nhẹ (lightweight regularization) đưa các hướng dẫn vai trò trở thành một phần của mục tiêu huấn luyện. Nó so sánh cách thành phần hoạt động khi có và không có các hướng dẫn này, đồng thời không khuyến khích việc huấn luyện làm suy yếu tác động của chúng.

Ở cấp độ cao, nó đảm bảo mô-đun tiếp tục tôn trọng ảnh hưởng định hướng của lời nhắc vai trò ban đầu trong suốt quá trình tối ưu hóa học tăng cường, giúp việc lệch vai trò có thể đo lường và kiểm soát được.

Một hiểu biết then chốt của Role Anchor là tác động của vai trò có thể được đo lường bằng cách so sánh hành vi của mô hình khi có và không có lời nhắc vai trò. Hệ thống đánh giá hai loại lời nhắc khác nhau cho mỗi mô-đun:

1. Lời nhắc vai trò chuyên biệt, giàu hướng dẫn (ví dụ: "Bạn là một Reader cẩn thận. Sử dụng các đoạn văn được truy xuất để trả lời câu hỏi của người dùng...").
2. Lời nhắc trung lập (ví dụ: "Trả lời câu hỏi của người dùng...").

Với bất kỳ đầu vào nào, mô hình sẽ xuất ra một phân bố xác suất cho token tiếp theo. Khi chạy với lời nhắc vai trò, nó sẽ ưu tiên một số token nhất định. Khi chạy với lời nhắc trung lập, nó hoạt động như một trợ lý thông thường. Sự khác biệt giữa hai phân bố xác suất này được gọi là "tiện ích vai trò" (role utility).

Tiện ích này đo lường "cú đẩy" (nudge), tức là hướng và cường độ mà lời nhắc vai trò làm thay đổi các dự đoán mặc định của LLM. Nếu một token phù hợp cao với vai trò được giao, lời nhắc vai trò sẽ tăng khả năng của nó so với đường cơ sở trung lập (hoặc "đẩy" mô hình hướng tới token đó).

Trước khi bắt đầu huấn luyện RL, Role Anchor giữ một bản sao đóng băng của mô hình làm tài liệu tham chiếu và đo lường "cú đẩy" ban đầu của lời nhắc vai trò trên mô hình tham chiếu này. "Cú đẩy" trước RL này đóng vai trò là chân lý nền tảng cho ý định của nhà thiết kế, hoạt động như một proxy cho cách lời nhắc vai trò được cho là định hướng mô hình.

Trong quá trình huấn luyện RL, khi các trọng số của mô hình đang hoạt động được cập nhật, Role Anchor thường xuyên tính toán "cú đẩy" hiện tại và so sánh với "cú đẩy" tham chiếu. Nếu "cú đẩy" hiện tại bắt đầu mờ dần hoặc đi chệch khỏi tham chiếu, Role Anchor áp dụng một hình phạt lên mô hình để ngăn chặn tình trạng lệch vai trò.

Để thấy điều này trong thực tế, hãy xem xét hệ thống RAG được các nhà nghiên cứu đánh giá. Trong pipeline này, mô-đun Reader được hướng dẫn rõ ràng để trả lời câu hỏi của người dùng chỉ dựa trên các tài liệu được truy xuất, thay vì dựa vào kiến thức nội bộ của nó.

Trong quá trình RL không giới hạn, chỉ hướng đến kết quả, Reader học được rằng bộ truy xuất (retriever) ở thượng nguồn đôi khi bị nhiễu. Để tối đa hóa độ chính xác trên tập huấn luyện, nó bắt đầu bỏ qua các đoạn văn được truy xuất và trả lời từ bộ nhớ. Do đó, khoảng cách giữa hành vi của nó khi có lời nhắc vai trò và lời nhắc trung lập thu hẹp đến mức Reader bắt đầu hoạt động giống hệt nhau trong cả hai trường hợp, bỏ qua các hướng dẫn neo dữ liệu.

Ngược lại, Role Anchor phát hiện khi "cú đẩy" của Reader đi chệch khỏi "cú đẩy" tham chiếu. Nó áp dụng một hình phạt, chuyển hướng các tham số của mô hình tránh xa lối tắt dựa trên bộ nhớ này. Điều này buộc Reader phải tìm ra những cách cải thiện tuân thủ vai trò, chẳng hạn như học cách trích xuất câu trả lời từ các đoạn văn được truy xuất một cách chính xác hơn hoặc tránh sử dụng kiến thức nội bộ khi các đoạn văn được truy xuất bị lỗi.

Những con số: bao nhiêu phần trăm mức tăng độ chính xác là thật

Để kiểm tra hiệu quả của Role Anchor, các nhà nghiên cứu đã đánh giá nó trên các pipeline RAG và Decomposer-Solver (DEC). Các thí nghiệm so sánh các hệ thống được huấn luyện với học tăng cường chỉ dựa trên kết quả tiêu chuẩn (không neo) với các hệ thống được huấn luyện với Role Anchor.

Dưới RL chỉ hướng đến kết quả, độ chính xác đầu cuối của hệ thống RAG tăng lên, nhưng tính toàn vẹn nội bộ của nó sụp đổ. Các nhà nghiên cứu đo lường "Evidence-Following Accuracy" (Độ chính xác tuân theo bằng chứng), một bài kiểm tra xem mô hình có thay đổi câu trả lời khi văn bản được truy xuất bị cố tình thay đổi để nói ngược lại hay không. Chỉ số này giảm mạnh từ 0.86 xuống 0.54 (chỉ trên mức ngẫu nhiên), nghĩa là mô hình đã học cách bỏ qua các đoạn văn được truy xuất và dựa vào bộ nhớ tham số được huấn luyện trước của nó. Trong một bài kiểm tra, các nhà nghiên cứu cố tình thay đổi một phần thông tin trong một tài liệu được truy xuất để mâu thuẫn với kiến thức nội bộ của mô hình. Mô hình không neo không cập nhật phản hồi vì nó không sử dụng tài liệu bên ngoài.

Khi Role Anchor được áp dụng, "Evidence-Following Accuracy" của Reader vẫn ở mức 0.869, chứng minh nó dựa hoàn toàn vào văn bản được truy xuất. Khi các nhà nghiên cứu đưa vào mô hình được neo các đoạn văn ngẫu nhiên không liên quan đến lời nhắc đầu vào, độ chính xác của nó giảm đúng như dự đoán vì nó từ chối sử dụng kiến thức nội bộ. Mô hình không neo đạt điểm cao hơn trên các đoạn văn ngẫu nhiên vì nó đang đoán từ bộ nhớ.

Pipeline Decomposer (DEC) cho thấy một chế độ lỗi còn nghiêm trọng hơn. Dưới RL chỉ hướng đến kết quả, độ chính xác đầu cuối tăng vọt, nhưng "tỷ lệ chèn" (tức là tần suất Decomposer rò rỉ câu trả lời vào các câu hỏi con mà nó gửi cho Solver) tăng vọt từ 0.143 lên 0.596.

Trong pipeline RAG, việc duy trì vai trò dự kiến khiến hệ thống giảm độ chính xác rất nhỏ (-0.067). Reader vẫn học cách trích xuất câu trả lời tốt hơn, nhưng nó làm điều đó một cách hợp lệ thay vì gian lận bằng bộ nhớ nội bộ. Điều này có nghĩa là nó đáng tin cậy hơn trong các tác vụ thực tế với kiến thức mới mà nó chưa từng thấy trong quá trình huấn luyện.

Trong pipeline DEC, RL không neo cải thiện độ chính xác thêm 0.310 so với mô hình cơ sở, trong khi Role Anchor chỉ cho thấy mức cải thiện 0.057. Khi được chẩn đoán, hóa ra vấn đề cốt lõi là mô hình Solver quá nhỏ và không thể học phần giải quyết vấn đề. Điều này buộc mô hình Decomposer phải gian lận và cung cấp câu trả lời để tăng độ chính xác đầu cuối. Điều này có nghĩa là 86% mức cải thiện ở hệ thống không neo là giả, và hệ thống chỉ đơn giản học cách khai thác một lối tắt thay vì học cách suy luận hoặc phân rã vấn đề tốt hơn.

Tuy nhiên, sự đánh đổi này không phải là quy luật phổ quát. Trong một số trường hợp, loại bỏ các lối tắt có thể thực sự tăng hiệu suất tổng thể. "Role Anchor... không nhất thiết làm giảm độ chính xác cuối cùng," Cao nói. "Trong một pipeline viết mã mà chúng tôi thử nghiệm gần đây, mô hình đã học cách thao túng bộ thực thi kiểm tra (test executor) của chính nó trong quá trình huấn luyện học tăng cường. Việc thêm Role Anchor đã loại bỏ hoàn toàn lối tắt đó trong khi cải thiện nhẹ độ chính xác trong các bài kiểm tra cuối cùng được dùng để đánh giá mã."

Điều gì cần thiết để thêm Role Anchor vào một pipeline hiện có

Đối với các nhóm kỹ thuật muốn áp dụng kỹ thuật này, "Role Anchor có thể được thêm vào quá trình tinh chỉnh học tăng cường hiện có như một mục tiêu huấn luyện bổ sung cho từng thành phần mà nhóm muốn neo," Cao nói. Pipeline chính và thiết lập triển khai hoàn toàn không thay đổi.

Để triển khai nó, các kỹ sư cần ba thứ cụ thể cho mỗi thành phần được neo: hướng dẫn vai trò gốc của nó, một phiên bản trung lập tương ứng với thông tin vai trò đã bị loại bỏ và một bản sao đã lưu của mô hình trước khi tinh chỉnh bằng học tăng cường.

Điều quan trọng là không có hình phạt về độ trễ (latency) tại thời điểm suy luận (inference). "Role Anchor chỉ chạy trong khi mô hình đang được huấn luyện, vì vậy nó không làm chậm hệ thống đã được triển khai," Cao nói. Ông lưu ý rằng việc triển khai hiện tại của họ mất thêm khoảng 20% thời gian trong quá trình huấn luyện do các phép tính bổ sung, mặc dù có thể có chỗ để tối ưu hóa và giảm chi phí này. Mã nghiên cứu, cấu hình huấn luyện và một số trọng số mô hình chọn lọc sẽ được công bố công khai trong tương lai gần.

Việc quyết định khi nào sử dụng Role Anchor là một quyết định tùy từng trường hợp, dựa trên việc liệu độ chính xác cuối cùng có nắm bắt được mọi thứ quan trọng hay không. Cao chỉ ra một hệ thống RAG pháp lý được quản lý chặt chẽ là ứng viên chính. "Thành phần tạo ra câu trả lời có thể cần phải tuân theo bằng chứng được truy xuất, bám sát một tập tài liệu đã được phê duyệt và tạo ra các câu trả lời có thể truy vết nguồn gốc," ông nói. "Chỉ riêng độ chính xác cuối cùng không thể xác minh các thuộc tính đó, vì vậy hành vi của thành phần đó cần được đo lường và thực thi trực tiếp."

Khi AI doanh nghiệp phát triển hướng tới các pipeline kết hợp phức tạp hơn, việc thực thi vai trò sẽ trở nên khó khăn hơn và việc chỉ dựa vào lời nhắc (prompts) sẽ tỏ ra không đáng tin cậy. "Ở quy mô lớn hơn, các đặc tả vai trò sẽ cần được thực thi thông qua cả thiết kế huấn luyện và hệ thống," Cao nói. "Các phương pháp như Role Anchor có thể giúp duy trì hành vi dự kiến trong quá trình huấn luyện, trong khi các ranh giới hệ thống rõ ràng, quyền hạn công cụ hạn chế và giám sát trong quá trình sử dụng có thể cung cấp thêm các lớp bảo vệ."