Context Language Models: Bước tiến mới giúp AI tự quản lý ngữ cảnh của chính mình

Trong lĩnh vực trí tuệ nhân tạo, một trong những bài toán hóc búa nhất hiện nay là làm sao để mô hình ngôn ngữ lớn quản lý hiệu quả "ngữ cảnh" (context) — tức toàn bộ thông tin mà nó đang phải ghi nhớ và xử lý cùng lúc. Một nhóm nghiên cứu vừa công bố một hướng tiếp cận mới mang tên Context Language Models (CLM), hứa hẹn thay đổi cách chúng ta nghĩ về vấn đề này.

Ngữ cảnh như một tệp tin

Điểm cốt lõi của CLM nằm ở một ý tưởng tưởng chừng đơn giản: thay vì để các công cụ bên ngoài kiểm soát ngữ cảnh, hãy để chính mô hình tự làm việc đó. Cụ thể, nhóm nghiên cứu coi ngữ cảnh như một tệp tin và cho phép mô hình tự do cập nhật tệp này theo cách nó thấy phù hợp.

Điều này có nghĩa là mô hình có thể tự học đâu là thông tin quan trọng nhất cần giữ lại, và đâu là phần có thể loại bỏ. Khác với các phương pháp truyền thống vốn phụ thuộc vào các cơ chế bên ngoài để "cắt gọt" ngữ cảnh, CLM biến việc quản lý ngữ cảnh thành một hành vi nội tại của mô hình.

Cách tiếp cận này còn mở rộng rất tự nhiên sang các hệ thống đa tác nhân (multi-agent), nơi nhiều tác nhân AI cùng hoạt động. Mỗi tác nhân sẽ có tệp ngữ cảnh riêng, và các tệp này có thể cùng tồn tại và phối hợp với nhau.

Hiệu quả vượt trội so với các phương pháp hiện có

Theo báo cáo trên arXiv, các thử nghiệm cho thấy CLM đạt kết quả ấn tượng so với các chiến lược quản lý ngữ cảnh tiên tiến nhất hiện nay:

• Trên BrowseComp-Plus: độ chính xác cao hơn 11,4% trong khi tiêu tốn ít hơn 21,5% chi phí tính toán (FLOPs).
• Trên EdgeBench với tác vụ kéo dài 12 giờ: điểm số cao hơn 5% với lượng FLOPs ít hơn tận 59%.
• Trên tác vụ đa kho mã nguồn (multi-repository) kéo dài 24 giờ: mức cải thiện lớn hơn 65% với cùng lượng tính toán.

Điểm đáng chú ý là những kết quả này đạt được khi xây dựng CLM theo kiểu zero-shot — tức là tận dụng các mô hình hiện có mà không cần huấn luyện lại từ đầu.

Học cách quản lý ngữ cảnh — theo hai con đường

Một đóng góp quan trọng khác của nghiên cứu là việc dịch chuyển quản lý ngữ cảnh từ cơ chế điều khiển bên ngoài sang hành vi nội tại của mô hình. Nhờ đó, các chiến lược quản lý ngữ cảnh có thể được học theo hai cách:

• Học trong ngữ cảnh (in-context learning): mô hình tiếp thu chiến lược thông qua hướng dẫn bằng ngôn ngữ tự nhiên.
• Học tham số (parametric learning): chiến lược được "khắc" vào chính trọng số của mô hình.

Nhóm nghiên cứu đã chỉ ra rằng CLM có thể được điều hướng bằng các chỉ dẫn ngôn ngữ tự nhiên được tiến hóa qua một vòng lặp tối ưu hóa kỹ năng tiêu chuẩn. Cách này giúp cải thiện độ chính xác trên tập kiểm tra lên tới 35,9 điểm trong một tác vụ quản lý ngữ cảnh, đồng thời giảm chi phí tính toán.

Bên cạnh đó, họ còn giới thiệu một phương pháp học tăng cường trực tuyến (online reinforcement learning) dành riêng cho CLM. Phương pháp này giúp cải thiện hiệu năng của mô hình Qwen3.5-9B trên BrowseComp-Plus thêm 47,6% trong khi sử dụng ít hơn 12% FLOPs.

Tối ưu cả phía máy chủ

Không chỉ dừng ở thuật toán, nhóm nghiên cứu còn đồng thiết kế (co-design) kỹ thuật Suffix Cache Reuse cho việc phục vụ (serving) CLM. Kỹ thuật này giúp giảm thêm 35% chi phí tính toán phía máy chủ so với chuẩn SGLang ở cùng mức hiệu năng.

Đây là một điểm rất đáng lưu ý đối với các doanh nghiệp và đội ngũ phát triển tại Việt Nam đang cân nhắc chi phí vận hành các hệ thống AI, bởi tiết kiệm tính toán đồng nghĩa với tiết kiệm chi phí hạ tầng.

Ý nghĩa đối với cộng đồng AI

Nghiên cứu mang mã arXiv:2609.37725 thuộc lĩnh vực Trí tuệ nhân tạo (cs.AI), đồng thời liên quan đến Xử lý ngôn ngữ (cs.CL) và Học máy (cs.LG). Nhóm tác giả gồm Rulin Shao và 12 cộng sự đến từ nhiều tổ chức nghiên cứu uy tín.

Việc để mô hình tự quản lý ngữ cảnh có thể là chìa khóa giúp các tác nhân AI hoạt động bền bỉ trong thời gian dài — từ vài giờ đến vài ngày — mà không bị "quá tải" thông tin.

Với xu hướng các tác nhân AI ngày càng phải xử lý những tác vụ dài hơi, phức tạp và đa bước, những tiến bộ như CLM có thể đóng vai trò then chốt trong việc đưa AI từ trợ lý đơn giản thành những hệ thống tự chủ thực sự. Đối với cộng đồng nghiên cứu và phát triển AI tại Việt Nam, đây là một hướng đi đáng theo dõi và có thể thử nghiệm trong các bài toán xử lý tài liệu dài, phân tích mã nguồn hay xây dựng trợ lý ảo doanh nghiệp.