Context Sculpting: Khi AI được phép "điêu khắc" lại ngữ cảnh của chính mình

Context Sculpting: Khi AI được phép "điêu khắc" lại ngữ cảnh của chính mình

Cách đây vài tháng, trong khi đọc một bài viết chuyên sâu về cấu trúc của một "agent harness" (khung điều khiển tác nhân AI), một ý tưởng táo bạo đã hiện lên trong đầu tôi: Thay vì coi cửa sổ ngữ cảnh (context window) là một nhật ký hội thoại chỉ được thêm vào mà không thể sửa đổi, điều gì sẽ xảy ra nếu chúng ta để mô hình tự kiểm tra và chỉnh sửa chính ngữ cảnh đó?

Kể từ khi ChatGPT ra mắt, hầu hết các nhà phát triển đều có tư duy mặc định rằng lịch sử hội thoại là bất biến: một lệnh hệ thống, tin nhắn người dùng, và danh sách các tin nhắn trợ lý, gọi công cụ... ngày càng dài ra. Nhưng nếu chúng ta bỏ qua giả định đó và biến cửa sổ ngữ cảnh thành một thứ có thể thay đổi (mutable) bởi chính mô hình thì sao?

Minh họa về Context Sculpting

Ý tưởng về Context Sculpting

Tôi gọi ý tưởng này là "Context Sculpting" (Điêu khắc ngữ cảnh). Về cơ bản, nó liên quan đến việc sử dụng một mô hình lớn hơn và thông minh hơn ("outer agent" - tác nhân bên ngoài) để quan sát và chỉnh sửa ngữ cảnh làm việc của một mô hình nhỏ hơn ("inner agent" - tác nhân nội bộ).

Mục tiêu là để outer agent giúp inner agent tránh đi vào ngõ cụt, loại bỏ các thông tin không còn liên quan, hoặc "nén" lại lịch sử hội thoại để ngăn chặn việc cạn kiệt ngữ cảnh. Điều này tương tự như chiến lược "advisor" mà Anthropic từng đề cập: sử dụng một mô hình mạnh để tư vấn cho một mô hình yếu hơn thực thi nhiệm vụ.

Kiến trúc thí nghiệm

Để kiểm tra tính khả thi, tôi đã xây dựng một harness tùy chỉnh với vòng lặp hai lớp:

1. Inner agent: Làm việc trên nhiệm vụ thực tế.
2. Outer agent: Sau mỗi lượt của inner agent, outer agent sẽ quan sát toàn bộ ngữ cảnh và đưa ra quyết định.

Outer agent có 4 lựa chọn hành động:

• pass_through: Không làm gì cả.
• rewrite_context: Thay thế ngữ cảnh hiện tại bằng phiên bản đã viết lại.
• rollback: Khôi phục một điểm kiểm tra trước đó.
• terminate: Dừng quá trình lại.

Thí nghiệm đầu tiên: Giám sát viên thận trọng

Trong đợt thử nghiệm đầu tiên, tôi sử dụng gpt-5.4-mini làm inner agent và gpt-5.4 làm outer agent. Kết quả kỹ thuật là thành công: tất cả 8 lượt chạy đều hoàn thành nhiệm vụ.

Tuy nhiên, về mặt hiệu suất, đây là một thất bại. Việc sử dụng full harness tốn kém 14 lần chi phí so với việc chỉ chạy inner agent một mình. Nguyên nhân? Outer agent quá thận trọng. Nó chủ yếu chọn hành động pass_through và chỉ terminate khi nhiệm vụ xong. Nó không bao giờ thực hiện rewrite_context hay rollback.

Outer agent đóng vai trò như một "giám sát viên lịch sự": quan sát tiến độ, đôi khi ghi chú chiến lược, nhưng không bao giờ can thiệp sâu vào ngữ cảnh.

Thí nghiệm thứ hai: Can thiệp chủ động

Không hài lòng với kết quả đó, tôi đã điều chỉnh lại "chính sách can thiệp" (intervention policy) trong prompt của outer agent. Lần này, tôi yêu cầu nó chủ động can thiệp để loại bỏ ngữ cảnh gây hiểu lầm, nén lịch sử, hoặc làm rõ hướng đi. Tôi cũng tạo ra các nhiệm vụ phức tạp hơn với nhiều thông tin nhiễu.

Kết quả thay đổi hoàn toàn. Outer agent đã thực hiện chỉnh sửa ngữ cảnh tích cực.

Trong một nhiệm vụ tổng hợp tài liệu (synthesis task), hệ thống đã hoạt động xuất sắc. Outer agent đã thực hiện "inject rewrite" để loại bỏ các thông tin nhiễu ngay từ đầu, sau đó dùng "compact rewrite" để thay thế hàng loạt lịch sử đọc tài liệu dài dòng bằng một bản tóm tắt ngắn gọn và chính xác. Inner agent sau đó dễ dàng viết ra câu trả lời cuối cùng. Đây là minh chứng rõ nét nhất cho khái niệm Context Sculpting: biến ngữ cảnh từ một nhật ký thụ động thành một bề mặt điều khiển chủ động.

Bài học về chi phí và kiểm soát

Tuy nhiên, không phải mọi thử nghiệm đều thành công rực rỡ. Trong nhiệm vụ sửa mã (coding repair), outer agent đã can thiệp quá mức ("oversteering disaster").

Nó liên tục viết lại ngữ cảnh, sửa chữa những gì không cần thiết, dẫn đến việc hệ thống tốn kém gấp 70 lần chi phí bình thường, chạy quá lâu và phải kích hoạt giới hạn lượt (guardrail) mới dừng lại, dù mã đã được sửa từ lâu.

Điều này dẫn đến hai bài học quan trọng:

1. Vấn đề không còn là "có thể can thiệp không?" mà là "chính sách can thiệp nào là hữu ích?".
2. "Prompt chính là chính sách" (The prompt is the policy). Chỉ một thay đổi nhỏ trong hướng dẫn cho outer agent đã chuyển hệ thống từ một "giám sát viên lịch sự" thành một "biên tập viên ngữ cảnh tích cực".

Kết luận

Context Sculpting là một lĩnh vực nghiên cứu thú vị, cho thấy tiềm năng trong việc tư duy lại về cách chúng ta truyền đầu vào cho các mô hình AI. Thay vì chỉ thêm vào (append-only), chúng ta có thể coi ngữ cảnh là một "không gian thiết kế" để điêu khắc và tối ưu hóa.

Tuy nhiên, hiện tại, cách tiếp cận này vẫn còn quá đắt đỏ và khó kiểm soát để áp dụng rộng rãi. Nhưng khi ngày càng nhiều ứng dụng chuyển từ mô hình "chat" đơn giản sang mô hình "agent" tự động hóa, những ý tưởng như Context Sculpting có thể sẽ là chìa khóa để giải quyết các vấn đề về giới hạn ngữ cảnh trong tương lai.

Nếu bạn muốn tìm hiểu sâu hơn về mã nguồn và báo cáo chi tiết của các thí nghiệm này, bạn có thể xem thêm tại kho GitHub của dự án.