Podcast: Context Engineering - Bước chuyển mình từ Prompt Engineering trong kỷ nguyên AI

Trong tập podcast mới nhất của InfoQ, Thomas Betts có cuộc trò chuyện cùng Adi Polak, Giám đốc tại Confluent và tác giả của các cuốn sách về Machine Learning với Spark. Chủ đề trọng tâm là sự cần thiết phải chuyển dịch từ "Prompt Engineering" (Kỹ thuật Prompt) sang "Context Engineering" (Kỹ thuật Ngữ cảnh) khi tương tác với các Mô hình Ngôn ngữ Lớn (LLMs) và thiết kế các hệ thống dạng tác nhân (agentic systems).

Trong khi Prompt Engineering thường hoạt động theo cách phi trạng thái (stateless), Context Engineering cho phép các hệ thống AI duy trì trạng thái (stateful), mở đường cho các quy trình tự động hóa phức tạp hơn.

Các hệ thống Agentic

Sự khác biệt giữa Prompt Engineering và Context Engineering

Adi Polak bắt đầu bằng cách xác định lại hai khái niệm cơ bản này. Prompt Engineering về cơ bản là cách chúng ta hướng dẫn mô hình—dùng ngôn ngữ tự nhiên hay code—để đạt được kết quả mong muốn. Tuy nhiên, các kỹ thuật prompting truyền thống đang nhanh chóng trở nên lỗi thời.

• Gán vai trò (Role assignment): Trước đây, việc yêu cầu AI "đóng vai một kỹ sư phần mềm backend chuyên về Apache Spark" rất quan trọng. Nhưng giờ đây, với các môi trường chuyên biệt, kỹ thuật này đang dần mai một.
• Few-shot examples: Cung cấp các ví dụ tốt/xấu để mô hình học theo khuôn mẫu.
• Chain of thoughts (Chuỗi suy nghĩ): Mô hình tự phản biện và đưa ra lý lẽ trong quá trình xử lý.

Hiện nay, các mô hình hiện đại đã có khả năng tự thực hiện chuỗi suy nghĩ bên trong mà không cần hướng dẫn từng bước. Adi nhấn mạnh rằng Prompt Engineering thực sự phát huy tác dụng khi kết hợp với kiến thức lĩnh vực (domain knowledge). Kỹ sư cần biết rõ họ muốn đạt được điều gì và các bước cụ thể để thực hiện nó, thay vì chỉ hy vọng vào sự ngẫu nhiên của mô hình.

Từ Prompt đến các Kỹ năng (Skills) có thể tái sử dụng

Một điểm thay đổi lớn trong tư duy thiết kế là việc chuyển từ việc tạo prompt tạm thời sang xây dựng các công cụ và kỹ năng có thể lưu trữ. Thay vì hỏi AI cùng một câu hỏi mỗi lần và tốn token để suy nghĩ lại quy trình, các kỹ sư đang hướng tới việc lưu lại các quy trình thành công thành các "skills".

Điều này giúp các nhóm kỹ thuật mở rộng quy mô sử dụng AI mà không cần phải mày mò lại từ đầu trong mỗi phiên làm việc. Đây là bước chuyển dịch từ trải nghiệm của nhà phát triển (Developer Experience) sang trải nghiệm của tác nhân (Agent Experience), nơi mà các tác nhân AI cũng cần được cung cấp tài liệu, công cụ và ngữ cảnh phù hợp để hoạt động hiệu quả.

Agentic Systems và tự động hóa

Quy trình có con người vs. Quy trình dạng tác nhân

Adi Polak chia sẻ một ví dụ thực tế về sức mạnh của các workflow dạng tác nhân. Khi gặp lỗi với một commit cũ từ 6 năm trước trên GitHub bị hệ thống quét IP (intellectual property) phát hiện, bà đã cố gắng sửa thủ công. Quy trình này đòi hỏi nhiều thao tác Git phức tạp (rebase, amend) và rất dễ gây nhầm lẫn.

Sau 4 giờ làm việc gián đoạn vì các cuộc họp và tin nhắn Slack, bà đã thất bại. Tuy nhiên, khi sử dụng Claude Code—một công cụ có khả năng agentic—và cung cấp đủ ngữ cảnh về vấn đề cũng như quyền truy cập công cụ, AI đã thực hiện "phẫu thuật" trên mã nguồn, xóa dòng code cần thiết và hoàn thành chỉ trong 5 phút.

Câu chuyện minh họa rõ nét lợi ích của việc duy trì trạng thái (statefulness) và khả năng xử lý đa bước của các tác nhân AI, giúp con người tập trung vào các tác phẩm mang tính sáng tạo hơn.

Quản lý Ngữ cảnh: Bộ nhớ ngắn hạn và dài hạn

Khi xây dựng các hệ thống phức tạp, việc quản lý ngữ cảnh (context) là tối quan trọng để đảm bảo độ chính xác và tiết kiệm chi phí tính toán. Adi đề xuất phân chia rõ ràng hai loại bộ nhớ:

• Bộ nhớ ngắn hạn (Short-term memory): Chứa thông tin cần thiết ngay lập tức cho phiên làm việc hoặc tác vụ con cụ thể. Sau khi hoàn thành, thông tin này có thể bị lãng quên.
• Bộ nhớ dài hạn (Long-term memory): Là tri thức bền vững về hệ thống, bao gồm các kỹ năng (skills) đã lưu, tài liệu kiến trúc, hoặc dữ liệu từ các hệ thống RAG (Retrieval-Augmented Generation).

"Bạn không muốn nạp tất cả mọi thứ vào ngữ cảnh (context) của phiên làm việc, nhưng bạn muốn biết những gì tồn tại ở đó để có thể tìm kiếm và sử dụng khi cần thiết," Adi chia sẻ.

Việc nạp quá nhiều thông tin vào ngữ cảnh không chỉ làm tăng chi phí mà còn khiến mô hình dễ mắc lỗi. Việc tách biệt tri thức dài hạn và chỉ nạp ngữ cảnh ngắn hạn cần thiết là chìa khóa để xây dựng các hệ thống AI hiệu quả.

RAG và Kiến trúc hướng sự kiện (Event-Driven)

RAG từng là từ khóa "hot" một năm trước, nhưng giờ đây nó chỉ là một công cụ trong hộp công cụ của các kỹ sư xây dựng agent. Trong các hệ thống dạng tác nhân, RAG được sử dụng để làm giàu dữ liệu khi cần thiết, ví dụ như giúp truy vấn các bảng dữ liệu mới trong doanh nghiệp mà kỹ sư không biết tên chính xác.

Hơn nữa, các công nghệ xử lý luồng dữ liệu như Apache Kafka và Apache Flink đang đóng vai trò trung tâm trong kiến trúc AI hiện đại. Các công ty như OpenAI sử dụng kiến trúc hướng sự kiện (event-driven architecture) để xử lý các tương tác thời gian thực với mô hình.

• Kafka: Chuyển tiếp các sự kiện trong thời gian thực với độ trễ cực thấp.
• Flink: Thực hiện làm giàu dữ liệu, tóm tắt (summarization) và phân tích thời gian thực để cung cấp ngữ cảnh quay lại cho mô hình.

Adi cũng giới thiệu Flink Streaming Agents API—một dự án mã nguồn mở giúp các đội ngũ xây dựng các workflow agent dựa trên kiến trúc hướng sự kiện, tự động hóa các quy trình như phân loại ticket, đề xuất giải pháp code và tạo pull request tự động.

Nhìn về tương lai: Sáng tạo là kỹ năng cốt lõi

Kết thúc podcast, Adi Polak đưa ra lời khuyên cho các kỹ sư và kiến trúc sư về tương lai của phần mềm. Trong một ngành công nghiệp thay đổi chóng mặt mỗi 6 tháng, kỹ năng quan trọng nhất không phải là thuộc lòng công cụ, mà là sự sáng tạo (creativity).

"Với các công cụ chúng ta có ngày nay, nếu bạn có thể mơ mộng ra nó, bạn có thể thực hiện nó nhanh hơn nhiều so với vài năm trước," Adi khẳng định.

Bà khuyến khích mọi người không ngại thử nghiệm những ý tưởng mới, vì sự chần chừ có nghĩa là bỏ lỡ cơ hội tạo ra những hệ thống đột phá trong kỷ nguyên Context Engineering.