Google giới thiệu kiến trúc Middleware cho các ứng dụng Genkit

Google vừa chính thức giới thiệu Middleware cho Genkit, khung ứng dụng mã nguồn mở (open-source framework) được thiết kế để xây dựng các ứng dụng dựa trên AI và các tác nhân (agentic applications). Bản cập nhật quan trọng này thêm vào một lớp chặn có thể lập trình bao quanh các cuộc gọi mô hình, việc thực thi công cụ và các vòng lặp tạo sinh, từ đó trao quyền kiểm soát lớn hơn cho các nhà phát triển về độ tin cậy, an toàn và khả năng điều phối bên trong các hệ thống AI sản phẩm.

Bản phát hành này nâng cao khả năng của Genkit bằng cách cho phép các nhà phát triển "tiêm" các hành vi tùy chỉnh vào quy trình làm việc (workflow). Middleware giờ đây có thể thêm các tính năng như thử lại (retries), chuyển đổi mô hình dự phòng (model fallbacks) và ghi nhật ký (logging) mà không cần thay đổi logic của ứng dụng. Hiện tại, Genkit hỗ trợ các ngôn ngữ lập trình TypeScript, Go và Dart, với sự hỗ trợ cho Python dự kiến sẽ sớm được ra mắt.

Theo Google, mọi lệnh gọi generate() trong Genkit đều hoạt động thông qua một vòng lặp công cụ, trong đó mô hình tạo ra đầu ra, thực thi các công cụ, xử lý kết quả và tiếp tục cho đến khi hoàn thành. Các hook (móc nối) của Middleware có thể chặn chu trình này ở ba cấp độ: tạo sinh, cuộc gọi mô hình và thực thi công cụ.

Cùng với đó, Google cũng phát hành một số thành phần Middleware được xây dựng sẵn. Các thành phần này bao gồm xử lý thử lại với cơ chế "exponential backoff" (tăng thời gian chờ theo cấp số nhân), tự động chuyển sang mô hình thay thế khi các API gặp lỗi, cổng phê duyệt cho các cuộc gọi công cụ nhạy cảm, kiểm soát truy cập hệ thống tệp và hệ thống "skills" (kỹ năng) có thể tiêm các hướng dẫn động từ các tệp cục bộ.

Google cho biết các thành phần Middleware cũng có thể được xếp chồng lên nhau (stacked), cho phép thử lại, bộ lọc, phê duyệt và ghi nhật ký hoạt động theo một thứ tự thực thi được xác định trước. Hệ thống này cũng được tích hợp vào Giao diện Nhà phát triển Genkit (Genkit Developer UI), nơi các nhà phát triển có thể kiểm tra hành vi của middleware, truy nguyên luồng thực thi và gỡ lỗi các tương tác thời gian chạy.

Bản phát hành này phản ánh một xu hướng rộng lớn hơn trong hệ sinh thái công cụ AI hướng tới các biện pháp bảo vệ vận hành và kiểm soát thời gian chạy cho các hệ thống tự chủ. Thay vì chỉ dựa vào các câu lệnh (prompts) hoặc tinh chỉnh mô hình, các khung ứng dụng ngày càng thêm nhiều lớp có thể lập trình để chi phối cách các mô hình hoạt động trong quá trình thực thi.

Thông báo này đã thúc đẩy các thảo luận về vị trí của Genkit trong hệ sinh thái công cụ AI rộng lớn hơn của Google. Các nhà phát triển trên nền tảng X đã tranh luận về sự khác biệt giữa Genkit và Bộ phát triển Tác nhân (Agent Development Kit - ADK) của Google.

Trả lời về vấn đề này, Michael Doyle, kỹ sư phần mềm tại Google, đã làm rõ sự phân biệt giữa hai khung ứng dụng này:

"Bạn có một ứng dụng (web, di động, v.v.) và muốn thêm các tính năng tác nhân vào đó? Hãy sử dụng Genkit! Bạn đang xây dựng các hệ thống đa tác nhân phức tạp, độc lập? Ví dụ: trên Nền tảng Tác nhân của GCP? Hãy sử dụng ADK."

Cuộc trao đổi này làm nổi bật cách Google định vị Genkit chủ yếu là một khung ứng dụng lớp ứng dụng để tích hợp các tính năng AI vào các sản phẩm hiện có, trong khi ADK nhắm đến các hệ thống tác nhân nặng về điều phối chạy trên cơ sở hạ tầng chuyên dụng.

Google cho biết các nhà phát triển có thể bắt đầu sử dụng hệ thống middleware ngay lập tức thông qua bản phát hành Genkit mới nhất và xuất bản các gói middleware tùy chỉnh để tái sử dụng trên các dự án khác nhau.