Cloudflare giới thiệu Project Think: Hạ tầng runtime bền vững dành cho AI Agents

Cloudflare đã công bố bản xem trước của Project Think, một bộ các nguyên thủy (primitives) mới dành cho Agents SDK. Mục tiêu của dự án này là chuyển đổi các tác nhân AI từ mô hình điều phối không trạng thái (stateless orchestration) sang một hạ tầng dựa trên tác nhân bền vững (actor-based infrastructure). Bản phát hành này giới thiệu một runtime kiểu kernel, nơi các tác nhân có thể tồn tại qua các lần khởi động lại nền tảng, quản lý cây bộ nhớ quan hệ và thực thi mã tự tạo trong các sandbox bị hạn chế.

Các nguyên thủy kernel của Project Think được mô phỏng theo sự thành công của các khung tác nhân cá nhân mới nổi như OpenClaw.

Giới hạn của các khung doanh nghiệp hiện tại

Hiện tại, các khung doanh nghiệp phổ biến như Bộ phát triển Tác nhân của Google (ADK) và AWS Bedrock AgentCore chủ yếu sử dụng mô hình yêu cầu-phản hồi (request-response). Mặc dù các dịch vụ này quản lý việc khôi phục trạng thái phiên làm việc (session state), nhưng về bản chất chúng vẫn hoạt động dựa trên các ảnh chụp nhanh (snapshots).

Trong các kiến trúc này, bộ nhớ của tác nhân thường là một bản đồ KV (key-value) hoặc khối JSON bên ngoài, được lấy từ kho lưu trữ từ xa vào đầu mỗi chu kỳ hoạt động. Hạn chế của mô hình này bộc lộ rõ trong các tác vụ chạy dài. Nếu tài nguyên tính toán serverless bị thu hồi (preempted) trong chu kỳ lý luận phức tạp, ngữ cảnh thực thi sẽ biến mất, làm mất tiến độ thực tế của logic. Khung có thể khôi phục ảnh chụp nhanh đã lưu lần cuối, nhưng tiến độ cụ thể được thực hiện trong cửa sổ thực thi đó sẽ bị mất, buộc hệ thống phải khởi động lại toàn bộ thao tác từ điểm lưu thành công gần nhất.

Đổi mới với công nghệ Fibers

Đổi mới trung tâm của Project Think là sự ra đời của Fibers. Khác với lời gọi hàm serverless tiêu chuẩn, một "fiber" là một lời gọi bền vững có thể lưu điểm kiểm tra (checkpoint) cho con trỏ lệnh của chính nó.

Bằng cách tận dụng nguyên thủy runFiber và ctx.stash(), các nhà phát triển có thể bảo toàn tiến trình của tác nhân trực tiếp vào cơ sở dữ liệu SQLite nội bộ và cùng vị trí (co-located).

Cơ chế này cho phép các tác nhân xử lý các khối lượng công việc không xác định và tồn tại lâu dài vượt quá thời gian chờ (timeout) của serverless truyền thống. Nếu xảy ra khởi động lại nền tảng trong khi tác nhân đang ở giữa vòng lặp, runtime sẽ khôi phục fiber và kích hoạt hook onFiberRecovered, cho phép tác nhân tiếp tục thực thi từ điểm kiểm tra cuối cùng.

Dưới đây là ví dụ về việc lưu điểm kiểm tra một vòng lặp nghiên cứu nhiều bước bằng TypeScript:

// Ví dụ: Lưu điểm kiểm tra một vòng lặp nghiên cứu nhiều bước
export class ResearchAgent extends Agent {
  async startResearch(topic: string) {
    void this.runFiber("research", async (ctx) => {
      const findings = [];
      for (let i = 0; i < 100; i++) {
        // Lưu trạng thái sau mỗi lần lặp
        ctx.stash({ progress: i, findings });
        // ... logic xử lý phức tạp
      }
    });
  }
}

Với Project Think, Cloudflare đang giải quyết một trong những thách thức lớn nhất trong việc triển khai AI sản xuất: khả năng phục hồi và duy trì trạng thái trong môi trường đám mây biến động.