40% tác nhân AI đối mặt với nguy cơ bị giáng cấp hoặc loại bỏ

40% tác nhân AI đối mặt với nguy cơ bị giáng cấp hoặc loại bỏ

Gartner dự báo những khó khăn trong việc quản trị sẽ cản trở sự triển khai của công nghệ được kỳ vọng nhất năm nay

Theo Gartner, 40% tổ chức được dự báo sẽ phải giáng cấp hoặc khai tử (decommission) các tác nhân AI (AI agents) khi họ vấp phải những rào cản trong việc quản lý công nghệ đang được "thổi phồng"过度 này. Công ty nghiên cứu cho rằng việc tạo ra một hệ thống quản trị thống nhất cho tất cả các tác nhân AI mà không xem xét mức độ tự chủ hay phạm vi của chúng có thể dẫn đến thất bại trong tiếp cận tự động hóa doanh nghiệp.

Tác nhân AI thực hiện các cuộc gọi đến các mô hình ngôn ngữ lớn (LLM) để hiểu các yêu cầu hoặc hướng dẫn của người dùng bằng ngôn ngữ tự nhiên, sau đó tương tác và cập nhật dữ liệu ứng dụng. Trong năm qua, công nghệ này đã được các gã khổng lồ ứng dụng như SAP, Oracle, Workday và Salesforce quảng bá mạnh mẽ.

Ví dụ, SAP gần đây đã ra mắt khái niệm "Doanh nghiệp Tự chủ" (Autonomous Enterprise) làm hướng đi cho các ứng dụng kinh doanh trong tương lai. CEO Christian Klein đã cam kết rằng điều này có thể "neo giữ các tác nhân AI vào các quy trình, dữ liệu và quản trị kinh doanh để chúng có thể mang lại kết quả chính xác, tuân thủ và an toàn, mở ra các nguồn doanh thu mới và tiết kiệm chi phí ý nghĩa."

Tuy nhiên, Gartner cảnh báo rằng một phần lớn các tổ chức khó có thể thiết lập đúng mô hình quản trị. Công ty này nhận định rằng việc triển khai tác nhân AI dễ dàng gặp trục trặc hơn khi các tổ chức không phân biệt được giữa khả năng hành động của một tác nhân và phạm vi truy cập được cấp cho nó.

Shiva Varma, Giám đốc phân tích cao cấp tại Gartner, cho biết: "Các tổ chức đang coi quản trị tác nhân AI là một vấn đề nhị nguyên, hoặc là khóa chặt hoàn toàn hoặc là tin tưởng tuyệt đối, và đó là nguyên nhân gốc rễ của thất bại. Các tác nhân hoạt động ở các mức độ tự chủ khác nhau và trải qua các ranh giới tin cậy khác nhau. Khi cùng một kiểm soát được áp dụng một cách bừa bãi, các tổ chức sẽ gặp hai chế độ thất bại phổ biến: hạn chế quá mức các tác nhân đơn giản — làm chậm tiến độ và thúc đẩy việc phát triển trong bóng tối (shadow IT), hoặc hạn chế quá ít các tác nhân tự chủ cao hơn — làm tăng rủi ro vận hành, bảo mật và tuân thủ."

Ông Varma nhấn mạnh rằng các tác nhân AI có thể hoạt động với quy mô và tốc độ có thể vượt qua sự giám sát của con người. "Vì trách nhiệm giải trình về kết quả vẫn thuộc về tổ chức, mức độ này đòi hỏi quản trị nghiêm ngặt nhất, bao gồm giám sát liên tục, các hàng rào bảo vệ được thực thi nghiêm ngặt, cơ chế hoàn tác nhanh, các công tắc ngắt mạch (circuit breakers) giúp dừng hoạt động của tác nhân khi vi phạm ngưỡng và quyền sở hữu rõ ràng cho hành vi của tác nhân."

The Register trước đây đã chỉ ra cách các nhà cung cấp ít khi chịu trách nhiệm pháp lý cho hành động của tác nhân AI. Balaji Abbabatulla, phó chủ tịch và nhà phân tích trưởng của Gartner về Oracle, cho biết có rất nhiều ngôn ngữ pháp lý để bảo vệ các nhà cung cấp về mặt công nghệ. Thay vì chịu trách nhiệm pháp lý, họ nói về việc giám sát, khả năng quan sát và kiểm toán.

Georgina Kon, đối tác tại Linklaters chuyên về luật kỹ thuật số, dữ liệu và thương mại, nhận định: "Nhiều luật lệ hiện nay thực sự không phù hợp lắm, bởi vì chúng luôn giả định rằng con người hoặc công ty đang làm điều gì đó, và điều đó không còn đúng. Nhưng bạn cũng không thể có một thế giới nơi mọi người tạo ra các tác nhân mà không chịu trách nhiệm về chúng. Vấn đề cốt lõi là thị trường có thể chịu đựng được điều gì về mặt thương mại."

Gartner khuyến nghị rằng các tổ chức lên kế hoạch triển khai tác nhân AI nên áp dụng cách tiếp cận quản trị tỷ lệ thuận, phân loại tác nhân AI theo các mức độ tự chủ riêng biệt, với mỗi mức đại diện cho một ranh giới tin cậy khác nhau và các yêu cầu quản trị tương ứng.