25 nghìn tỷ token tiết lộ cách lập trình viên thực sự tiếp nhận AI Agent

Phân tích từ 40 nghìn tỷ token dữ liệu sử dụng thực tế cho thấy việc ứng dụng AI trong doanh nghiệp phụ thuộc vào xây dựng lòng tin, chứ không phải chạy theo các chỉ số benchmark của mô hình. Brendan O'Leary đã trình bày bốn nấc thang tiếp nhận AI và phân tích những điểm thất bại then chốt mà các nhà lãnh đạo kỹ thuật cần vượt qua để mở rộng quy trình agentic.

Trong một bài trình bày tại hội nghị công nghệ gần đây, Brendan O'Leary đã chia sẻ những phát hiện đáng chú ý rút ra từ kho dữ liệu khổng lồ lên tới 40 nghìn tỷ token — tương đương hàng chục nghìn tỷ lượt tương tác giữa lập trình viên và các mô hình ngôn ngữ lớn. Những con số này không chỉ phản ánh mức độ phổ biến của AI mà còn vẽ nên bức tranh chân thực về cách các đội ngũ kỹ thuật đang từng bước đưa AI Agent vào quy trình làm việc hàng ngày.

Lòng tin quan trọng hơn chỉ số benchmark

Điểm nhấn xuyên suốt bài trình bày là một quan điểm có phần trái ngược với xu hướng chung của ngành. Trong khi nhiều doanh nghiệp đang chạy đua để đạt điểm số cao trên các bảng xếp hạng mô hình, O'Leary cho rằng yếu tố quyết định thành công thực sự lại nằm ở lòng tin của người dùng cuối.

"Việc ứng dụng AI trong thế giới thực phụ thuộc vào việc xây dựng lòng tin, chứ không phải chạy theo các chỉ số benchmark của mô hình."

Một mô hình đạt điểm cao trên các bài kiểm tra lý thuyết chưa chắc đã tạo ra giá trị trong môi trường sản xuất phức tạp. Điều lập trình viên quan tâm là liệu AI Agent có thể đưa ra kết quả đáng tin cậy, nhất quán và có thể kiểm chứng trong các tình huống công việc cụ thể hay không.

Bốn nấc thang tiếp nhận AI

Từ dữ liệu thực tế, O'Leary đúc kết một mô hình bốn nấc thang tiếp nhận AI mà hầu hết các đội ngũ kỹ thuật đều trải qua:

• Nấc thang thứ nhất — Hỏi đáp đơn giản: Lập trình viên sử dụng AI như một công cụ tra cứu, đặt câu hỏi và nhận câu trả lời cho các vấn đề rời rạc.
• Nấc thang thứ hai — Hỗ trợ trong ngữ cảnh: AI bắt đầu được đưa vào môi trường làm việc cụ thể, chẳng hạn như gợi ý mã nguồn ngay trong trình soạn thảo.
• Nấc thang thứ ba — Tự động hóa tác vụ: AI Agent đảm nhận các chuỗi công việc có tính lặp lại và cấu trúc rõ ràng, giảm bớt gánh nặng thủ công.
• Nấc thang thứ tư — Cộng tác agentic: Nhiều AI Agent phối hợp với nhau và với con người để xử lý những quy trình phức tạp, đòi hỏi khả năng ra quyết định theo chuỗi.

Theo O'Leary, phần lớn các tổ chức hiện vẫn đang mắc kẹt ở nấc thang thứ hai hoặc thứ ba. Việc vượt qua nấc thang thứ tư đòi hỏi không chỉ năng lực mô hình mà còn là sự thay đổi trong cách tổ chức vận hành và quản trị rủi ro.

Ba điểm thất bại then chốt

Bài trình bày dành phần quan trọng để phân tích ba điểm thất bại thường gặp khi các đội ngũ cố gắng mở rộng quy trình agentic.

Xây dựng ngữ cảnh

Đây là điểm thất bại phổ biến nhất. AI Agent chỉ hoạt động hiệu quả khi được cung cấp ngữ cảnh đầy đủ và chính xác. Việc đưa quá ít thông tin khiến agent đưa ra kết quả sai lệch, trong khi nhồi nhét quá nhiều ngữ cảnh không liên quan lại làm giảm chất lượng đầu ra và tăng chi phí xử lý.

Các đội ngũ kỹ thuật cần xây dựng chiến lược chọn lọc ngữ cảnh có hệ thống, thay vì đơn thuần tăng kích thước cửa sổ ngữ cảnh của mô hình.

Định tuyến đa mô hình

Không có mô hình nào tối ưu cho mọi tác vụ. Việc định tuyến đa mô hình — tức là chọn mô hình phù hợp cho từng loại công việc dựa trên chi phí, độ trễ và độ chính xác — là yếu tố then chốt để mở rộng quy mô một cách bền vững.

Tuy nhiên, nhiều tổ chức lại xây dựng hệ thống phụ thuộc vào một nhà cung cấp duy nhất, dẫn tới rủi ro về chi phí leo thang và thiếu linh hoạt khi cần thay đổi.

Vòng phản hồi

Điểm thất bại thứ ba nằm ở việc thiếu vòng phản hồi hiệu quả. AI Agent cần được đánh giá liên tục dựa trên kết quả thực tế để cải thiện theo thời gian. Nếu không có cơ chế thu thập và xử lý phản hồi, chất lượng agent sẽ dậm chân tại chỗ hoặc suy giảm dần khi môi trường thay đổi.

Hàm ý cho doanh nghiệp Việt Nam

Với các đội ngũ kỹ thuật tại Việt Nam — đặc biệt là các công ty phần mềm, startup và trung tâm phát triển sản phẩm — những bài học từ dữ liệu 40 nghìn tỷ token này mang tính thực tiễn cao.

Thay vì chạy đua theo các mô hình mới nhất, doanh nghiệp nên tập trung vào việc xây dựng nền tảng ngữ cảnh nội bộ, thiết kế chiến lược định tuyến đa mô hình phù hợp với ngân sách, và thiết lập quy trình đánh giá liên tục. Đây chính là những yếu tố quyết định khả năng chuyển đổi từ các thử nghiệm AI rời rạc sang quy trình agentic có thể mở rộng thực sự.

Kết luận của O'Leary gói gọn trong một ý tưởng đơn giản: lòng tin là hạ tầng quan trọng nhất của mọi hệ thống AI, và nó chỉ được xây dựng qua từng tương tác thực tế, không phải qua những con số trên bảng xếp hạng.