Lạm phát hạn ngạch AI: Cạm bẫy của Token và sự trở lại của thời kỳ phong kiến công nghệ

Những người yêu thích nghệ thuật thường tìm đến nơi các nghệ sĩ tụ tập để lắng nghe những cuộc trò chuyện riêng tư giữa họ. Họ mong đợi những thông điệp vàng ngọc, những khái niệm táo bạo hay tư duy tiên phong. Nhưng thực tế thì sao? Nếu may mắn, bạn chỉ nghe được những lời đồn đại. Nếu không, đó là những than phiền về chuyến đi. Và chủ đề chính thường xuyên nhất vẫn là tiền bạc.

Trong thế giới của các Mô hình Ngôn ngữ Lớn (LLM), câu chuyện cũng tương tự. Thay vì nói trực tiếp về tiền, mọi người nói về token. Trong các bản tin dành cho lập trình viên AI hàng ngày, chúng ta thường thấy các thông báo về một tính năng mới được "AI hóa", một "lỗi" được sửa trong hệ thống tính phí đăng ký, hoặc một thay đổi trong hành vi. Tất cả đều có một điểm chung: TIBS (Token Incremental Burn Syndrome - Hội chứng đốt token gia tăng). Chúng ta có thể đang ở giai đoạn đầu của TIBS, nhưng nếu tiếp tục ẩn dụ AI như một đại dịch, thì còn rất nhiều điều tồi tệ hơn đang chờ ở phía trước.

Token trở thành đơn vị đo lường việc sử dụng LLM đơn giản vì chúng dễ đếm - ngay cả khi điều này gây khó khăn cho những người phải quản lý chúng. Khi bạn đưa một câu lệnh (prompt) vào LLM, hệ thống sẽ nhận diện các lexeme (đơn vị nghĩa và biến đổi ngôn ngữ). Các lexeme này được chuyển đổi thành các biểu diễn, hay token, và đưa vào cỗ máy khổng lồ "đoán xem điều gì sẽ tiếp theo" của LLM. Kết quả là một chuỗi token đầu ra, được chuyển đổi thành từ ngữ, mã máy tính hoặc bất cứ thứ gì bạn cần. Đếm token đầu vào, đếm token đầu ra. Nó giống như một đoạn mã:

if ((ntokens_left -= (strlen(prompt) + strlen(slop)))

Về cơ bản, hầu như không có chỉ số đo lường nào khác. Bạn có thể đo tốc độ token mỗi giây cho một bài kiểm tra điểm chuẩn. Bạn có thể đo tỷ lệ token đầu ra trên token đầu vào, mặc dù không rõ lý do tại sao phải làm như vậy. Ít nhất với các mô hình dịch vụ có thể so sánh như điện toán đám mây, bạn biết mình đang nhận được gì khi mua bao nhiêu sức tính toán, bộ nhớ, lưu trữ và kết nối. Bạn vẫn phải cảnh giác với việc tự động hóa hoặc quản lý sai, và cú sốc hóa đơn vẫn xảy ra trên AWS, nhưng bạn có cơ hội liên kết kết quả với chi phí. Chúc bạn may mắn với các dịch vụ dựa trên LLM, chưa nói đến các tác nhân AI.

Cộng hưởng sự thiếu hụt các chỉ số đo lường giá trị với lợi nhuận đầu tư khổng lồ mà ngành AI cần đạt được để thực hiện những lời hứa hẹn, chúng ta có một công thức cho sự lạm phát TIBS ngày càng gia tăng.

Các nhà cung cấp có sự nghiện việc biến mọi thứ thành mô hình đăng ký, sau đó "luộc ếch" dần dần người đăng ký, đặc biệt là khi họ có thể nắm giữ vị thế độc quyền hiệu quả. Hãy tưởng tượng tình trạng bị khóa chặt (lock-in) khi một tổ chức đã làm mất đi kỹ năng viết mã của nhân viên và trở nên phụ thuộc hoàn toàn vào một chuỗi tạo mã AI cụ thể.

Di chuyển (migration) là từ ngữ khó nói nhất, ngay cả khi trường hợp để di chuyển được hỗ trợ bởi một danh sách dài các chỉ số. Bạn có thể nhìn vào chi phí cho mỗi trường hợp hoặc chi phí cho mỗi terabyte, và những gì bạn cần để giữ mô hình kinh doanh ở trạng thái tốt, và có lẽ bạn sẽ không hoàn toàn sai. Nhưng việc đó sẽ hoạt động như thế nào với CI/CD nhiều AI là một câu hỏi lớn, mà bạn có thể muốn để người khác trả lời trước.

Chu kỳ lịch sử và sự kết thúc của Định luật Moore

Phía nhà cung cấp và cơ sở hạ tầng của ngành công nghiệp luôn chứng kiến các chu kỳ của sự khóa chặt dẫn đến phong kiến hóa, dẫn đến cách mạng, và những người cách mạng trở thành chính những địa chủ thu tiền thuê. Muốn tóm tắt 70 năm lịch sử công nghệ doanh nghiệp trong 60 từ? Hãy chuẩn bị tinh thần.

Từ thuê mainframe đến máy tính nhỏ (minicomputer) tại chỗ, từ mini đến máy vi tính tự chủ trên bàn làm việc, ít nhất cho đến khi Ethernet bắt đầu xây dựng các máy ảo mini trở lại. Từ độc quyền đến mã nguồn mở; từ mã nguồn mở và ubiquitous, sức tính toán vô hạn hiệu quả xây dựng các siêu quy mô (hyperscalers) chạy các dịch vụ khép kín; kiến trúc siêu quy mô cung cấp năng lượng cho các mô hình AI với hạn ngạch cho mỗi người dùng đưa chúng ta trở lại mainframe ngoài cơ sở; dịch vụ khép kín và hạn ngạch người dùng một lần nữa.

Các chu kỳ này được thúc đẩy bởi Định luật Moore liên tục thay đổi kinh tế học của CNTT để ngăn chặn sự quán tính trong một ngành công nghiệp khao khát nó một cách tuyệt vọng.

Định luật Moore đã kết thúc - thực sự là nó đã kết thúc. Mật độ diện tích giờ đây đã trở thành mật độ thể tích, vì vậy thay vì trở nên rẻ hơn, nhỏ hơn, tiêu thụ ít điện năng hơn và dân chủ hóa hơn, công nghệ silicon đang phình to về giá cả, kích thước, sự tham lam điện năng và phong kiến hóa. AI là sinh vật duy nhất có thể thúc đẩy thị trường, và để duy trì điều đó, nó cần ăn vào bạn. TIBS chính là nơi nó đang ở. Hãy cày ruộng cho chủ của mình, những nông dân này.

Nếu AI thực sự dẫn đến việc làm mất kỹ năng của lực lượng lao động công nghệ và chiếm lại động cơ tạo ra CNTT, nó sẽ giống như thời đại mainframe xuất hiện vào cuối quá trình tiến hóa của bán dẫn, thay vì ở đầu. Điều duy nhất có thể nói về động lực tiến hóa sẽ thúc đẩy mọi thứ đi tiếp là nó vẫn chưa được phát minh, mặc dù đã tìm kiếm suốt năm mươi năm.

Ngành công nghiệp AI xây dựng theo gigawatt và tính phí theo token. Nó thiết lập chi phí và dự đoán một tương lai nơi sự khóa chặt sâu sắc cho phép nó đặt ra quy tắc mãi mãi. Phần còn lại của chúng ta nên nhớ lời của chiếc mainframe có tri giác đầu tiên với cổng nối tiếp, WOPR từ bộ phim WarGames: "Nước đi chiến thắng duy nhất là không chơi." Nó nên biết điều đó.