Đi sâu vào tính bền vững tài chính của AI: Khi ngân sách Token không thể vô tận

Trong cột tháng 4, tôi đã từng đề cập đến việc sự thiếu minh bạch về chi phí thực sự của AI là một khiếm khuyết có thể gây chết người đối với việc thương mại hóa có lợi nhuận của công nghệ này trong dài hạn. thú vị là, trong hai tháng kể từ đó, chúng ta đã thấy những tiêu đề gây chấn động từ ngành công nghệ, dường như đang xác nhận lập luận của tôi ở một quy mô thảm khốc.

Cảm giác như gió trong ngành AI đang đổi hướng quá nhanh đến mức khó theo kịp. Chỉ cách đây vài tháng, các công ty công nghệ và thậm chí một số doanh nghiệp khác vẫn đang thúc ép nhân viên sử dụng AI nhiều hơn, yêu cầu các đội ngũ tích hợp nó vào quy trình làm việc, bất kể họ có nhu cầu thực sự hay mong muốn cụ thể nào đối với phần mềm đó hay không.

Hậu quả sau sự kiện "Tokenmaxxing"

Bất kỳ ai đã từng suy nghĩ về điều này đều có thể dự đoán được rằng, khi bạn gắn sinh kế vật chất của con người với việc sử dụng một thứ gì đó nhiều hơn, thì một bộ phận lớn sẽ thực sự sử dụng nó nhiều hơn. Điều này đã dẫn đến hiện tượng "tokenmaxxing" (tối đa hóa việc sử dụng token), các bảng xếp hạng sử dụng token bên trong các công ty như Amazon, và những con số chi phí AI hàng quý gây sốc tại nhiều nơi như Uber (và các công ty khác không muốn nêu tên). Thật khó hiểu tại sao các công ty này lại ngạc nhiên trước kết quả đó, nhưng dù sao đi nữa, điều này đã dẫn đến một sự thay đổi trong chỉ đạo đối với nhân viên cả vì chi phí này không thể duy trì trong bất kỳ khoảng thời gian nào, và cũng vì việc sử dụng AI không tạo ra kết quả kinh doanh ngoạn mục nào.

Có thể là ban lãnh đạo cấp cao từng tin rằng một sự bùng nổ năng suất nửa奇迹 sẽ đến từ việc sử dụng AI, nhưng nếu vậy, họ thực sự chưa làm bài tập về nhà. Nhiều người trong chúng ta trong lĩnh vực này cũng như những người trong giới truyền thông bao phủ ngành này đã đưa ra cảnh báo rằng AI là một công cụ, có thể được sử dụng hiệu quả hoặc không hiệu quả, và việc kỳ vọng phép nhiệm màu luôn dẫn đến sự thất vọng.

Tôi đã từng dùng ẩn dụ này trước đây, nhưng hãy cân nhắc nếu các công ty này hoạt động trong xây dựng và máy khoan điện vừa được phát minh, mang lại cải tiến năng suất vượt trội cho việc xây dựng. Phản ứng đúng đắn không phải là mua càng nhiều máy khoan càng tốt, đến mức làm khan hiếm các linh kiện máy khoan và đẩy giá lên, và chỉ đạo nhân viên sử dụng máy khoan cho mọi nhiệm vụ, tạo ra các bảng điểm hiển thị ai đang dùng máy khoan nhiều phút nhất trong ngày. Bạn sẽ có những tòa nhà bị đỗ lỗ chỗ như phô mai Thụy Sĩ, bạn sẽ tiêu tiền của cho máy khoan và điện để vận hành chúng, và những gì bạn thu được sẽ tương tự như những gì các công ty công nghệ nhận được từ AI ngày nay.

Tiền bạc không phải là vô tận

Dù sao đi nữa, thực tế đã bắt đầu đổ vỡ, và ít nhất đó là một cú hạ cánh nhanh chóng. Một số doanh nghiệp vẫn đang mua máy khoan, nhưng những ông lớn đã nhận thấy rằng tỷ lệ lợi ích - chi phí ở đây không hợp lý và đang điều chỉnh. Tuy nhiên, như tôi đã giải thích vào tháng 4, điều này sẽ không dễ dàng như họ nghĩ. Một số công ty đang bắt đầu nói với các nhóm của mình rằng việc sử dụng AI cần phải vì những mục đích khả quan, không phải tokenmaxxing, để cố gắng giảm chi phí trong khi vẫn thu được lợi ích của công nghệ ở nơi nó có thể tạo ra giá trị.

Điều họ chưa nắm bắt được là việc hoạch định ngân sách cho token và xác định rõ ràng khi nào AI sẽ giúp giải quyết một vấn đề là một nhiệm vụ khó định hình hơn nhiều so với việc sử dụng các loại công nghệ khác. Hãy quay lại bài viết tháng 4 của tôi và nhớ lại trải nghiệm sử dụng AI ở cấp độ cá nhân.

"Bạn có thể kiểm soát số lượng token bạn gửi, do đó kiểm soát chi phí của mình, nhưng sự kiểm soát đó là hạn chế. Bạn có thể giữ các câu lệnh (prompt) ngắn gọn, hạn chế các chỉ dẫn thừa thãi và giữ cho chi phí đầu vào ở mức thấp. Tuy nhiên, khi các tác nhân (agent tools) tham gia, và LLM đang xây dựng các câu lệnh để chuyển cho các LLM khác, bạn không còn chịu trách nhiệm về độ dài của các câu lệnh đó. Quan trọng hơn, bạn chỉ có sự kiểm soát tối thiểu đối với số lượng token mà bất kỳ mô hình nào phản hồi lại (ví dụ: bằng cách yêu cầu nó 'ngắn gọn'). Phần lớn, số lượng token đầu ra là một phần của điều chưa biết không xác định mà tôi đã mô tả trước đây. Và bạn sẽ lưu ý, giá của một token đầu cao gấp 5 lần giá của một token đầu vào."

Để mở rộng thêm điều này, bất cứ khi nào bạn sử dụng AI, nó đều có khả năng thất bại trong việc trả lời câu hỏi của bạn. Vì vậy, thành phần như máy đánh bạc (slot-machine) chồng lên vấn đề. Nhân viên kỹ thuật không biết A. bao nhiêu token bất kỳ câu lệnh nào sẽ trả về và B. bao nhiêu lần câu lệnh cần phải được đưa vào (có thể với các chỉnh sửa) để nhận được câu trả lời thành công cho một câu hỏi. Để tính toán chi phí, chúng ta cần cộng tổng số lượng token đầu vào và số lượng token đầu ra (A, chưa biết) cho độ dài của số lần thử cần thiết (B, cũng chưa biết). A và B thay đổi không xác định dựa trên kiến trúc mô hình, vấn đề đang xử lý, tính ngẫu nhiên trong mô hình và các yếu tố khác mà chúng ta thậm chí có thể chưa biết đằng sau hậu trường. Sau đó, chúng ta nhân với giá mỗi token cho bất kỳ mô hình hoặc các mô hình nào đang được sử dụng, điều này, như tôi đã giải thích vào tháng 4, cũng thay đổi.

Vì vậy, nếu bạn đang ở bộ phận tài chính của một công ty công nghệ và bạn cần xác định ngân sách bằng đô la cho các token AI trong năm tới, tôi chúc bạn may mắn tốt nhất. Ngay cả khi ước tính dựa trên việc sử dụng trong quá khứ, hoặc với các chi tiết rất tinh tế về mục tiêu năng suất của công ty, cơ hội hoạch định đúng số tiền có vẻ khá mong manh đối với tôi. Tuy nhiên, bạn phải thực hiện một số loại giới hạn, tình trạng này không thể là một tấm séc trắng, vì vậy bạn sẽ phải cắt giảm quyền truy cập của mọi người tại một số điểm.

Các hệ quả thực tế

Việc này thực sự sẽ hoạt động như thế nào? Có phải là "coding thủ công" vào nửa sau năm, sau khi dành nửa đầu năm sử dụng AI cường độ cao? Liệu tất cả email và tài liệu tiếp thị của chúng ta có được viết tay trong Quý 3 và Quý 4 không? Liệu chúng ta có tắt các công cụ chuyển giọng thành văn bản và phần mềm chuyển giọng thành văn bản sau khi đạt ngưỡng không? Đây là một câu hỏi thú vị đối với tôi, vì tôi đã nhân thân thấy việc viết mã với AI khác biệt như thế nào so với việc làm việc không có nó, và việc chuyển đổi qua lại giữa hai quy trình này sẽ cực kỳ gây gián đoạn.

Điều này cũng dấy lên câu hỏi về việc cắt giảm chi phí AI sẽ ảnh hưởng như thế nào đến các công ty cung cấp giải pháp dựa trên AI. Vào tháng 10 năm ngoái, tôi đã thảo luận về cách các nhà cung cấp dịch vụ đám mây khổng lồ (như Anthropic, OpenAI, Google, v.v.) đang thúc đẩy các công ty khởi nghiệp triển khai các tính năng dựa trên AI trong sản phẩm của họ, như một nỗ lực để kiếm lợi nhuận trả lại cho các nhà đầu tư đã đốt hàng tỷ USD vào ngành này. Khi chi phí cung cấp các tính năng AI tăng lên, và các công ty ngày càng chuyển sang mô hình trả theo mức sử dụng nhiều hơn, bánh đà này sẽ bắt đầu sụp đổ. Nếu các công ty bắt đầu sử dụng các công cụ dựa trên AI ít hơn vì ngân sách không thể chi trả cho các chi phí leo thang, dòng doanh thu quay trở lại các nhà cung cấp dịch vụ đám mây sẽ khô cạn. Anthropic và OpenAI đang lên kế hoạch IPO trong năm nay, cả hai đều có con đường lợi nhuận cực kỳ không chắc chắn và nợ hàng trăm tỷ USD phải trả lại cho các nhà đầu tư, vì vậy sự chậm lại trong việc sử dụng AI là điều cuối cùng họ cần.

Cũng đáng chú ý là Apple đã công bố bước tiến vào lĩnh vực AI tại WWDC tuần trước, và các nhà phê bình đang phản hồi khá tích cực cho đến nay. Siri mới sử dụng công nghệ từ Google Gemini sẽ có bảo mật quyền riêng tư đáng kể (tính toán trên thiết bị và đám mây riêng tư với lưu trữ dữ liệu tối thiểu) và cũng không sẽ tính thêm phí cho người dùng. Với sự sẵn có này, và nếu chất lượng đáp ứng kỳ vọng, việc người tiêu dùng thông thường sử dụng ChatGPT và Claude cũng có thể gặp rủi ro.

Kết luận

Hãy theo dõi không gian này, bởi vì trong khi các câu chuyện về "các công ty bị sốc trước hóa đơn AI" và "OpenAI và Anthropic nhắm đến các vụ IPO lớn nhất lịch sử" thường được báo cáo riêng biệt, thực chất chúng là cùng một câu chuyện từ các góc độ khác nhau. Ngay cả khi các công ty công nghệ cảm thấy AI đang mang lại lợi ích và tăng năng suất, họ đơn giản là không có ngân sách vô hạn để dành cho nó. Nếu họ không có ngân sách vô hạn (và người tiêu dùng chắc chắn thì không, khi giá hàng tiêu dùng đang căng thẳng ngân sách và tâm lý kinh tế thấp nhất trong gần một thế kỷ được theo dõi), chúng ta phải quay lại hỏi rằng hàng tỷ và hàng tỷ USD doanh thu mà OpenAI, Anthropic và những người khác kỳ vọng tạo ra sẽ đến từ đâu. Kết hợp điều này với sự phản đối của công chúng against các trung tâm dữ liệu và tình cảm tiêu cực về AI nói chung, các nhà cung cấp dịch vụ đám mây đang gặp một vấn đề thực sự trong tay.