Hóa đơn lưu trữ ẩn của AI: Những gì tồn đọng lại sau mỗi lần suy luận

Khi được hỏi về chi phí AI, phần lớn lãnh đạo doanh nghiệp sẽ hình dung ra những dàn GPU khổng lồ, tiêu tốn hàng gigawatt điện và cả danh sách chờ mua chip. Nhưng bức tranh đó còn thiếu một mảnh ghép quan trọng: chi phí lưu trữ dữ liệu.

Câu hỏi ít ai đặt ra là: điều gì xảy ra với dữ liệu sau khi mô hình trả lời? Phần lớn dữ liệu hậu cảnh được sinh ra - từ hàng tỷ lượt gợi ý mỗi ngày, hình ảnh cho đến video - đều phải được lưu lại. Đáng chú ý, lưu trữ là một trong những khoản chi phí hạ tầng khó dự báo nhất và thường bị bỏ qua ngay từ khâu lập kế hoạch ban đầu.

Minh họa về vòng đời dữ liệu AI và chi phí lưu trữ

Khi suy luận mở rộng, dấu chân dữ liệu cũng phình theo

Trước đây, các cuộc thảo luận về hạ tầng AI thường xoay quanh quá trình huấn luyện (training) - giai đoạn ngốn nhiều sức tính toán. Nhưng huấn luyện là hữu hạn: một lượt chạy bắt đầu, đốt năng lực tính toán rồi kết thúc. Trong khi đó, suy luận (inference) diễn ra liên tục, mỗi lần mô hình phản hồi một câu lệnh.

Sự khác biệt này mang ý nghĩa lớn với bài toán hạ tầng: một lượt huấn luyện là dự án có thể lập ngân sách và khép lại, còn suy luận thì không bao giờ "nghỉ hưu". Mỗi yêu cầu suy luận đều để lại thứ gì đó phía sau.

Lấy ví dụ về video do AI tạo ra. Với tác vụ này, chi phí hậu cảnh có thể rất đáng kể. Qua đo đạc nội bộ, WD phát hiện một clip dài 8 giây (trả về cho người dùng dưới dạng tệp 720p nặng 3,97MB) lại để lại hơn 500MB dữ liệu liên quan ở phía máy chủ, bao gồm log, bộ nhớ đệm ngữ cảnh, bản kết xuất trung gian, bản sao lưu và hồ sơ an toàn. Đó là mức tăng gấp 130 lần so với dung lượng tệp mà người dùng nhìn thấy. Nhân rộng lên quy mô doanh nghiệp với video dài hơn, độ phân giải cao hơn, dấu chân hậu cảnh có thể chạm mức hàng trăm gigabyte cho mỗi clip.

Và dấu chân đó đang tăng rất nhanh. McKinsey dự báo nhu cầu suy luận AI sẽ tăng trưởng 35%/năm đến năm 2030, so với 22% của huấn luyện, chiếm hơn 40% tổng nhu cầu trung tâm dữ liệu vào cuối thập kỷ này.

Một báo cáo toàn cầu của IDC do WD tài trợ, khảo sát 763 nhà quản lý công nghệ và lãnh đạo doanh nghiệp, cho thấy gần 95% người được hỏi ghi nhận khối lượng dữ liệu tăng do AI tạo sinh trong 12 tháng qua, trong đó khoảng 61% báo cáo mức tăng từ 25% trở lên.

"Bạn có thể coi việc có thêm dung lượng lưu trữ là một cách tối ưu để giữ GPU luôn bận rộn. Thách thức lớn nhất là đảm bảo GPU không ngồi không chờ dữ liệu - vài giờ GPU nhàn rỗi sẽ trở nên cực kỳ tốn kém, rất nhanh." - một quản lý sản phẩm cấp cao của nhà cung cấp dịch vụ đám mây siêu quy mô, trích trong báo cáo.

Quy ra tiền: nếu chi phí lưu trữ của bạn tăng 25% mỗi năm trong khi ngân sách tính toán tăng theo chu kỳ dễ dự báo hơn, thì lưu trữ sẽ sớm vượt mặt chính hạng mục ngân sách được chú ý nhất.

Gắn lưu trữ với vòng đời dữ liệu AI

Nhu cầu tính toán lên xuống theo chu kỳ huấn luyện, ra mắt sản phẩm và nâng cấp phần cứng. Nhưng khối lượng dữ liệu được giữ lại không giảm theo khi nhu cầu tính toán hạ nhiệt. Log mô hình, đầu ra tổng hợp, kết quả suy luận... cứ thế tích tụ, và các tổ chức đang giữ chúng nhiều hơn, lâu hơn.

Điều này làm thay đổi vai trò của dữ liệu lưu trữ. Thông tin từng bị đẩy vào kho lạnh và hiếm khi được dùng lại giờ có thể trở thành đầu vào cho các tác vụ AI tương lai. Khi ngày càng nhiều dữ liệu được giữ lại, truy xuất và tái sử dụng, hệ thống lưu trữ không chỉ phải đáp ứng dung lượng tăng mà còn phải hỗ trợ truy cập ngày càng năng động. Khảo sát WD-IDC cho thấy 96% người được hỏi dự đoán sẽ cần truy xuất kho lạnh nhanh hơn để phục vụ suy luận hoặc RAG (truy xuất tăng cường thế hệ).

Các tác vụ AI cần cả hiệu năng lẫn dung lượng, với những công nghệ khác nhau phục vụ nhu cầu khác nhau xuyên suốt vòng đời dữ liệu. Với khối lượng dữ liệu khổng lồ phải giữ lại và truy cập lại, ổ cứng HDD mang lại nền tảng dung lượng cao, tiết kiệm chi phí, với lợi thế rõ rệt về chi phí trên mỗi terabyte.

Điều này có nghĩa gì với cách lập ngân sách AI?

Với một CFO hay CIO, điều này cho thấy "chi phí hạ tầng AI" có thể đang bị định nghĩa quá hẹp, chỉ tập trung vào tính toán. Một mô hình ngồi không chờ dữ liệu tải về tốn kém chẳng khác gì một mô hình ngồi không vì thiếu GPU. Nhưng nút thắt lưu trữ vẫn âm thầm cho tới khi thành vấn đề, biểu hiện qua chi phí vận hành và độ trễ truy xuất chứ không nằm ở dòng CapEx bên cạnh các dàn chip tăng tốc.

Hãy hình dung một nhà bán lẻ tạo video sản phẩm bằng AI cho danh mục hàng hóa, hay một công ty bảo hiểm đưa hồ sơ bồi thường qua quy trình RAG để thẩm định nhanh hơn. Trong cả hai trường hợp, chi phí tính toán là đại lượng đã biết, đã được lập ngân sách: mức giá trên mỗi lần tạo hoặc mỗi truy vấn mà bộ phận tài chính có thể dự báo. Chi phí lưu trữ thì khác: nó cộng dồn theo từng video được tạo và từng hồ sơ được xử lý, bởi không phần dữ liệu hậu cảnh nào biến mất khi tác vụ kết thúc.

Một đội ngũ coi chi phí AI là "tính toán cộng thêm một khoản lưu trữ làm tròn" có thể sẽ nhận ra, sau 12 đến 18 tháng, rằng khoản "làm tròn" ấy đã trở thành một phần đáng kể trong tổng chi phí chương trình - đúng vào lúc ban lãnh đạo đang cân nhắc mở rộng.

Xây dựng năng lực mở rộng bền vững về kinh tế

Đối mặt thách thức này bắt đầu từ kiến trúc. Chiến lược lưu trữ thường được thiết kế cho tầng nóng hiệu năng cao và đắt đỏ (dành cho dữ liệu truy cập tức thời, liên tục), trong khi phần lớn dữ liệu AI xét theo khối lượng lại tích tụ ở các tầng ấm, mát và lạnh phía sau.

Điều doanh nghiệp cần là dung lượng mở rộng bền vững về kinh tế: hạ tầng được thiết kế cho toàn bộ vòng đời dữ liệu AI, cân bằng giữa hiệu năng với dung lượng, điện năng, độ tin cậy và tổng chi phí sở hữu khi dữ liệu tồn tại lâu dài, cộng dồn và ngày càng được tái sử dụng. Điều đó có nghĩa là coi những kho lưu trữ từng nằm im lìm như tài sản chủ động cho RAG và suy luận, đồng thời đặt chính sách lưu giữ dựa trên giá trị chiến lược ngày càng tăng của dữ liệu thay vì chi phí lưu trữ ban đầu.

Với các doanh nghiệp Việt Nam đang đẩy mạnh ứng dụng AI tạo sinh trong chăm sóc khách hàng, sản xuất hay thương mại điện tử, bài học này càng đáng lưu tâm: chi phí lưu trữ rất dễ bị bỏ sót trong giai đoạn thử nghiệm nhưng sẽ bung nổ khi mở rộng quy mô.

Hạ tầng như vậy đòi hỏi phải có các tầng lưu trữ, nơi mức tiêu thụ điện, độ tin cậy, mật độ và hiệu quả vận hành của từng tầng cùng quyết định liệu hệ thống có còn bền vững về kinh tế khi dung lượng tăng lên.

Ba câu hỏi nên đặt ra cho ngân sách hạ tầng AI của tổ chức bạn:

• Chính sách lưu giữ dữ liệu cho nội dung do AI tạo ra của chúng ta là gì, và ai là người đặt ra nó?
• Việc mua sắm lưu trữ của chúng ta đang gắn với nhu cầu hiệu năng thời huấn luyện, hay với vòng đời thực tế của dữ liệu mà chúng ta tạo ra?
• Nếu mức sử dụng AI của chúng ta tăng gấp đôi vào năm sau, chi phí lưu trữ có tăng gấp đôi theo, hay tệ hơn?

Phần lớn tổ chức không thể tự tin trả lời cả ba câu hỏi. Đó chính là khoảng trống đáng được lấp đầy trước chu kỳ ngân sách tiếp theo, chứ không phải sau đó.