HPE dùng lưu trữ để giải bài toán bộ nhớ đắt đỏ của AI

HPE đang giao thêm một nhiệm vụ cho dòng lưu trữ Alletra Storage MP X10000: lưu giữ trạng thái suy luận (inference state) mà lẽ ra sẽ bị đẩy ra khỏi bộ nhớ GPU đắt đỏ và phải tính toán lại sau đó. Trong thử nghiệm do Kamiwaza xác thực với GPU NVIDIA H200, nền tảng AI Kamiwaza và HPE Alletra MP X10000, giải pháp đạt tốc độ tạo token đầu tiên nhanh hơn tới 20 lần và thông lượng suy luận hiệu dụng cao hơn 17 lần so với khi không chuyển bộ nhớ đệm (cache offload).

GPU không hề trở nên thông minh hơn. Đơn giản là chúng có ít việc lặp lại phải làm hơn.

Vấn đề lặp lại của AI tác tử

Các quy trình tác tử (agentic workflow) xử lý lặp đi lặp lại tài liệu, chỉ dẫn hệ thống và lịch sử hội thoại. Một tác tử truy xuất thông tin, một tác tử khác đánh giá, tác tử thứ ba kiểm tra kết quả, và các bước tiếp theo lại xem lại những tư liệu mà hệ thống đã xử lý rồi.

Một số lần lặp lại là cần thiết. Nhưng tính toán lại toàn bộ thì không.

Bộ nhớ đệm KV (KV cache) lưu giữ trạng thái chú ý trung gian, cho phép các yêu cầu tương thích tái sử dụng phép tính trước đó. Giữ được bộ nhớ đệm này có thể giảm khối lượng công việc trước khi mô hình bắt đầu đưa ra câu trả lời tiếp theo.

Thế nhưng bộ nhớ GPU không phải là vô hạn, và giá của nó cũng chẳng hề rẻ. Ngữ cảnh dài và các phiên đồng thời cùng tranh nhau vùng nhớ đó. Khi bộ nhớ đệm có thể tái sử dụng bị đẩy ra và sau đó lại cần đến, engine suy luận có thể phải dựng lại nó. Nhiều việc GPU hơn, chờ đợi lâu hơn, mà chẳng thêm chút hiểu biết nào.

HPE Alletra MP X10000 cung cấp một tầng lưu trữ dùng chung cho bộ nhớ đệm được chuyển ra, trong khi RDMA cho S3 tăng tốc đường truyền dữ liệu. Ý tưởng rất đơn giản: lấy lại ngữ cảnh có thể tái sử dụng thay vì bắt GPU tính lại.

Tính một lần. Tái sử dụng nhiều lần. Một nguyên tắc tưởng như tầm thường, cho đến khi bạn nhìn vào hóa đơn hạ tầng.

Nhanh hơn 20 lần, nhưng phải đọc kỹ điều kiện

Thử nghiệm do Kamiwaza xác thực sử dụng mô hình NVIDIA Nemotron 70B với hơn 30 tác tử đồng thời trong điều kiện suy luận đa tác tử, ngữ cảnh lớn. Đây chính là kiểu tải thực tế mà ngữ cảnh lặp lại và áp lực bộ nhớ khiến việc tái sử dụng bộ nhớ đệm trở nên có giá trị.

Tuy nhiên, những con số nổi bật này phụ thuộc vào từng loại tải. Độ dài ngữ cảnh, mức đồng thời, tỷ lệ trúng bộ nhớ đệm và chi phí truyền tải đều quyết định lợi ích thực tế. Nhanh hơn 20 lần là một kết quả thử nghiệm, không phải một đặc quyền áp dụng cho mọi trường hợp.

Người mua nên xem xét kỹ phép so sánh chứ không chỉ con số nhân: cùng một khối lượng công việc, có và không có chuyển bộ nhớ đệm KV, với mức đồng thời đủ lớn để phản ánh điều kiện sản xuất thực tế.

Dữ liệu đầu vào vẫn là yếu tố quyết định chi phí

Tái sử dụng bộ nhớ đệm giải quyết vấn đề tính toán lặp. Nó không thể cứu một hệ thống truy xuất (retrieval) vốn ném cho mô hình nửa kho tài liệu của công ty chỉ để trả lời một câu hỏi.

HPE kết hợp X10000 với Data Fabric để quản trị truy cập dữ liệu phân tán. Nút dữ liệu thông minh của X10000 tạo siêu dữ liệu, phân loại và nhúng (embeddings) ngay tại thời điểm nạp vào, giúp các ứng dụng truy xuất ngữ cảnh liên quan.

Lợi ích kinh tế rất rõ ràng. Truy xuất chính xác hơn nghĩa là ít tài liệu không liên quan trong prompt hơn và ít lần thử lại hơn. Kho tài liệu doanh nghiệp hiếm khi thiếu tài liệu — phân biệt chính sách hiện hành với sáu phiên bản đã hết hiệu lực và một tệp trình chiếu tên "FINAL_final_v7" mới là bài toán thú vị hơn.

Quản trị dữ liệu cũng quan trọng khi các tác tử truy xuất và hành động dựa trên thông tin. Ngữ cảnh liên quan vẫn phải là ngữ cảnh được cấp phép. Truy cập nhanh hơn vào thứ mà tác tử lẽ ra không bao giờ được thấy thì khó gọi là tiến bộ.

Cuộc đua chuyển bộ nhớ đệm ngày càng nóng

Chuyển bộ nhớ đệm đang trở thành một thị trường đông đúc. Thế mạnh của HPE nằm ở việc kết hợp tính năng này với chuẩn bị và quản trị dữ liệu, chứ không phải thắng thêm một ô đánh dấu tính năng.

Với các tổ chức muốn khai thác AI hiệu quả hơn, bài kiểm tra thực tế là liệu chuẩn bị dữ liệu, quản trị và tái sử dụng bộ nhớ đệm có vận hành mượt mà như một hệ thống thống nhất hay không. Doanh nghiệp Việt Nam đang đẩy mạnh triển khai AI nội bộ nên đây là câu hỏi đáng quan tâm ngay từ giai đoạn khảo sát hạ tầng.

Người mua nên yêu cầu các chỉ số cụ thể: tỷ lệ trúng bộ nhớ đệm, thời gian tạo token đầu tiên và thông lượng duy trì trên chính khối lượng công việc của mình. Đồng thời cần đánh giá chất lượng truy xuất và liệu hệ thống có hoàn thành đúng nhiệm vụ đề ra hay không. Một câu trả lời sai nhanh hơn vẫn là câu trả lời sai, dù biểu đồ điểm chuẩn có đẹp đến đâu.

Chi phí trên mỗi terabyte vẫn đáng quan tâm. Và chi phí bắt GPU đọc lại cùng một bản tóm tắt lần thứ bảy cũng vậy.