AMD mua lại startup Mext: Sử dụng AI để giải quyết tình trạng thiếu hụt RAM

Trong bối cảnh tình trạng thiếu hụt bộ nhớ vẫn chưa có dấu hiệu hạ nhiệt, AMD tin rằng trí tuệ nhân tạo (AI) - nguyên nhân chính gây ra sự khan hiếm này - có thể trở thành một phần của giải pháp. Tuần này, "Nhà Zen" đã chính thức mua lại startup Mext chuyên về bộ nhớ dự đoán với mức giá không được tiết lộ, mở đường cho một kỷ nguyên mà ở đó các thuật toán sẽ quyết định dữ liệu nào nên được đưa vào RAM và dữ liệu nào nên lưu trữ trên bộ nhớ flash giá rẻ hơn.

Mext hoạt động như thế nào?

Được thành lập vào năm 2023, nền tảng bộ nhớ chủ động (proactive memory) của Mext sử dụng các thuật toán học máy (machine learning) và heuristic đã học để chủ động chuyển dữ liệu bộ nhớ "lạnh" (ít được truy cập) sang bộ nhớ flash. Dựa trên mô hình truy cập dữ liệu, hệ thống sẽ khôi phục dữ liệu này trở lại RAM trước khi nó thực sự cần thiết.

Mặc dù các mảng flash hiện đại đã tiệm cận bộ nhớ chính về tổng băng thông, nhưng việc trao đổi dữ liệu (swap) sang đĩa vẫn gây ra độ trễ đáng kể. Tuy nhiên, Mext khẳng định công nghệ của họ có thể mở rộng bộ nhớ hiệu quả của hệ thống từ 2 đến 4 lần bằng cách sử dụng flash, vốn có giá rẻ hơn rất nhiều so với DRAM tính theo mỗi gigabyte.

Bộ nhớ flash này được hiển thị với hệ điều hành giống như bộ nhớ thông thường chỉ bằng cách chạy daemon Mextd.

Sự khác biệt của công nghệ Mext

Phân tầng bộ nhớ (memory tiering) không phải là khái niệm mới và đã có nhiều lần tái sinh qua các năm, với một số giải pháp dựa trên phần mềm và những giải pháp khác sử dụng công nghệ bộ nhớ đặc biệt như Intel Optane persistent memory (3D XPoint) do Micron đồng phát triển.

Điểm nổi bật của Mext nằm ở việc sử dụng học máy để di chuyển dữ liệu từ bộ nhớ "nóng" sang bộ lưu trữ "lạnh", hoạt động gần giống như một bộ dự đoán nhánh (branch predictor) - một lĩnh vực mà AMD có rất nhiều kinh nghiệm.

Mext không chỉ sử dụng một mô hình duy nhất để quyết định thời điểm di chuyển dữ liệu của bạn. Thay vào đó, họ sử dụng kết hợp các heuristic, bộ nhớ ngắn hạn dài hạn (LSTM) và các kiến trúc transformer hiện đại, tùy thuộc vào sự kết hợp nào mang lại kết quả tốt nhất.

"Cách tiếp cận này có tiềm năng giảm chi phí hạ tầng, cải thiện việc sử dụng tài nguyên và giúp khách hàng mở rộng quy mô khối lượng công việc chung và AI hiệu quả hơn," Dan McNamara, Phó chủ tịch cấp cao phụ trách mảng tính toán và AI doanh nghiệp của AMD, cho biết trong một bài đăng trên blog tuần này.

Ứng dụng tiềm năng trong AI

Ngoài các ứng dụng doanh nghiệp, công nghệ này còn có thể có những tác động đến việc phục vụ AI (AI serving). Các mô hình Mixture of Experts (MoE) hiện đại, đúng như tên gọi, bao gồm nhiều mô hình con.

Đối với mỗi token được dự đoán, một lựa chọn khác nhau của các chuyên gia có thể được sử dụng. Trong thực tế, một mô hình ngôn ngữ lớn (LLM) có thể sử dụng một số chuyên gia thường xuyên hơn và những chuyên gia khác hiếm khi được dùng đến.

Chúng ta sẽ không ngạc nhiên nếu thấy AMD sử dụng các thuật toán dự đoán của Mext để chuyển các chuyên gia ít được sử dụng từ HBM sang bộ nhớ hệ thống chậm hơn, cho phép các doanh nghiệp tận dụng các mô hình lớn hơn và mạnh mẽ hơn với ít tài nguyên hơn.

Tất nhiên, hiện tại điều này vẫn chỉ là suy đoán, nhưng chúng tôi đã liên hệ với AMD để xin bình luận và sẽ thông báo cho bạn nếu có phản hồi.