Startup chip XCENA huy động 135 triệu USD để giải quyết nút thắt bộ nhớ trong AI

Mỗi khi bạn đặt câu hỏi cho ChatGPT, một cuộc đua chuyển tiếp dữ liệu phức tạp sẽ được kích hoạt ngầm. Thông tin phải rời khỏi bộ nhớ, đi qua CPU để xử lý sơ bộ, chuyển đến GPU để thực hiện các phép tính nặng nề, rồi quay trở lại — và toàn bộ hành trình này lặp đi lặp lại cho từng từ mà AI tạo ra.

Nút thắt mang tính cấu trúc này buộc dữ liệu phải đi qua những con chip đắt đỏ và tiêu tốn nhiều điện năng nhất trong ngành công nghiệp cho mọi yêu cầu. Sự kém hiệu quả này chính là vấn đề mà XCENA, một startup có văn phòng tại Hàn Quốc và Mỹ, đang tìm cách giải quyết. Startup bốn tuổi này đã thiết kế một con chip đặt khả năng tính toán sát bên cạnh DRAM — bộ nhớ ngắn hạn tốc độ cao lưu trữ dữ liệu mà bộ vi xử lý đang sử dụng — cho phép xử lý các thao tác dữ liệu thường ngay gần bộ nhớ mà không cần những chuyến đi vòng tốn kém giữa CPU, GPU và bộ nhớ.

Nếu hoạt động hiệu quả ở quy mô lớn, giải pháp này có thể tác động đáng kể đến chi phí cơ sở hạ tầng AI, giải thích cho sự hào hứng của các nhà đầu tư. XCENA vừa huy động 135 triệu USD trong vòng Series B với định giá 570 triệu USD, nâng tổng vốn gọi được lên 185 triệu USD.

CEO Jin Kim đồng sáng lập XCENA vào năm 2022 cùng CTO Dohun Kim và CPO Harry Juhyun Kim, đều là những cựu nhân viên của Samsung và SK Hynix — những gã khổng lồ bộ nhớ cung cấp chip cho GPU của Nvidia. "CPU và GPU đã thông minh hơn theo từng thập kỷ. Bộ nhớ thì không. XCENA muốn thay đổi điều đó," ông Kim chia sẻ trong một cuộc phỏng vấn với TechCrunch. "Sự tăng giá gần đây của bộ nhớ và các cổ phiếu liên quan cho thấy sự chuyển dịch rộng lớn hơn trong cơ sở hạ tầng AI hướng tới các kiến trúc lấy bộ nhớ làm trung tâm," ông bổ sung.

XCENA đang đặt cược doanh nghiệp của mình vào luận điểm rằng "suy luận (inference) không chỉ là vấn đề tính toán; ngày càng nhiều, nó là vấn đề mở rộng bộ nhớ."

Con chip MX1 của XCENA kết nối với CPU thông qua CXL (Compute Express Link) — về cơ bản là một làn đường riêng biệt tốc độ cao giữa bộ vi xử lý và bộ nhớ — xử lý dữ liệu trước khi nó cần rời khỏi mô-đun bộ nhớ. Nó mang tính toán đến dữ liệu, chứ không phải ngược lại. Công ty tuyên bố những thứ trước đây cần 10 máy chủ để vận hành giờ đây có thể chạy chỉ trên một máy.

"Trong khi GPU xuất sắc trong phép nhân ma trận — toán học nặng nề đằng sau việc huấn luyện mô hình AI — phần lớn công tác điều phối dữ liệu xung quanh, bao gồm tiền xử lý, quản lý bộ nhớ đệm KV [hệ thống lưu trữ ngữ cảnh hội thoại trước để mô hình không cần xử lý lại], vẫn chạy trên CPU. Con chip của chúng tôi xử lý các tác vụ đó ngay trong mô-đun bộ nhớ," ông Kim nói.

Nhu cầu về giải pháp bộ nhớ đã tăng vọt kể từ nửa cuối năm ngoái, và công ty tin rằng thời điểm đang thuận lợi cho họ.

Các cuộc đàm phán với một số nhà cung cấp bộ nhớ toàn cầu đang ở giai đoạn đầu, dù ông Kim từ chối nêu tên. Khách hàng lý tưởng của công ty là các "hyperscaler" (nhà cung cấp đám mây quy mô lớn) đang chi hàng chục tỷ USD mỗi năm cho cơ sở hạ tầng AI, nơi một sự cải thiện nhỏ về hiệu quả bộ nhớ có thể mang lại hàng trăm triệu USD tiết kiệm chi phí.

MX1 hiện vẫn là mẫu thử nghiệm. Các con chip sản xuất hàng loạt dự kiến sẽ ra lò từ dây chuyền foundry của Samsung vào cuối năm 2026, với công ty kỳ vọng bắt đầu tạo doanh thu vào năm 2027.

Trong khi các nhà sản xuất NPU (Bộ xử lý thần kinh) đang cạnh tranh thách thức Nvidia trong các khối lượng công việc huấn luyện, XCENA đang nhắm vào tầng lớp tiêu tốn nhiều bộ nhớ nằm dưới cùng tất cả các hoạt động đó.

Đối thủ gần nhất của XCENA bao gồm Astera Labs và Marvell, cả hai đều là công ty niêm yết trên Nasdaq đang làm việc về kết nối bộ nhớ thế hệ tiếp theo. Ông Kim cho rằng điểm khác biệt nằm ở sở hữu trí tuệ. "Chúng tôi có hàng nghìn nhân," ông nói. Dựa trên thông số kỹ thuật công khai, cách tiếp cận của Marvell dựa vào một số ít nhân đa năng.

Các nhân này được xây dựng dựa trên RISC-V — bản thiết kế chip mã nguồn mở — và được tối ưu hóa cụ thể cho xử lý dữ liệu, với mỗi nhân được giữ nhỏ gọn và hiệu quả. Ngoài chính các nhân, XCENA tự thiết kế hệ thống phân cấp bộ nhớ nội bộ, bus kết nối và bộ điều khiển DRAM — mức độ tích hợp dọc mà hầu hết các công ty chip, bao gồm cả các đối thủ lớn hơn, thường phải thuê ngoài.

Các công ty VC tại Seoul là Altinum và IMM Investment đồng dẫn đầu vòng Series B này, cùng với Corstone Asia và các nhà đầu tư hiện hữu SBI Investment và Mirae Asset Capital. Công ty, hiện có hơn 90 nhân sự tại các văn phòng ở Pangyo (hub công nghệ bên ngoài Seoul) và Sunnyvale, cũng đang trong các cuộc thảo luận với các nhà đầu tư quốc tế về thêm vốn tài trợ.