Nvidia và Cerebras quảng bá hiệu năng mà khách hàng (gần như) không bao giờ thấy được

Tại hội nghị Hot Chips diễn ra ở California tuần này, Nvidia tự hào công bố hệ thống LPX dựa trên công nghệ Groq-3 đã bước vào sản xuất, đạt tốc độ xử lý 3.400 token mỗi giây trên mô hình Gemma 4 31B — nhanh gấp 4 lần đối thủ Cerebras. Chỉ một ngày sau, Cerebras đáp trả bằng thông số gần tương đương từ thế hệ tăng tốc CS-4 sắp ra mắt. Nhưng vấn đề là: những con số này chỉ đẹp trên giấy và hiếm khi xuất hiện trong môi trường sản xuất thực tế.

Cả hai công ty đều không nói dối. Nếu muốn tái tạo kết quả này, bạn hoàn toàn có thể làm được — đội ngũ Artificial Analysis, đơn vị thực hiện cả hai bộ benchmark, biết rõ họ đang làm gì. Nhưng ngoài vai trò là một chiêu trò tiếp thị, không một nhà vận hành dịch vụ inference-as-a-service nào có đầu óc tỉnh táo lại chạy hệ thống theo cách này. Trừ khi bạn đã tìm ra cách kiếm lời khi chỉ phục vụ một yêu cầu duy nhất tại một thời điểm.

Trên thực tế, những con số này giống như tốc độ tối đa của một chiếc xe đua. Nó tạo nên những dòng quảng cáo tuyệt vời, nhưng bạn sẽ không lái xe ở tốc độ đó thường xuyên, và nếu có, bạn cũng không đi được xa trước khi bình xăng cạn kiệt.

Biểu đồ hiệu năng của Nvidia với batch size 1

Đây không phải là những con số quan trọng

Không bất ngờ khi kinh tế của dịch vụ inference "cao cấp" hay "siêu độ trễ thấp" phức tạp hơn nhiều, nhưng cuối cùng vẫn quy về việc bạn mở rộng hiệu năng ở rìa bên phải của đường cong Pareto một cách hiệu quả đến đâu. Biểu đồ dưới đây đã từng xuất hiện trước đó, mô tả đặc tính hiệu năng của các cấu hình khác nhau của Nvidia B300 trên mặt trận Pareto. Như bạn thấy, GPU rất tốt cho các ứng dụng thông lượng cao, tương tác thấp, nhưng nhanh chóng cạn kiệt năng lực khi tốc độ sinh token trên mỗi người dùng tăng cao. Các chip như Groq-3 LPU của Nvidia hay bộ tăng tốc kích thước bằng chiếc đĩa ăn tối của Cerebras sở hữu băng thông khổng lồ nhờ kiến trúc SRAM dày đặc, giúp đẩy đường cong Pareto ra xa hơn về phía bên phải.

Đường cong hiệu quả InferenceX của SemiAnalysis

Đường cong hiệu quả InferenceX có thể chia thành ba vùng chính: bulk tokens bên trái, low-latency tokens đắt đỏ bên phải, và vùng "Goldilocks" lý tưởng nằm giữa.

Thật không may, chính điều khiến chúng nhanh lại cũng là điều hạn chế khả năng mở rộng hiệu năng đó cho số lượng lớn người dùng. Để hiểu vì sao, chúng ta cần làm một chút phép toán. Hãy lấy Gemma 4 31B làm ví dụ, một phần vì chúng ta có số liệu gần đúng từ cả Nvidia và Cerebras, phần khác vì đây là mô hình nhỏ, đại diện cho kịch bản tốt nhất có thể.

Mỗi bộ tăng tốc Groq-3 được trang bị 500 MB bộ nhớ trên chip. Nvidia đạt tốc độ 3.400 token/giây trên mỗi người dùng ở độ chính xác 8-bit. Vậy để chạy mô hình 31 tỷ tham số, chúng ta cần khoảng 31 GB bộ nhớ, tức 64 LPU — nhưng đó mới chỉ là để lưu trọng số mô hình. Vì hệ thống chạy độc lập, chúng ta cũng phải tính đến bộ đệm KV sinh ra trong giai đoạn prefill khi xử lý prompt. Theo máy tính KV của LMcache, ở độ chính xác 8-bit, một chuỗi đầu vào 100.000 token sẽ ngốn thêm 8 GB bộ nhớ — và đây là tính cho mỗi chuỗi. Cứ thêm một chuỗi 100.000 token nữa là thêm 16 LPU.

Theo ước tính của chúng tôi, một rack LPX đơn lẻ với 256 LPU chỉ có thể xử lý tối đa batch size 12 với chiều dài đầu vào 100.000 token mỗi chuỗi trước khi hết bộ nhớ. Con số với Cerebras CS-4 cũng không khác là bao: mỗi rack chứa ba bộ tăng tốc WSE-3T khổng lồ với 44 GB SRAM mỗi cái, tổng cộng 132 GB dung lượng, nhưng vẫn giới hạn ở batch size tối đa 12.

Cần nói rõ: đây không phải giới hạn về sức mạnh tính toán. Hệ thống chỉ đơn giản là không đủ bộ nhớ để hỗ trợ batch lớn hơn nếu không thêm rack hoặc cắt giảm kích thước prompt. Tất nhiên, chúng tôi đang đơn giản hóa một chút khi giả định batch inference với chuỗi đầu vào cố định, chứ không phải người dùng truy cập bất đồng bộ với các chuỗi khác nhau. Với một chatbot có cửa sổ ngữ cảnh giới hạn, một rack CS-4 hoặc LPX hoàn toàn có thể phục vụ nhiều người dùng hơn con số 12 kể trên.

Dịch chuyển đường cong

Ngay cả khi cả hai hệ thống đều đạt 3.400 token/giây, nền tảng tốt hơn sẽ là nền tảng mang lại khả năng mở rộng tốt hơn với chi phí và điện năng thấp hơn. Các thông số benchmark mà Nvidia và Cerebras khoe tuần này thực chất đo tốc độ tối đa hệ thống có thể chạy, chứ không phải tốc độ khách hàng sẽ thực sự sử dụng.

Trên thực tế, khách hàng có thể sẽ không tự vận hành các hệ thống này. Những kiến trúc SRAM dày đặc hoạt động hiệu quả hơn nhiều khi đóng vai trò là bộ tăng tốc giải mã (decode accelerator) — đó chính là lý do Nvidia chi 20 tỷ USD để cấp phép công nghệ Groq và thu hút đội ngũ kỹ sư của họ. Đó cũng là lý do Cerebras vừa hợp tác với AWS và AMD.

Chúng tôi đã từng thảo luận về các kiến trúc tính toán không đồng nhất này, nhưng tóm lại, chúng kết hợp GPU hoặc các XPU nặng về tính toán khác với các chip như LPU của Groq, bộ tăng tốc waferscale của Cerebras, hoặc dòng SN-series của SambaNova. Sự kết hợp này gần như loại bỏ hoặc tối thiểu hóa chi phí KV cache và tính toán từng làm khó khăn việc mở rộng quy mô của chip Cerebras và Groq. Khi đóng vai trò decode accelerator, chúng chỉ cần giữ trọng số mô hình, còn gần như mọi thứ khác đều có thể xử lý tốt trên GPU một cách độc lập.

Một lần nữa, hiệu năng AI đỉnh cao tạo nên những tiêu đề hấp dẫn, nhưng vùng cực phải của Pareto hiếm khi là nơi bạn muốn đặt mình. Như thường lệ, điểm ngọt thường xuất hiện ở một khúc cong hay "đầu gối" đẩy về phía góc trên bên phải của biểu đồ. Ở đó, bạn sẽ đánh đổi một chút tính tương tác mỗi người dùng để có độ đồng thời, thông lượng và kinh tế tốt hơn.

Một benchmark tốt hơn cho bài toán này

Chúng ta vẫn chưa thấy benchmark nào kết hợp chip của Cerebras hoặc Groq với GPU của Nvidia, AMD hoặc AWS, nhưng đó mới là những thước đo thực sự quan trọng. InferenceX của SemiAnalysis đưa ra một cách thể hiện tốt hơn về việc thêm một rack CS-4 hoặc LPX có thực sự hữu ích hay không, khi chúng ta có thể thấy chính xác từng hệ thống hoạt động trên toàn bộ đường cong Pareto — từ bulk tokens thông lượng cao, tương tác thấp ở bên trái, đến ultra-low-latency tokens khối lượng thấp ở bên phải.

Kết quả InferenceX của OpenAI so với Blackwell GB200

Thực tế, trong khi Nvidia và Cerebras chọn phương pháp benchmark đơn giản hơn của Artificial Analysis, OpenAI lại chọn InferenceX để minh họa cách các bộ tăng tốc "Jalapeño" mới của họ hoạt động trên cả hai chế độ bulk và premium inference. Kết quả này đưa ra bức tranh rõ ràng hơn nhiều về cách hoạt động của chip so với hệ thống Blackwell GB200 cũ của Nvidia, so với một điểm dữ liệu batch size 1 duy nhất mà Nvidia và Cerebras đưa ra.

Vậy tại sao Nvidia và Cerebras không làm điều tương tự? Nếu phải đoán, có lẽ vì rack LPX và CS-4 của họ vẫn phù hợp nhất với inference độ trễ thấp, và sẽ không gây ấn tượng tốt ở phần giữa và bên trái của đường cong Pareto. Chúng tôi hoàn toàn kỳ vọng cả hai công ty sẽ chia sẻ kết quả InferenceX cho các hệ thống kết hợp GPU + LPX/CS-4 khi họ sẵn sàng, nhưng không một nhà tiếp thị nào nhận thưởng vì làm cho sản phẩm của mình trông tệ hơn thực tế, vì vậy chúng ta chỉ còn cách chờ đợi.

Dù thế nào đi nữa, lần tới khi thấy ai đó khoe khoang về một bộ tăng tốc inference nhanh đến khó tin, hãy tự hỏi con số đó nằm ở vị trí nào trên đường cong Pareto. ®