Beam của Reflection: Mô hình mở 501 tỷ tham số gây sốt, nhưng chi phí thật nằm ở đâu?

Reflection AI vừa phát hành Beam, mô hình mở đầu tiên của họ với 501 tỷ tham số. Con số được nhắc đến nhiều nhất là 23 tỷ tham số kích hoạt mỗi token, nghe có vẻ như một món hời. Nhưng khi nhìn vào yêu cầu phần cứng thực tế, câu chuyện lại hoàn toàn khác.

Bài toán nhân chia đơn giản mà ít người chịu làm

Hãy thử một phép tính ai cũng làm trong chưa đầy một phút. Beam có 501 tỷ tham số, và ở định dạng 16 bit thì mỗi tham số chiếm hai byte. Kết quả: trọng số nặng khoảng 933 GiB — gần như trùng khớp với kích thước bản BF16 được công bố trên Hugging Face.

Con số 23 tỷ tham số kích hoạt là thật và hữu ích, nhưng nó không làm giảm đi một byte nào trong khối 933 GiB đó.

Vì sao 501 tỷ lại thành 23 tỷ?

Beam là mô hình mixture-of-experts thưa (sparse MoE). Mô hình dày đặc (dense) đưa mọi token qua toàn bộ tham số, còn mô hình thưa chia phần lớn mạng lưới thành các mạng chuyên gia nhỏ hơn và dùng một bộ định tuyến (router) chọn vài chuyên gia cho mỗi token.

Chỉ những chuyên gia được chọn mới thực sự xử lý token đó — và đó chính là nguồn gốc của con số 23 tỷ.

Từ cần gạch chân ở đây là token. Tham số kích hoạt cho biết một token tốn bao nhiêu phép tính, tức là nói về tốc độ và giá mỗi token. Nhưng nó không nói gì về việc phải giữ bao nhiêu trọng số trong bộ nhớ.

Bộ định tuyến có thể gửi token tiếp theo đến một nhóm chuyên gia hoàn toàn khác, nên không chuyên gia nào được phép vắng mặt. Có thể hình dung như một bệnh viện với hàng trăm bác sĩ chuyên khoa: mỗi bệnh nhân chỉ gặp vài người nên mỗi lượt khám rất rẻ, nhưng tòa nhà và quỹ lương vẫn phải trả cho tất cả.

Điểm tinh tế của thiết kế này: chi phí không biến mất mà chuyển từ tính toán sang bộ nhớ — và bộ nhớ là hóa đơn bạn phải trả trước cả khi token đầu tiên được sinh ra.

Tuyên bố hiệu quả thực chất nói lên điều gì?

Reflection cho biết Beam đạt kết quả tương đương GLM-5.2 trên các benchmark suy luận nâng cao nhưng chỉ dùng lượng tính toán suy luận ít hơn 3–4 lần. Đây là tuyên bố của chính Reflection, và TechCrunch lưu ý rằng cả hiệu năng lẫn hiệu quả vẫn chưa được xác minh độc lập.

Reflection cũng thừa nhận Kimi K3 vượt trội hơn về năng lực thô, nên điểm bán chính là hiệu quả. Vậy nên cần nhìn kỹ tuyên bố này đo cái gì:

• Ước lượng tính toán được xây dựng từ số tham số kích hoạt và số token mô hình sinh ra khi suy luận. Mô hình nào suy nghĩ với ít token hơn thì tốn ít hơn, kể cả cùng kích cỡ.
• Nhưng ước lượng tính toán không nói gì về độ trễ đo được, thông lượng, điện năng tiêu thụ hay giá nhà cung cấp thu của bạn — vì chúng phụ thuộc vào phần cứng và phần mềm mà phép ước lượng bỏ qua.
• Một chi tiết có thể làm thay đổi hóa đơn: API của Beam mặc định ở mức suy luận "medium", trong khi OpenRouter lại đặt "max" làm mặc định. Cùng một prompt có thể tốn những khoản tiền rất khác nhau tùy cửa bạn đi vào.

Kiểm tra thực tế khi triển khai

Reflection phát hành Beam ở ba định dạng số:

Định dạng	Kích thước công bố	Phép nhân đơn giản
BF16	933,81 GiB	933,2 GiB
FP8	468,72 GiB	466,6 GiB
NVFP4	273 GiB	233,3 GiB

BF16 và FP8 lệch chưa tới nửa phần trăm so với phép nhân thuần — đúng như kỳ vọng. Nhưng NVFP4 nặng hơn khoảng 40 GiB so với mức 4 bit mỗi tham số gợi ý. Nhiều khả năng một phần là dữ liệu tỷ lệ (scaling data) và một số lớp giữ ở độ chính xác cao hơn, nhưng đó chỉ là phỏng đoán.

Bài học: lượng tử hóa làm nhỏ trọng số nhưng không miễn phí, và chất lượng lẫn tốc độ không đảm bảo đồng đều giữa các định dạng.

Theo các hướng dẫn triển khai của NVIDIA Dynamo và AWS, FP8 chạy trên 8 GPU H200, còn NVFP4 chạy trên 4 GPU B300. Ngay cả bản nhẹ nhất cũng là một server đa GPU.

Ngoài trọng số, còn có bộ nhớ đệm KV lớn dần theo từng token ngữ cảnh — điều đặc biệt quan trọng với mô hình quảng cáo cửa sổ ngữ cảnh lên tới một triệu token.

Khoảng cách giữa "mở" và "dễ dùng"

Giấy phép Apache 2.0 giải quyết câu hỏi pháp lý nhưng không nói gì về phần cứng. Beam có hỗ trợ ngay từ ngày đầu trên Transformers, vLLM và SGLang, nhưng framework và kernel bạn chọn sẽ quyết định thông lượng thực tế — điều mà không con số tham số nào cho bạn biết.

Ai nên quan tâm?

Mixture-of-experts giúp một mô hình lớn rẻ hơn về mặt tính toán, và Beam chứng minh điều đó — nhưng nó không làm mô hình nhỏ lại.

• Với đa số người dùng: API được host sẵn là bước thử hợp lý đầu tiên.
• Với đội ngũ bắt buộc giữ dữ liệu nội bộ: câu trả lời là server cấp trung tâm dữ liệu, không phải workstation.
• Về đánh giá độc lập: vẫn còn khan hiếm, nên hãy coi các con số benchmark là tuyên bố của Reflection cho đến khi có bên khác tái lập.

Lần tới khi một mô hình mới ra mắt với tổng tham số khổng lồ và số tham số kích hoạt nhỏ, hãy làm phép nhân trước. Con số quan trọng nhất là con số cho bạn biết mình phải lưu trữ bao nhiêu.