Ricursive ra mắt Ripple-65B Preview, SOTA mã nguồn mở Mỹ về agentic coding

Ripple-65B Preview: mô hình mở 65 tỷ tham số đạt đỉnh agentic coding của Mỹ

Ricursive Intelligence, một lab AI full-stack tập trung xây dựng các hệ thống tự cải thiện bằng cách đồng tối ưu phần cứng, phần mềm và mô hình, vừa công bố Ripple-65B Preview — phiên bản đa dụng của mô hình độc quyền đang vận hành nền tảng thiết kế chip AI của công ty. Đây là một bước tiến đáng chú ý bởi mô hình chỉ 65 tỷ tham số nhưng đạt trạng thái tốt nhất (SOTA) trong nhóm mô hình open-weight của Mỹ trên bài kiểm tra agentic coding.

Cụ thể, Ripple-65B Preview đạt 80,52 điểm trên TerminalBench 2.1, vượt qua nhiều mô hình lớn hơn rất nhiều: Reflection Beam 501B (80,1), Meta Muse Spark Open 816B (76,4), Thinking Machines Inkling 975B (63,8) và NVIDIA Nemotron 3 Ultra 550B (56,4).

Kiến trúc dense thay vì Mixture-of-Experts

Mô hình được tiền huấn luyện (pretraining) trên 12 nghìn tỷ token, hỗ trợ ngữ cảnh lên tới 1 triệu token. Khác với phần lớn các lab hiện nay, Ricursive chọn kiến trúc Transformer dense hiện đại hóa thay vì Mixture-of-Experts (MoE) — cơ chế chỉ kích hoạt một phần tham số cho mỗi token.

Lựa chọn này nhằm giảm độ phức tạp của hạ tầng huấn luyện và phục vụ (serving) trên phần cứng NVIDIA. Kết quả: công ty duy trì được MFU (Model FLOPs Utilization) ổn định 40% xuyên suốt quá trình tiền huấn luyện và hậu huấn luyện, dù chỉ dùng sharding đơn giản, không có custom kernel và không lượng tử hóa (quantization).

Mô hình dùng tỷ lệ "mỏng và sâu" (thin-and-deep) với d_model hẹp (5120) và tổng cộng 80 lớp. Để tăng hiệu năng suy luận, nhóm nghiên cứu tăng số attention head, đồng thời nâng tỷ lệ lớp SWA (sliding window attention) so với global attention và giảm kích thước cửa sổ SWA để bù chi phí. Ngoài ra còn có FFN activation clipping, gated attention, global NoPE và value residuals.

Chi phí 32 triệu USD nhờ tối ưu hiệu quả tính toán

Điểm gây chú ý nhất là bài toán chi phí. Theo Ricursive, chi phí nghiên cứu và phát triển toàn bộ chỉ 32 triệu USD, tính từ con số không — bao gồm phát triển ladder tiền huấn luyện, trộn dữ liệu, đánh giá, gỡ lỗi, sinh dữ liệu tổng hợp, phát triển công thức hậu huấn luyện và cả lần chạy cuối cùng.

Con số này bằng khoảng một phần mười chi phí của mô hình open-weight SOTA trước đó về agentic coding, theo ước tính của công ty.

Để so sánh, năm 2023 CEO OpenAI Sam Altman từng nói chi phí huấn luyện GPT-4 vượt 100 triệu USD. Năm sau đó, Dario Amodei cho rằng các mô hình frontier có thể tốn tới 1 tỷ USD để huấn luyện, và dự báo con số này sẽ lên 10-100 tỷ USD vào giai đoạn 2026-2027 chỉ riêng cho tiền huấn luyện.

Thay vì đổ tiền vào một cuộc đua học tăng cường (RL) theo kiểu brute-force, Ricursive lặp đi lặp lại cẩn thận các công thức SFT (supervised fine-tuning) và RL với trọng tâm là hiệu quả tính toán. Công ty không mua bất kỳ dữ liệu hậu huấn luyện nào mà tự xây pipeline sinh dữ liệu tổng hợp, lọc chất lượng và các chỉ số đo độ phủ.

Công thức RL hỗn hợp dùng truncated importance sampling, score centering và linear length penalty trên các môi trường tổng hợp tầm xa (long-horizon) chất lượng cao. Nhờ vậy, mô hình đạt điểm 80,5 trên TerminalBench 2.1 chỉ với 1,4 triệu rollout — ít hơn khoảng 70 lần so với Reflection Beam, mô hình SOTA trước đó.

Ladder tiền huấn luyện và hiệu quả tính toán

Ricursive tối ưu công thức tiền huấn luyện qua chuỗi thí nghiệm model laddering (huấn luyện các biến thể nhỏ để kiểm chứng thay đổi trước khi mở rộng). Xuất phát điểm là ladder của Olmo 3, nhóm thử nghiệm các can thiệp ở quy mô nhỏ, tập trung vào khả năng lập trình:

• v1.0: áp dụng luật scaling batch size và learning rate của StepFun
• v1.1: ladder mới scale mượt các chiều kiến trúc và độ sâu
• v1.2: chuyển từ post-norm sang pre+post norm
• v1.3: sigmoid gated attention
• v1.4: 2-stream mHC — tốt ở quy mô nhỏ nhưng không cải thiện ở mức 4B, nên bị loại
• v1.5: global NoPE và LR cooldown về 0 ở cuối
• v1.6: thêm value residuals

Phiên bản cuối chuyển sang bộ dữ liệu tiền huấn luyện tự phát triển với lượng code được tăng tỷ trọng đáng kể. Tổng hợp các thay đổi giúp tăng hiệu quả tính toán trên code lên tới 16 lần ở quy mô 4B, đo bằng dolma_stack CE. Nói cách khác, ladder của Ripple đạt hiệu năng code tương đương ladder Olmo 3 với lượng tính toán ít hơn 16 lần. Độ dốc của đường Olmo 3 thoải hơn ladder v1.0+, nghĩa là mức tiết kiệm này còn tăng thêm khi mở rộng quy mô.

Khả năng chạy trên thiết bị cục bộ

Do số tham số khiêm tốn, Ripple-65B Preview có thể chạy hiệu quả trên các thiết bị cục bộ như NVIDIA DGX Spark — vốn có FLOPs tính toán cao nhưng băng thông bộ nhớ thấp so với accelerator trong data center. Mô hình cũng cho tốc độ sinh token thấp độ trễ nhờ kiến trúc dense.

Ripple-65B Preview hiện có mặt trên Hugging Face, Together AI, GMI Cloud và OpenRouter; Fireworks dự kiến lên sóng trong ngày. Ricursive cho biết một biến thể nội bộ của mô hình đang vận hành nền tảng thiết kế chip AI của công ty, và họ đặt mục tiêu khép kín vòng lặp giữa mô hình và phần cứng.

Công ty cũng ghi nhận đóng góp từ hệ sinh thái mã nguồn mở, gồm nhóm Olmo tại Allen Institute for AI (AI2), Prime Intellect, RadixArk và NVIDIA.

Góc nhìn

Với các kỹ sư và doanh nghiệp Việt Nam, điểm đáng chú ý không chỉ là con số benchmark mà là chi phí và yêu cầu hạ tầng. Một mô hình 65 tỷ tham số đạt hiệu năng agentic coding cao, lại có thể chạy trên thiết bị cục bộ dạng DGX Spark, mở ra khả năng tự vận hành các tác vụ lập trình tự động mà không phụ thuộc hoàn toàn vào API đám mây. Điều này đặc biệt hữu ích cho các nhóm phải cân nhắc chi phí gọi API và yêu cầu bảo mật dữ liệu.

Bài học về laddering và tối ưu hiệu quả tính toán cũng rất thực tế: thay vì chạy theo quy mô tham số, việc thử nghiệm có kiểm soát ở quy mô nhỏ rồi mới mở rộng giúp tiết kiệm đáng kể ngân sách. Tuy nhiên, cần lưu ý rằng các con số như 80,52 điểm hay MFU 40% là do chính Ricursive công bố, nên các đội kỹ thuật nên tự đánh giá lại trên bài toán và dữ liệu của mình trước khi đưa vào quy trình sản xuất.