Rò rỉ checkpoint "Mythos" của Anthropic: Mô hình 14N tham số xuất hiện trên Hugging Face

Một kho mô hình có tên numbat vừa xuất hiện trên Hugging Face, được mô tả là checkpoint giữa quá trình tiền huấn luyện của một mô hình thuộc lớp Mythos thế hệ tiếp theo do Anthropic phát triển. Nếu thông tin này là thật, đây sẽ là một trong những vụ rò rỉ mô hình AI lớn nhất từ trước tới nay, bởi quy mô được công bố lên tới khoảng 14 nghìn tỷ tham số.

Sự việc cũng đặt ra câu hỏi nghiêm túc về an ninh nội bộ tại các phòng nghiên cứu AI hàng đầu, đặc biệt khi trọng số mô hình ngày càng trở thành tài sản chiến lược có giá trị khổng lồ.

Những gì được công bố trong kho lưu trữ

Theo mô tả trong repo, numbat có kiến trúc lai giữa GDN (Gated DeltaNet) và MLA (Multi-head Latent Attention), kết hợp lớp feed-forward Mixture-of-Experts với 1.224 chuyên gia, chọn top-48 cộng thêm 1 chuyên gia chia sẻ, cùng cơ chế Multi-Token Prediction (MTP).

• Khoảng 14 nghìn tỷ tham số, 114 lớp
• Định dạng lượng tử hóa NVFP4
• Tokenizer byte-level BPE với 131.072 token
• 772 shard safetensors, tổng dung lượng tensor khoảng 7,72 TB

Kho lưu trữ còn kèm theo configuration_numbat.py và modeling_numbat.py, được giới thiệu là bản triển khai tham chiếu đầy đủ để có thể nạp toàn bộ checkpoint bằng load_state_dict(strict=True) hoặc qua AutoModelForCausalLM.from_pretrained.

"Đây là checkpoint tiền huấn luyện ở bước 1.830.000 trong tổng số khoảng 1,96 triệu bước. Chưa có hậu huấn luyện, chưa có RLHF. Đầu ra là văn bản thô từ tiền huấn luyện."

Lý do khiến cộng đồng tin rằng đây là thật

Người đăng tải đưa ra nhiều lập luận để chứng minh tính xác thực. Thứ nhất, numbat từng được nhắc tới như mật danh của một mô hình Anthropic chưa phát hành trong vụ rò rỉ mã nguồn Claude Code hồi tháng 3/2026, trong một đoạn bình luận của tệp prompts.ts: "Remove this section when we launch numbat."

Thứ hai, kiến trúc của checkpoint khớp với những gì người ta kỳ vọng ở một lần chạy huấn luyện lớp Mythos thế hệ mới. Thứ ba, dữ liệu được cho là nhất quán nội bộ trên toàn bộ 772 shard, với các khối scale E4M3 giải mã payload E2M1 trong giới hạn RTNE, không có hiện tượng underflow.

Đáng chú ý, phần mô tả lý giải vì sao một checkpoint giữa chừng lại ở định dạng NVFP4: nhóm đánh giá lượng tử hóa mọi checkpoint bất đồng bộ sang NVFP4 để chạy thử nghiệm trên một phần cụm Trainium2 thay vì toàn bộ cụm huấn luyện. Trọng số BF16 gốc cùng trạng thái optimizer được khẳng định là không rời khỏi cụm.

Góc nhìn cho độc giả Việt Nam

Với cộng đồng AI trong nước, sự việc này là lời nhắc về khoảng cách hạ tầng. Một checkpoint cỡ 7,72 TB ở định dạng NVFP4 vẫn cần tới khoảng 85 máy Trainium2 chỉ để chứa trọng số, trong khi phần lớn doanh nghiệp và nhóm nghiên cứu Việt Nam khó tiếp cận nguồn lực tương đương.

Dù vậy, việc các bản triển khai tham chiếu kiểu này bị phát tán công khai từng tạo tiền lệ giúp cộng đồng mã nguồn mở học hỏi kiến trúc mới. Câu hỏi lớn hơn là liệu đây có phải sự thật, hay chỉ là một màn dàn dựng tinh vi nhằm thu hút sự chú ý trên Hugging Face.

Hệ lụy về bảo mật và niềm tin

Nếu được xác nhận, vụ rò rỉ sẽ cho thấy các phòng lab AI hàng đầu vẫn gặp lỗ hổng trong việc kiểm soát checkpoint đánh giá và nhật ký huấn luyện. Một tệp training_log_tail.txt chứa khoảng 400 bước gần nhất cùng metadata đánh giá bị đưa ra ngoài là dấu hiệu đáng lo về quy trình phân quyền.

Hiện Anthropic chưa đưa ra bình luận chính thức. Trong khi đó, kho lưu trữ vẫn ghi nhận lượt tải trong tháng gần nhất, và người đăng tải khẳng định các shard còn lại đang tiếp tục được tải lên.

"Mirrors welcome. Do not DM me asking for the source."

Với cộng đồng công nghệ, đây là lời cảnh báo rằng trong kỷ nguyên AI, bảo vệ trọng số mô hình quan trọng không kém bảo vệ mã nguồn.