microGPT viết bằng C thuần đạt 10 triệu token/giây trên Apple M5
Một lập trình viên phát hành microGPT-C, mô hình GPT huấn luyện và suy luận chỉ trong một file C, không phụ thuộc thư viện ngoài libc. Trên Apple M5 Pro, tốc độ suy luận đạt hơn 10 triệu token mỗi giây, cho thấy một mô hình nhỏ gọn có thể chạy rất nhanh nếu tối ưu đúng cách.

Một dự án mã nguồn mở có tên microGPT-C vừa được đưa lên GitHub. Toàn bộ quá trình huấn luyện và suy luận của một mô hình GPT nằm gọn trong một file C duy nhất.
Tác giả gọi đây là cách "nguyên thủy" nhất để huấn luyện và chạy suy luận một GPT. Mã nguồn chỉ dùng thư viện chuẩn của C (libc), không cần thêm gói phụ thuộc nào.
Mô hình gồm những gì
Đây là một transformer ở cấp ký tự (character-level). Mã nguồn có đủ lan truyền xuôi (forward pass), lan truyền ngược (backprop), bộ tối ưu Adam và bước lấy mẫu (sampling).
Mô hình chỉ có 4.192 tham số. Nó được huấn luyện trên khoảng 32.000 tên riêng và sinh ra tên mới.
Theo tác giả, mô hình biết khái quát hóa chứ không học thuộc. Huấn luyện trên 20.000 tên, nó đạt 2,2054 nats mỗi ký tự trên tập này và 2,2039 trên 12.033 tên chưa từng thấy.
Con số đó vượt một mô hình trigram nội suy có gần gấp năm lần số tham số.
Cách chạy và hiệu năng
Người dùng có thể chạy bằng lệnh make run, hoặc trỏ trực tiếp vào một file văn bản có mỗi dòng một mục:
./microgpt data/names.txt
Mã nguồn biên dịch được trên macOS, Linux và Windows qua MSYS2. Trên kiến trúc ARM64, chương trình dùng NEON (tập lệnh SIMD của ARM). Trên x86-64, chương trình dùng AVX2. File Makefile tự chọn cờ biên dịch phù hợp với máy chủ.
Bảng hiệu năng trong tài liệu dự án:
| Máy | Backend | Token/giây |
|---|---|---|
| Apple M5 Pro | NEON | 10.168.430 |
| AMD Ryzen 5 5600H | AVX2 | 6.927.775 |
Kết quả huấn luyện 20.000 bước cho thấy hàm mất mát (loss) giảm dần, trung bình từ 2,2940 xuống 2,2201. Sau khi huấn luyện, mô hình sinh ra các tên như kayley, maria, arana hay jayden.
Hai đường lan truyền xuôi riêng biệt
Tác giả tách riêng đường huấn luyện và đường suy luận. Hàm gpt_forward lưu lại các giá trị kích hoạt (activation) để phục vụ lan truyền ngược.
Hàm gpt_forward_infer là đường chuyên dụng cho một token duy nhất. Kết quả logits của hai đường khớp nhau trong sai số làm tròn của fp32 (số thực dấu phẩy động 32 bit).
Tài liệu docs/PERFORMANCE.md trong kho mã giải thích cách đường suy luận này hoạt động và yếu tố nào giới hạn tốc độ.
Góc nhìn
Con số 10 triệu token mỗi giây đến từ một mô hình chỉ hơn 4.000 tham số, không phải từ một mô hình ngôn ngữ lớn. Vì vậy đây không phải phép so sánh tốc độ với các hệ thống suy luận thương mại.
Giá trị nằm ở chỗ mã nguồn cho thấy toàn bộ vòng đời một transformer gọn trong một file C đọc được. Kỹ sư Việt Nam có thể dùng nó để học cách viết lan truyền ngược và bộ tối ưu bằng tay, hoặc làm bản mẫu cho các tác vụ nhỏ chạy trên thiết bị biên (edge).
Việc tách đường suy luận khỏi đường huấn luyện là kỹ thuật nên dùng khi triển khai thực tế. Bỏ phần lưu kích hoạt giúp giảm bộ nhớ và tăng tốc, đổi lại phải kiểm tra kỹ để kết quả khớp với bản huấn luyện.
Nguồn: github.com (bài gốc ngày 18 tháng 8, 2026) · Quy trình biên tập


