Tối ưu phần mềm giờ rẻ đến mức không còn lý do để chậm

22 tháng 8, 2026·7 phút đọc

Dan Luu lập luận rằng chi phí tối ưu hiệu năng đã giảm hàng nghìn lần nhờ agent lập trình. Ông thử nghiệm thực tế: để agent viết trình biên dịch regex sang mã máy cho ripgrep và tinh chỉnh theo workload riêng, thu về mức cải thiện 2% đến 7%.

Tối ưu phần mềm giờ rẻ đến mức không còn lý do để chậm
Ảnh minh hoạ do AI tạo

Khi tối ưu hiệu năng không còn là đặc quyền của chuyên gia

Bài viết của Dan Luu bắt đầu từ một dòng tweet lan truyền: những người nói LLM tạo ra mã chậm và phình to sẽ phải "ăn lời" khi mọi thứ được viết lại bằng assembly tối ưu. Luu cho rằng chưa cần đến mức đó, nhưng chi phí của công việc tối ưu đã giảm mạnh.

Ông dẫn lại quan điểm của Nolan Lawson về kiểm thử: bạn có thể chọn mức độ lỗi mình muốn. Ý này giờ đúng cả với hiệu năng.

Cụ thể, công việc tối ưu từng đòi hỏi một người hoặc một nhóm có bộ kỹ năng hiếm. Nay bất kỳ ai gõ vài câu lệnh cũng làm được. Nghĩa là những phép tối ưu trước đây quá đắt, chỉ đáng làm ở dự án quy mô lớn nhất, giờ trở nên khả thi.

Marc Brooker của Amazon đồng tình và dự đoán sẽ xuất hiện phần mềm tùy biến động, được may đo cho một workload cụ thể thay vì cả một lớp workload. Ông liên hệ với FFTW và các kỹ thuật demoscene cũ, vốn tối ưu cực nhanh và nhỏ cho một bài toán rất riêng.

Michael Malis, tác giả pgrust, bổ sung góc nhìn khác. Ông cho rằng mệnh đề "code chưa bao giờ là phần khó" đúng ở một số lĩnh vực, nhưng sai ở những lĩnh vực khác. Trình biên dịch JIT là ví dụ: viết mã mới là phần khó. Sự hiếm hoi của JIT cho thấy trước đây nó quá khó để đáng làm.

Thử nghiệm với FRE và ripgrep

Luu kiểm chứng bằng FRE, engine regex mà nhóm ông xây ở bài trước. FRE được tạo bằng cách cho agent chạy vòng lặp một tháng để cải thiện hiệu năng dựa trên bộ benchmark rebar, nên ban đầu bị overfit nặng. Chỉ khi được cảnh báo có tập kiểm tra giữ lại (holdout), agent mới tổng quát hóa phép tối ưu.

Một điểm đáng lưu ý: bản FRE biên dịch AOT (ahead-of-time, biên dịch trước sang mã máy) chạy khá tốt với các tìm kiếm dài. Luu nảy ra ý tưởng chạy trình biên dịch mã máy ở một luồng khác trong lúc ripgrep dùng bộ so khớp thường, rồi chuyển sang mã máy khi biên dịch xong.

Ông gõ vài câu cho agent và nó tự làm phần "phẫu thuật mã" này. Kết quả trên các truy vấn dài, đơn giản: nhanh hơn 2 đến 4 lần. Trên tập holdout đại diện, mức cải thiện khoảng 7%.

Luu thừa nhận kết quả không gây chấn động, nhưng đổi lại chỉ tốn vài phút gõ lệnh. Agent vẫn đang tiếp tục tối ưu.

Ông cũng thẳng thắn: nếu tìm kiếm văn bản lặp lại nhiều lần, cách đúng đắn không phải viết trình biên dịch regex mà là xây chỉ mục (index). Nhưng điểm cần nói là loại công việc kỹ thuật từng tốn nhiều thời gian và chuyên môn nay có thể làm dễ dàng.

Luu từng làm BitFunnel, chỉ mục tìm kiếm của Bing, đoạt giải Best Paper tại SIGIR. Bản mã nguồn mở chỉ có một trình thông dịch bytecode và một JIT, còn bản Bing có nhiều JIT. Một dự án tối ưu ở mức đó từng là việc lớn, giờ "làm trong một cuối tuần" là điều có thật với một số dự án.

Tối ưu vốn rẻ từ lâu

Theo Luu, chi phí tối ưu giảm mạnh đã đúng từ khoảng tháng 11/2025, có thể sớm hơn với các mô hình công khai.

Ví dụ thời GPT-5.1 hoặc 5.2: dù không biết gì về AI trò chơi, ông xây một AI cho game Azul và nó trở thành AI mạnh nhất thế giới ở trò này, với khoảng cách khá lớn. Đọc luận văn mô tả AI mạnh thứ hai, ông cho rằng AI của mình có thể chỉ nhỉnh hơn chút ở phần "trí tuệ". Chỗ thắng chủ yếu nằm ở tối ưu.

AI kia chạy đơn luồng, còn AI của ông chạy đa luồng. Nó có bản mã máy và cả bản wasm dùng bộ nhớ chia sẻ cộng JavaScript, với hai kiến trúc tìm kiếm khác nhau đòi hai thuật toán đa luồng khác nhau (minimax cho mạng nhỏ và nhanh, MCTS cho mạng lớn hơn).

Nếu làm tay, đây sẽ là việc lớn. Agent thì xử lý được, kể cả việc phải viết lại thuật toán đa luồng nhiều lần. Các bước kiểm chứng như phát lại từ nhật ký gỡ lỗi để tái hiện lỗi trong thuật toán không tất định, việc từng tốn vài ngày đến một tuần, giờ agent làm trong vòng lặp.

Với AI trò chơi, mỗi lần tăng gấp đôi tốc độ cho thêm khoảng 100 Elo (nhiều hơn cờ vua, có lẽ vì hòa rất hiếm). Chỉ cần thêm đa luồng là đủ áp đảo một AI tương đương trên máy lớn.

Jamie Brandon, khi chuẩn bị phỏng vấn hiệu năng, đã thử bài kiểm tra hiệu năng nay đã công khai của Anthropic. Sau đó anh để Claude làm tiếp phần còn dở và nó đạt kết quả tốt hơn hẳn. Nhiều phép tối ưu Claude làm là thứ Brandon đã nghĩ tới nhưng chưa kịp thử; số khác là "những trò điên rồ tôi sẽ không bao giờ thử trừ khi làm việc này hàng tuần".

Tối ưu theo workload

Quay lại nhận định của Marc Brooker về phần mềm tùy biến động. Luu cho rằng điều này gần như không tránh khỏi. Ngay trước khi viết bài, ông cho agent tối ưu riêng cho các truy vấn ripgrep của mình, mất khoảng 2 phút để khởi chạy.

Các phép tối ưu chạy trên một tập truy vấn, rồi kiểm tra trên tập holdout. Sau một vòng, bản tối ưu theo workload nhanh hơn ripgrep chuẩn 2% trên holdout và vẫn đang cải thiện.

Với Luu, 2% không lớn cho nhu cầu cá nhân, nhưng đổi lại chỉ tốn vài phút. Ông lưu ý kết quả này chưa cộng dồn với trình biên dịch mã máy, vốn sẽ cho mức cải thiện lớn hơn nếu kết hợp đúng cách.

Ông cũng chỉ ra giới hạn: các mô hình SOTA hiện tại thiết kế thí nghiệm khá kém. Với bài toán regex, khi chỉ bảo agent "đừng overfit", kết quả kém hơn các engine tốt nhất hơn một bậc độ lớn. Chỉ sau khi nói rõ có tập holdout, agent mới nâng hiệu năng lên ngang các engine hạng hai.

Dữ liệu về cách codex chạy ripgrep

Phần phụ lục thống kê truy vấn ripgrep trên máy Luu. Luu nói rõ đây không đại diện cho nơi khác.

Độ dài mẫu tìm kiếm dài hơn ông tưởng: trung vị 55 ký tự Unicode, phân vị 90 là 119. Số nhánh alternation trong regex cũng phức tạp hơn nhiều so với khi ông grep bằng tay.

Thời gian truy vấn thực tế ngắn hơn dự đoán. Ông đoán vì những truy vấn chạy hàng phút và những truy vấn xong ngay đều không lọt vào tầm chú ý của ông.

Về tùy chọn dòng lệnh, codex thường cần số dòng và thỉnh thoảng dùng regex PCRE2. 99% truy vấn là regex, 99,9% chỉ dùng ASCII. Nhưng xét theo file được tìm, khoảng 45% chỉ có ASCII và 55% chứa Unicode, cao hơn ông tưởng.

Độ cục bộ của mẫu tìm kiếm thấp: khoảng 94% mẫu chỉ xuất hiện một lần. Ngược lại, độ cục bộ của file được tìm khá cao: file vừa được tìm có xác suất được tìm lại sớm, nên với file đủ nhỏ chúng nhiều khả năng nằm trong bộ nhớ.

Góc nhìn

Với lập trình viên Việt Nam, điều dễ thấy nhất là rào cản chuyên môn về hiệu năng đang hạ xuống. Những việc từng chỉ giao cho một kỹ sư hiệu năng kỳ cựu nay có thể giao cho agent, miễn là bài toán được đóng khung rõ ràng và có bộ đo lường đáng tin.

Nhưng chính bài viết cho thấy giới hạn: agent chỉ giỏi khi con người dựng sẵn môi trường benchmark và tiêu chí đánh giá. Thiết kế thí nghiệm vẫn là phần con người phải làm. Doanh nghiệp muốn tận dụng nên đầu tư vào đo lường và dữ liệu workload thật trước, rồi mới thả agent vào tối ưu.

Bài học thực dụng khác: đừng bỏ qua các khoản thắng đơn giản. Luu nhắc lại việc giảm dung lượng trang trong luồng đăng ký từ 50 MB xuống 5 MB, thử nghiệm A/B cho thấy doanh thu tăng khoảng 0,5%. Khoản đó thường có lợi tức cao hơn nhiều so với việc xây trình biên dịch riêng.

Nguồn: danluu.com · Quy trình biên tập

Chia sẻ:FacebookX