Không còn lý do gì để phần mềm chạy chậm nữa

Sự xuất hiện của các tác nhân AI đã thay đổi căn bản bài toán chi phí trong tối ưu hiệu năng. Những kỹ thuật từng đòi hỏi chuyên gia hiếm có và nhiều ngày công nay chỉ cần vài phút gõ lệnh, mở ra kỷ nguyên mới cho phần mềm tốc độ cao. Bài viết của Dan Luu phân tích sâu về xu hướng này qua các thử nghiệm thực tế với regex engine, AI chơi game và tối ưu theo nhu cầu cụ thể.

Tại sao phần mềm từng chậm đến vậy?

Trong một thời gian dài, ngành công nghiệp phần mềm chấp nhận sự đánh đổi: hoặc viết code nhanh với chi phí phát triển cao, hoặc chấp nhận hiệu năng kém vì ngân sách có hạn. Hầu hết lập trình viên không có chuyên môn sâu về tối ưu hiệu năng, và điều đó hoàn toàn hợp lý từ góc độ kinh doanh — thuê một chuyên gia như Jamie Brandon (người vừa nhận offer từ Anthropic) là điều xa xỉ chỉ dành cho các tập đoàn lớn.

Nhưng giờ đây, với sự trợ giúp của LLM, mọi thứ đã thay đổi. Một tác nhân AI có thể đánh bại một kỹ sư hiệu năng giỏi trong các bài toán tối ưu có giới hạn rõ ràng, với chi phí chỉ vài đô la.

Thử nghiệm thực tế: Tối ưu regex engine

Tác giả đã thử nghiệm xây dựng FRE (Fast Regex Engine) — một engine regex được tối ưu bởi tác nhân AI chạy trong một tháng, sử dụng benchmark suite rebar làm chuẩn. Kết quả ban đầu khá thú vị:

FRE bị overfit nặng với tập dữ liệu rebar cho đến khi tác giả cảnh báo về một benchmark holdout, khiến agent phải tổng quát hóa các tối ưu. Kết quả cuối cùng đạt hiệu năng tương đương các engine hạng 2 — vẫn rất tốt so với mặt bằng chung.

Thử nghiệm tiếp theo là tích hợp trình biên dịch native code vào ripgrep. Chỉ với vài câu lệnh gõ tay, agent đã tự động:

• Viết code surgery đáng kể mà con người phải mất nhiều ngày
• Tối ưu cho các truy vấn dài: tăng 2x-4x hiệu năng
• Với các truy vấn đại diện: tăng khoảng 7% tổng thể

AI chơi game: Minh chứng rõ ràng nhất

Trong lĩnh vực game AI, tác giả đã xây dựng AI chơi Azul mạnh nhất thế giới mà không hề có kiến thức nền tảng. Điểm mấu chốt không nằm ở chiến thuật AI mà ở tối ưu hiệu năng tuyệt đối:

• AI song song hóa đa luồng, trong khi đối thủ mạnh thứ 2 chỉ chạy đơn luồng
• Viết lại thuật toán đa luồng nhiều lần theo đề xuất của LLM
• Xây dựng hệ thống replay từ debug logs để kiểm tra tính không xác định

"Mỗi lần tăng gấp đôi tốc độ, bạn kiếm được khoảng 100 Elo — nhiều hơn so với cờ vua vì trận hòa rất hiếm khi chơi Azul. Chỉ riêng việc thêm đa luồng đã đủ để đánh bại mọi AI viết tay tương đương trên máy lớn."

Những công việc như replay từ debug logs từng mất 5-7 ngày làm thủ công, giờ chỉ là bài tập nhỏ cho agent AI.

Tối ưu hóa theo khối lượng công việc cụ thể

Marc Brooker từ Amazon đã dự đoán chính xác: "Phần mềm tùy chỉnh động, phù hợp với một khối lượng công việc cụ thể thay vì một lớp khối lượng, là kết quả rất có khả năng xảy ra."

Thử nghiệm thực tế: Với lịch sử truy vấn ripgrep từ Codex trên máy cá nhân, tác giả cho agent tối ưu engine dựa trên workload cụ thể. Kết quả sau một lượt tối ưu:

• Nhanh hơn 2% so với ripgrep tiêu chuẩn trên tập holdout
• Vẫn đang tiếp tục cải thiện khi bài viết được viết

Điểm đáng chú ý: phân tích dữ liệu cho thấy các truy vấn của Codex có đặc thù riêng:

• 94% pattern chỉ xuất hiện một lần
• p90 độ dài pattern là 119 ký tự Unicode
• 99.9% truy vấn chỉ dùng ASCII nhưng 55% file chứa Unicode

Chi phí tối ưu giảm 1000 lần — hệ quả thay đổi tư duy

Khái niệm quan trọng nhất: N trong phương trình chi phí-lợi ích của mọi quyết định tối ưu đã giảm theo cấp số nhân.

Trước đây, một tối ưu tăng 2% hiệu năng nhưng cần 5 ngày kiểm chứng sẽ bị từ chối. Giờ chỉ mất vài phút — nên hầu hết các tối ưu đều đáng thử. Điều này áp dụng cho:

• Chọn thuật toán đa luồng phù hợp
• Thêm JIT compiler cho các dự án tùy chỉnh
• Tối ưu theo từng tập truy vấn thực tế của khách hàng (như pgrust đang làm)
• Front-end tối ưu (LCP, INP) — agent AI không kém cạnh gì so với backend

Kết luận

Không còn lý do gì để chấp nhận phần mềm chậm nữa — ít nhất là về mặt kỹ thuật. Với chi phí tối ưu giảm xuống còn 1/1000, các kỹ thuật từng chỉ dành cho Google hay Bing giờ nằm trong tầm tay của mọi lập trình viên. Tuy nhiên, tác giả cũng cảnh báo:

"Chúng ta phải cẩn thận về overfitting nếu có sự thay đổi chế độ không nằm trong dữ liệu cũ — nhưng dù vậy, tình hình vẫn tốt hơn trước rất nhiều."

Tương lai gần: các công ty lớn sẽ xây dựng chương trình pilot tối ưu hóa theo workload của từng khách hàng cụ thể, và kỹ năng thiết kế thí nghiệm sẽ trở thành yếu tố quyết định để tận dụng tối đa sức mạnh của AI — điều mà các model hiện tại vẫn còn yếu.