Biên giới hiệu quả trong suy luận LLM: Chiến lược tối ưu hóa chi phí và tốc độ

Trong ngành công nghiệp AI, chúng ta vay mượn thuật ngữ “biên giới hiệu quả” từ các nhà kinh tế học để nói về việc quản lý đánh đổi — thường là giữa chi phí và năng lực của mô hình. Nhưng ít ai biết rằng, khái niệm này cũng tồn tại trong kỹ thuật suy luận (inference engineering), nơi các kỹ sư phải cân nhắc giữa độ trễ (latency) và thông lượng (throughput) — yếu tố quyết định chi phí vận hành. Bài viết này sẽ phân tích chi tiết hai nhóm kỹ thuật: một nhóm giúp bạn nhắm mục tiêu vào một điểm cụ thể trên biên giới hiệu quả, và nhóm còn lại đẩy toàn bộ biên giới ra xa hơn, mở ra không gian tối ưu mới.

Mô tả khái niệm biên giới hiệu quả trong suy luận LLM

Hai loại kỹ thuật trong kỹ thuật suy luận

Có hai loại kỹ thuật mà các kỹ sư suy luận có thể áp dụng:

• Kỹ thuật đánh đổi (tradeoff): Di chuyển một triển khai dọc theo biên giới hiệu quả bằng cách hy sinh yếu tố này để đạt được yếu tố khác.
• Kỹ thuật đẩy biên giới (frontier-pushing): Tạo ra hiệu quả tổng thể cao hơn, có thể phân bổ cho bất kỳ kết quả nào có lợi nhất — giảm độ trễ, tăng thông lượng, hoặc kết hợp cả hai.

Cả hai loại đều quan trọng. Hy sinh tốc độ cho từng người dùng cho phép xây dựng các pipeline thông lượng cao, chi phí thấp cho khối lượng công việc batch. Ngược lại, hy sinh thông lượng để tăng tốc độ hợp lý khi người dùng nhạy cảm với độ trễ sẵn sàng trả phí cao.

Các kỹ thuật quản lý đánh đổi

Việc đạt được một mục tiêu cụ thể trong sản xuất thường không phải là khám phá điều gì mới mẻ, mà là tìm đúng bộ cấu hình dựa trên bản chất lưu lượng truy cập. Trong thực tế, biên giới hiệu quả rất gồ ghề — những thay đổi nhỏ có thể tạo ra tác động lớn, và các điểm cắt này thường phải được khám phá bằng thực nghiệm.

Kích thước batch (Batch sizing)

Đánh đổi rõ ràng nhất giữa độ trễ và thông lượng đến từ kích thước batch — số lượng yêu cầu được xử lý đồng thời. Với batch nhỏ, độ trễ cho mỗi người dùng rất tốt nhưng tổng số token sinh ra trên mỗi GPU thấp, khiến chi phí mỗi token cao. Tăng kích thước batch có tác dụng ngược lại: độ trễ tệ hơn nhưng thông lượng tổng thể tốt hơn với chi phí thấp hơn.

Chiến lược song song hóa (Parallelism)

Các mô hình LLM hiện nay có hàng trăm tỷ hoặc nghìn tỷ tham số, phải trải trên nhiều GPU. Cách chúng được chia sẻ hoặc song song hóa có thể tăng cường độ trễ hoặc thông lượng:

• Tensor Parallelism (TP): Tăng TP cho các triển khai nhạy cảm với độ trễ, dù chi phí giao tiếp all-to-all đắt đỏ nhưng nhanh nhờ kết nối NVLink băng thông cao.
• Expert Parallelism (EP): Có thể giúp cả độ trễ lẫn thông lượng — EP thấp thường đi kèm độ trễ tốt hơn, trong khi EP rộng (trên toàn rack GPU) hỗ trợ thông lượng cao hơn.
• Attention Data Parallelism (ADP): Nhân bản các lớp attention để tính toán song song, tăng thông lượng hệ thống nhưng hy sinh tốc độ cho mỗi yêu cầu.

Lượng tử hóa (Quantization)

Lượng tử hóa — chạy mô hình với độ chính xác thấp hơn ở trọng số, kích hoạt (activations) và/hoặc giá trị KV cache — cải thiện cả độ trễ lẫn thông lượng, đẩy biên giới hiệu quả ra ngoài. Tuy nhiên, nó tạo ra đánh đổi mới giữa chất lượng và hiệu quả phục vụ. Biên giới này đặc biệt gồ ghề: có thể cải thiện lớn hiệu quả phục vụ với mức giảm chất lượng gần như bằng không, đặc biệt khi dùng định dạng số chấm động vi mô như MXFP4 và NVFP4.

Các kỹ thuật đẩy biên giới ra ngoài

Đây là nhóm kỹ thuật tạo nên các tiêu đề lớn — cải thiện hiệu suất tổng thể là phần thú vị nhất của kỹ thuật suy luận. Điểm mạnh nhất là các kỹ thuật này thường kết hợp với nhau: nhân đôi hiệu suất từ phần cứng tốt hơn và nhân đôi từ phần mềm tốt hơn sẽ tạo ra mức cải thiện gấp bốn lần.

Tối ưu hóa kernel và runtime

Một CUDA kernel là một hàm cấp thấp thực thi một phần của quá trình suy luận, như phép nhân ma trận. Cải thiện hiệu suất từng kernel cũng như hiệu suất end-to-end của forward pass trong inference engine giúp giảm tài nguyên cần thiết cho mỗi token. Những lợi ích này kết hợp xuyên suốt toàn bộ stack và đẩy biên giới hiệu suất ra xa.

Giải mã suy đoán (Speculative decoding)

Đây là quá trình đoán token mà mô hình có thể sinh ra, sau đó xác thực các dự đoán đó. Khi mới xuất hiện, kỹ thuật này tạo ra đánh đổi giữa độ trễ và thông lượng: chi phí suy đoán cao, độ dài chuỗi ngắn, tỷ lệ chấp nhận thấp. Ngày nay, các kỹ thuật như EAGLE-3, DSpark và DFlash vẫn cạnh tranh tài nguyên với vòng lặp chính của mô hình, nhưng nhờ hiệu suất mạnh — đặc biệt trên mã nguồn (code generation) nơi chuỗi token tương đối dễ đoán — chúng mang lại lợi ích về số token mỗi giây cho mỗi người dùng nhờ bỏ qua các forward pass.

Minh họa kỹ thuật giải mã suy đoán và tối ưu kernel

Phân tách (Disaggregation)

P/D disaggregation — tách biệt giai đoạn prefill và decode lên các worker chuyên dụng — là chiến lược tối ưu hóa cho các triển khai dung lượng cao. Chạy prefill và decode độc lập cho phép tối ưu worker theo đặc điểm riêng của từng giai đoạn, đồng thời điều chỉnh tỷ lệ giữa worker prefill và decode để phù hợp với độ dài chuỗi đầu vào/đầu ra và tỷ lệ cache hit từ lưu lượng truy cập.

Trong thực tế, disaggregation thường hữu ích nhất để tăng thông lượng trong khi giữ độ trễ ổn định hoặc tốt hơn một chút.

Mô hình phân tách prefill/decode trong triển khai LLM

Kết luận

Bài viết cung cấp cái nhìn tổng quan về hai nhóm kỹ thuật: quản lý đánh đổi và cải thiện hiệu suất toàn hệ thống. Đối với các kỹ sư hạ tầng AI tại Việt Nam — nơi chi phí GPU thường là bài toán sống còn — việc hiểu rõ khi nào nên di chuyển dọc theo biên giới hiệu quả và khi nào nên đẩy toàn bộ biên giới ra ngoài sẽ giúp tối ưu hóa đáng kể chi phí vận hành mà vẫn đảm bảo trải nghiệm người dùng.

Để tìm hiểu sâu hơn về từng kỹ thuật được đề cập, bạn có thể tham khảo cuốn sách miễn phí Inference Engineering của tác giả — nguồn tài liệu quý giá cho bất kỳ ai muốn nâng cao kỹ năng trong lĩnh vực này.