Tự vận hành LLM proxy: Cách để thực sự hiểu điều gì đang diễn ra với mô hình AI của bạn

Khi gọi API của các mô hình ngôn ngữ lớn, phần lớn người dùng chỉ nhìn thấy một bảng thống kê token sơ sài do nhà cung cấp hiển thị. Một bài viết đang gây chú ý trên Hacker News cho rằng như vậy là chưa đủ: nếu không tự dựng một LLM proxy trong tầm kiểm soát của mình, bạn gần như không thể biết chính xác chuyện gì đang xảy ra phía sau mỗi lần gọi mô hình.

Minh họa về một công cụ AI với quả cầu ánh sáng

Vấn đề: những con số đẹp nhưng vô dụng

Tác giả bài viết bắt đầu bằng một quan sát đơn giản: dù bạn đang làm việc với một ý tưởng, một đoạn code hay một ứng dụng SaaS trị giá hàng tỷ đô, thì gần như chắc chắn bạn đang trò chuyện với AI qua một giao diện nào đó — dòng lệnh, giao diện đồ họa hay thậm chí là cuộc gọi thoại.

Vấn đề nằm ở chỗ, các nhà cung cấp thường chỉ hiển thị những biểu đồ token trông có vẻ chuyên nghiệp nhưng không có chuỗi thời gian hay dữ liệu thực sự hữu ích cho kỹ sư. Theo tác giả, đó chỉ là thứ gây xao nhãng, không phải là số liệu để ra quyết định kỹ thuật.

"Tôi không thể đưa ra quyết định gì với đống số liệu vô nghĩa này."

Ngay cả khi nhà cung cấp có hỗ trợ xuất dữ liệu qua OpenTelemetry (OTel), tác giả cho rằng đó chỉ là một phần nhỏ của câu chuyện và đưa ra thêm 5 lý do khác để tự vận hành proxy.

Năm lý do để tự dựng LLM proxy

• Một endpoint duy nhất cho nhiều nhà cung cấp và nhiều mô hình khác nhau, tất cả nằm trong tầm kiểm soát của bạn.
• Ghi log chi tiết: biết chính xác khóa nào gọi mô hình nào, từ ứng dụng nào, vào thời điểm nào và với trạng thái ra sao.
• Khóa API ảo (virtual API key): tránh việc dùng mãi một khóa chính cho mọi công cụ, agent và môi trường thử nghiệm.
• Hạ tầng do chính bạn kiểm soát, không phụ thuộc vào bảng điều khiển của bên thứ ba.
• Chuyển đổi mô hình và nhà cung cấp cực nhanh, không phải cấu hình lại toàn bộ hệ thống từ đầu.

Một linh vật cam đang nhảy múa đội mũ quả dưa

Không cần hiểu hết thuật toán, nhưng phải đo được nó

Tác giả thừa nhận có thể cả đời anh sẽ không hiểu tường tận cơ chế bên trong của một mô hình ngôn ngữ lớn đủ để thuyết trình trên bảng trắng trong một buổi phỏng vấn. Nhưng điều đó không quan trọng bằng việc "vật ngã" mô hình và đảm bảo nó được đo lường đầy đủ trong quá trình phục vụ suy luận.

Một ví dụ cụ thể: khi thấy hiện tượng cache miss trong một phiên lập trình, tác giả có thể truy ra nguyên nhân chỉ trong khoảng 20 giây nhờ dữ liệu log của proxy. Anh chưa tự động hóa bước này, nhưng vì proxy có API nên hoàn toàn có thể làm được nếu cần.

Ảnh chụp bảng điều khiển giám sát dữ liệu proxy

Lời khuyên: đừng chọn proxy hộ, hãy tự dựng

Tác giả không gợi ý một nhà cung cấp proxy cụ thể nào, mà nhấn mạnh rằng bạn nên tự vận hành một proxy ở nơi mình kiểm soát, dù là máy chủ riêng hay máy ở nhà. Khi đã chọn được công cụ, đừng quên rằng bạn có thể chỉnh sửa mã nguồn cho đúng nhu cầu thực tế — từ việc bổ sung tính năng, thêm endpoint MCP server tùy chỉnh cho tới cải thiện khả năng quan sát dữ liệu.

Với đội ngũ kỹ thuật tại Việt Nam đang ngày càng tích hợp nhiều mô hình AI vào sản phẩm, việc chủ động dựng proxy ngay từ đầu có thể giúp tránh được nhiều rắc rối về chi phí, bảo mật khóa API và khả năng chuyển đổi nhà cung cấp khi giá hoặc chất lượng thay đổi.

Thông điệp chung của bài viết rất rõ ràng: hãy làm chủ hạ tầng, khả năng quan sát ứng dụng, đường đi của dữ liệu và nơi lưu trữ. Tác giả làm điều đó ở nhà vì thấy vui và vì đó là cách anh học, còn ở công ty thì vì nếu không làm vậy, anh đang không hoàn thành tốt công việc của mình.