Aiven xây dựng cổng LLM nội bộ, cắt giảm 80% chi phí token AI

Aiven, nhà cung cấp dịch vụ cơ sở dữ liệu mã nguồn mở đến từ Phần Lan, cho biết đã tiết kiệm được 80% chi phí token AI trong nội bộ nhờ chuyển sang các mô hình mở (open-weight). Hãng đang xây dựng một cổng LLM gateway để giúp lập trình viên chuyển đổi linh hoạt giữa các mô hình, và dự định cung cấp giải pháp này dưới dạng dịch vụ cho khách hàng doanh nghiệp.

Từ cơ sở dữ liệu đến hạ tầng AI

Aiven gây dựng tên tuổi trên nền tảng lưu trữ và cung cấp cơ sở dữ liệu mã nguồn mở dưới dạng dịch vụ, và trong vài năm gần đây đã mở rộng sang lĩnh vực học máy. Theo ông Ville Lehto, Phó chủ tịch chiến lược của Aiven, việc xây dựng hạ tầng AI mã nguồn mở có thể vận hành xuyên suốt nhiều nền tảng đám mây khác nhau không phải là chuyện đơn giản.

Tuy nhiên, khi cấp quyền truy cập các mô hình ngôn ngữ lớn (LLM) cho lập trình viên, công ty đặt mục tiêu tự quản lý chi phí token và "tự quyết định vận mệnh của mình" trong việc sử dụng AI.

Xu hướng tối ưu chi phí token

Sau một giai đoạn tranh luận sôi nổi về cái gọi là "token-maxxing" (tối đa hóa lượng token sử dụng), giới lập trình viên ngày càng quan tâm đến việc giảm chi phí bằng cách kết hợp nhiều mô hình khác nhau. Điều này bao gồm các lựa chọn thay thế giá rẻ từ Trung Quốc so với các mô hình tiên phong phương Tây, cùng các mô hình mở có chi phí thấp hơn.

Các mô hình open-weight công bố công khai tham số đã học, chủ yếu là trọng số và độ lệch, nên có thể chạy cục bộ hoặc lưu trữ với chi phí thấp hơn nhiều so với các mô hình tiên phong của OpenAI và Anthropic. Một số ví dụ tiêu biểu gồm dòng Llama của Meta, dòng Qwen của Alibaba Cloud, DeepSeek đến từ Trung Quốc, Medium 3.5 và Devstral của Mistral AI, cùng Gemma của Google.

"Về việc sử dụng token, như chúng tôi chứng kiến hồi đầu năm nay, chỉ một phần nhỏ người dùng là những người dùng cực kỳ nặng, và với họ, phần lớn chi phí có thể tiết kiệm được nhờ thực sự sử dụng các mô hình open-weight", ông Lehto chia sẻ.

Bài toán đặt ra cho Aiven

Aiven đứng trước hai lựa chọn: áp đặt hạn mức token nghiêm ngặt, hoặc tìm cách sử dụng token hiệu quả hơn. Công ty chọn hướng thứ hai và triển khai một cổng nội bộ giúp lập trình viên làm việc với các mô hình mở dễ dàng hơn.

Ông Lehto cho biết: "Chúng tôi muốn mọi thứ diễn ra suôn sẻ nhất có thể. Chúng tôi có thể cung cấp cho nhân viên nhiều mô hình open-weight khác nhau, dù là mô hình phương Tây hay từ châu Á, đồng thời vẫn dùng được các mô hình tiên phong. Chúng tôi tập trung vào nhóm người dùng nặng, và với họ, chi phí giảm khoảng 80%."

Tuy nhiên, do hiệu năng giữa mô hình open-weight và mô hình tiên phong có sự khác biệt, việc theo dõi các chỉ số khác như chi phí trên mỗi tác vụ cũng rất quan trọng.

Kiến trúc cổng LLM gateway

Aiven xây dựng cổng của mình dựa trên khung mã nguồn mở LiteLLM do hãng tự lưu trữ (self-host). Nhóm phát triển bổ sung các tính năng như quản lý ngân sách, quản lý quyền truy cập và tích hợp thêm các thành phần mã nguồn mở khác. Các mô hình được chạy trên GPU thuê và tự lưu trữ.

Theo ông Lehto, Aiven vẫn sử dụng các mô hình tiên phong nhưng chỉ để lên kế hoạch cho công việc. Ông giải thích:

"Khi thực sự triển khai công việc, chúng tôi dùng nhiều mô hình open-weight. Phần lớn công việc thực chất được thực hiện bằng open-weight, nhưng những phần quan trọng nhất được lên kế hoạch bằng mô hình tiên phong. Đó là cách chúng tôi thấy hiệu quả nhất ở thời điểm hiện tại."

Hướng tới dịch vụ thương mại

Aiven dự định cung cấp cổng này dưới dạng dịch vụ cho khách hàng, giúp họ quản lý chi phí token bằng cách dễ dàng đưa các mô hình open-weight vào hoặc ra khỏi quy trình làm việc.

"Vì xuất phát điểm của chúng tôi là mã nguồn mở, đây là điều rất tự nhiên… cung cấp dưới dạng dịch vụ cho mọi người, đồng thời đáp ứng nhu cầu doanh nghiệp", ông Lehto nói.

Hiện khách hàng của Aiven bao gồm Conrad (công ty thương mại điện tử Đức), Dojo (công ty xử lý thanh toán Anh), Sophos (nhà cung cấp bảo mật) và Avaya (công ty truyền thông). Aiven được dự báo sẽ là một trong nhiều nhà cung cấp đang định vị mình để giúp tổ chức giảm chi phí khi sử dụng AI.

Góc nhìn cho doanh nghiệp Việt Nam

Với các doanh nghiệp Việt Nam đang bước đầu ứng dụng AI tạo sinh, bài học từ Aiven khá đáng tham khảo. Thay vì chỉ dựa vào các mô hình tiên phong đắt đỏ, việc kết hợp mô hình mở và mô hình trả phí theo mức độ quan trọng của công việc có thể giúp tối ưu chi phí đáng kể. Bên cạnh đó, xây dựng một lớp cổng trung gian giúp dễ dàng thử nghiệm, thay thế mô hình mà không phải viết lại mã nguồn ứng dụng — một hướng đi mà các đội kỹ thuật tại Việt Nam có thể cân nhắc khi mở rộng quy mô sử dụng AI.