Experiential: Cổng kết nối AI mã nguồn mở biến lưu lượng sử dụng thành mô hình tốt hơn

Trong bối cảnh các tác nhân AI (agent) đang phát triển mạnh mẽ, việc quản lý nhiều mô hình khác nhau — từ tự lưu trữ, mã nguồn mở đến các mô hình frontier — trở thành một thách thức lớn. Experiential ra đời như một giải pháp mã nguồn mở, đóng vai trò như một "OpenRouter" nhưng có khả năng biến chính lưu lượng sử dụng của bạn thành dữ liệu để tối ưu hóa router và thậm chí huấn luyện mô hình riêng.

Experiential được viết bằng Rust, tối ưu cho xử lý đồng thời và triển khai mọi cấu hình phức tạp giữa các nhà cung cấp và mô hình khác nhau (định dạng streaming, tool calls, tham số mô hình, giới hạn tốc độ, và hành vi lỗi khác nhau). Điều này giúp nó trở thành một điểm tập trung duy nhất để quản lý mọi thứ.

Khởi động nhanh chóng

Chỉ với vài lệnh, bạn có thể chạy một gateway tương thích OpenAI ngay trên máy local. Quá trình cài đặt đầu tiên sẽ hướng dẫn bạn chọn nhà cung cấp, mô hình và mức chi tiêu mặc định (ví dụ 50 USD), sau đó in ra một khóa API một lần duy nhất:

pip install experiential
exp

Sau đó, bạn có thể gửi yêu cầu đầu tiên thông qua API:

curl http://127.0.0.1:8000/v1/chat/completions \
-H "Authorization: Bearer $EXP_GATEWAY_KEY" \
-H 'Content-Type: application/json' \
-d '{"model":"opus-5","messages":[{"role":"user","content":"Help me"}]}'

Nếu bạn không muốn tự vận hành, Experiential cũng cung cấp phiên bản hosted tại platform.experientiallabs.ai với API tương thích OpenAI và Anthropic, không tính phí markup (thêm phí) trên token.

Tối ưu hóa từ chính dữ liệu của bạn

Điểm mấu chốt của Experiential nằm ở khả năng khai thác dữ liệu lưu lượng (telemetry). Thay vì chỉ đơn thuần làm router tĩnh, nó thu thập các trace theo chuẩn OpenTelemetry, sau đó:

• Khai thác các tác vụ đại diện thực tế từ lưu lượng của bạn.
• Sử dụng "text world models" để mô phỏng các rollout cho nhiều mô hình khác nhau.
• Áp dụng một LLM judge để đánh giá chất lượng.
• Huấn luyện một bộ phân loại dựa trên embedding của prompt để quyết định mô hình tối ưu cho từng yêu cầu.

Nhờ đó, Experiential có thể vẽ ra một đường cong Pareto tốt hơn về chi phí/chất lượng so với việc chỉ gọi một mô hình đơn lẻ. Nhóm phát triển thừa nhận phương pháp này "chưa hoàn hảo" nhưng là một hướng đi đầy tiềm năng.

Hình minh họa quy trình tối ưu hóa của Experiential

Điểm khác biệt so với các dự án tương tự

Theo nhóm phát triển, điểm khác biệt lớn nhất của Experiential so với các dự án gateway khác là:

• Mã nguồn mở hoàn toàn: Bạn có thể tự triển khai trên hạ tầng của mình.
• Không tính markup: Phiên bản hosted không thêm phụ phí trên token.
• Cho phép trộn mô hình local với marketplace: Bạn có thể dùng mô hình tự lưu trữ cùng với các mô hình từ bên ngoài.
• Tận dụng lưu lượng của bạn: Với tùy chọn opt-in, dữ liệu của bạn có thể được dùng để huấn luyện một mô hình riêng, phù hợp hơn với tác vụ cụ thể của bạn.

"Định tuyến đơn giản không xứng đáng với việc bị tính phí 10% trên token." — Nhóm phát triển Experiential

Đây được xem là một cách tiếp cận táo bạo, biến hạ tầng AI từ một chi phí vận hành thành một tài sản dữ liệu có thể sinh lời.

Mô tả về độ trễ của gateway

Chi tiết kỹ thuật và hiệu suất

• Độ trễ cực thấp: Dưới 1ms cho các yêu cầu BYOK (tự cung cấp khóa API) và dưới 2ms khi Experiential cung cấp khóa.
• Phạm vi bao phủ rộng: Hỗ trợ mọi nhà cung cấp suy luận lớn và hơn 1000 mô hình, được làm mới hàng ngày thông qua một codex agent tự động mở pull request.
• Bảo mật: Telemetry ẩn danh được bật theo mặc định nhưng không bao giờ thu thập prompt, trace, credentials hay nội dung người dùng.

Tối ưu hóa mô hình với Tinker

Ngoài việc tối ưu routing, Experiential còn cho phép bạn fine-tune một mô hình mã nguồn mở mà bạn sở hữu dựa trên dữ liệu lưu lượng đã thu thập. Điều này mở ra khả năng xây dựng một mô hình "riêng tư" được tối ưu cho các tác vụ cụ thể của doanh nghiệp bạn.

Kết luận

Experiential là một dự án đầy tham vọng, không chỉ dừng lại ở việc quản lý mô hình mà còn hướng đến việc tối ưu hóa liên tục dựa trên dữ liệu thực tế. Đối với các nhà phát triển và doanh nghiệp đang vận hành nhiều tác nhân AI, đây là một công cụ đáng để thử, đặc biệt khi nó mã nguồn mở, không tính phí markup và có cộng đồng phát triển tích cực.