Respan: AI gateway mã nguồn mở bằng Rust, nơi mọi thứ đều là plugin

Respan (thuộc khóa YC W24) vừa giới thiệu Respan Gateway — một AI gateway mã nguồn mở viết bằng Rust, được thiết kế theo hướng "tách rời" (decoupled) để mọi thành phần đều có thể trở thành plugin. Thay vì nhồi nhét hàng loạt nhà cung cấp và tính năng vào một khối duy nhất, dự án cung cấp một lõi nhỏ gọn cùng các giao diện công khai để đội ngũ kỹ thuật tự lắp ghép hạ tầng AI phù hợp với ứng dụng của mình.

Vì sao lại xây dựng thêm một gateway nữa?

Trên thị trường đã có vô số LLM gateway, và phần lớn giải quyết cùng một bài toán: gọi nhiều nhà cung cấp khác nhau từ một điểm cuối duy nhất. Tuy nhiên, việc bổ sung tính năng mới vào những gateway đó lại trở nên cực kỳ khó khăn, đến mức nhiều lập trình viên buộc phải tự viết một gateway riêng chỉ để giải quyết một vấn đề cụ thể.

Đội ngũ Respan hiểu rõ điều này vì chính họ từng đi theo con đường tương tự. Từ năm 2024, họ xây dựng gateway dựa trên LiteLLM. Hiện sản phẩm đang phục vụ hàng nghìn tổ chức, mỗi tổ chức lại có cấu hình API key, tuyến định tuyến và giới hạn riêng. Để đáp ứng, họ liên tục bọc thêm tính năng quanh LiteLLM, có thời điểm mã bọc vượt quá 100.000 dòng.

Bước ngoặt đến vào tháng 1 năm nay, khi một bản nâng cấp LiteLLM thông thường gây ra lỗi kết nối chập chờn và buộc họ phải quay lui. Nguyên nhân vẫn chưa được xác định, và từ đó họ không nâng cấp LiteLLM trực tiếp nữa mà chuyển sang tự chuyển các bản vá từ upstream. Những trải nghiệm này cho thấy việc vá víu LiteLLM không phải giải pháp bền vững lâu dài.

Lấy cảm hứng từ Nginx: lõi nhỏ, plugin mở

Khi thiết kế lại gateway, mục tiêu hàng đầu của Respan là giúp việc thêm tính năng trở nên dễ dàng mà không làm hỏng các tính năng sẵn có. Lấy cảm hứng từ Nginx, họ cho rằng một AI gateway nên có phần lõi thật nhỏ, chỉ chịu trách nhiệm điều phối sự kiện.

Theo triết lý đó, mọi thứ đều là plugin, bao gồm:

• Nhà cung cấp: OpenAI, Anthropic, Gemini...
• Giao thức: chat, realtime voice, MCP
• Phương thức: hình ảnh, video
• Tính năng về độ tin cậy và bảo mật: định tuyến thông minh, dự phòng, ẩn dữ liệu cá nhân (PII redaction)

Thêm một nhà cung cấp, kể cả nhà cung cấp của chính bạn, cực kỳ đơn giản, vì các điểm đặc thù cũng là plugin và không có gì huyền bí cả.

Theo đội ngũ phát triển, một nhà cung cấp chỉ là một tệp ngắn — chẳng hạn Mistral chỉ tốn 22 dòng, và mỗi điểm đặc thù như việc Groq đặt thông tin token sử dụng vào trường riêng đều có bài kiểm thử của chính nó.

Không chỉ là gọi nhiều mô hình từ một SDK

Respan Gateway làm được nhiều hơn việc cho phép gọi mô hình Claude hay Gemini thông qua SDK của OpenAI. Gateway tự động xử lý công cụ (tools), hình ảnh và các giao thức suy luận:

• Một ứng dụng dựa trên OpenAI Realtime API có thể dùng Gemini Live thông qua gateway, dù không phải mọi tính năng đều chuyển đổi được.
• Một ứng dụng chat đơn giản có thể dùng công cụ MCP đã cấu hình trong gateway mà không cần tự triển khai MCP.

Điểm đáng chú ý khác là cơ chế phân tích yêu cầu thành một cấu trúc chung. Khi máy khách và nhà cung cấp dùng cùng API, gateway vẫn giữ nguyên các trường đặc thù của nhà cung cấp ở định dạng gốc, kể cả khi cấu trúc chung không có trường tương ứng — nhờ vậy có thể ghi lại thay vì làm mất dữ liệu.

Cơ chế hoạt động

Quy trình xử lý có thể tóm gọn như sau:

• Một adapter trao mỗi kết nối HTTP hoặc WebSocket cho định dạng máy khách đầu tiên nhận diện được nó.
• Định dạng này biểu diễn yêu cầu dưới dạng luồng hai chiều gồm các sự kiện đầu vào và đầu ra có kiểu dữ liệu.
• Lõi chạy các plugin theo thứ tự đăng ký, cho phép chúng chọn nhà cung cấp, lọc hoặc bọc một trong hai luồng, thực hiện thêm lời gọi, trả về phản hồi hoặc từ chối yêu cầu.
• Sau đó một định dạng nhà cung cấp mở kết nối tới upstream.

Nếu máy khách và nhà cung cấp dùng cùng định dạng và không plugin nào thay đổi dữ liệu, các byte gốc và trường đặc thù giao thức có thể truyền thẳng không đổi. Khi định dạng khác nhau, chúng được chuyển đổi qua các kiểu dùng chung cho tin nhắn, lời gọi công cụ, kết quả, luồng và mức sử dụng. Mô hình luồng này biểu diễn được cả yêu cầu HTTP một lần lẫn phiên hai chiều kéo dài.

Giấy phép và cách dùng

Gateway được mã nguồn mở tại github.com/respanai/respan-gateway theo giấy phép MIT hoặc Apache-2.0. Người dùng không bắt buộc phải dùng nền tảng được lưu trữ của Respan mà có thể chạy trực tiếp trên máy. Chỉ cần build từ mã nguồn, thêm khóa nhà cung cấp và thay đổi base URL trong một máy khách được hỗ trợ — API mà máy khách đang dùng vẫn giữ nguyên.

Cần lưu ý dự án vẫn đang ở giai đoạn tiền alpha (pre-alpha).

Về mô hình kinh doanh, Respan kiếm tiền từ nền tảng lưu trữ chạy gateway giúp khách hàng, kèm khả năng quan sát (observability) và đánh giá (evals) gốc, cùng hóa đơn hợp nhất.

Góc nhìn cho đội ngũ kỹ thuật tại Việt Nam

Với các đội phát triển sản phẩm AI tại Việt Nam thường xuyên phải linh hoạt chuyển đổi giữa nhiều nhà cung cấp mô hình do yếu tố chi phí, tốc độ hoặc giới hạn truy cập, một gateway nhỏ gọn và dễ mở rộng như Respan là lựa chọn đáng cân nhắc. Kiến trúc plugin cũng cho phép tự viết thành phần riêng — ví dụ tích hợp một nhà cung cấp mô hình nội địa hoặc thêm bộ lọc dữ liệu phù hợp quy định bảo vệ dữ liệu cá nhân — mà không cần chờ dự án chính hỗ trợ.

Đội ngũ Respan cũng kêu gọi cộng đồng đóng góp plugin cho định tuyến, công cụ, lọc dữ liệu, quan sát và bảo mật. Tệp PLUGINS.md trong kho mã nguồn hướng dẫn cách viết plugin và liên kết tới những plugin đã có. Xây dựng hệ sinh thái này chính là lộ trình phát triển chính của dự án.