Flide: engine suy luận cho mô hình quyết định nhanh gấp 9,5 lần

Flide banner

Nhóm phát triển Flide vừa giới thiệu trên Hacker News một engine suy luận (inference engine) mã nguồn mở chuyên dụng cho các mô hình quyết định (decision model) kiểu Jev. Theo nhóm, công cụ này đạt tốc độ nhanh hơn tới 9,5 lần so với vLLM và SGLang, đồng thời đảm bảo mỗi câu trả lời đúng là kết quả mô hình đưa ra khi chỉ xử lý riêng câu hỏi đó.

Điểm đáng chú ý là Flide không cố gắng "độ" các engine phục vụ mô hình ngôn ngữ phổ thông, mà xây dựng một engine riêng vì mô hình quyết định cần cách suy luận khác về bản chất.

Vì sao cần engine riêng?

Các mô hình quyết định nhận vào một trạng thái (state) cùng danh sách câu hỏi kèm lựa chọn, rồi trả về câu trả lời cho từng câu hỏi đó. Cách làm này khác với sinh văn bản tự do, và theo nhóm phát triển, nó cần một engine suy luận chuyên biệt để khai thác đúng cấu trúc của bài toán.

Flide giải quyết vấn đề này bằng kỹ thuật mà nhóm gọi là exact state forking (tách trạng thái chính xác): nhiều nhánh suy luận xuất phát từ cùng một trạng thái được tính toán mà không làm sai lệch kết quả so với khi chạy riêng lẻ. Nhóm đã công bố bài báo khoa học Flide: Accelerating Decision Inference with Exact State Forking trên arXiv ngày 2/11/2026, và cung cấp lệnh flide verify để người dùng tự kiểm tra tính chính xác của cơ chế tách trạng thái trên mô hình của mình.

Phiên bản Flide trên PyPI

Cài đặt và sử dụng

Flide phát hành trên PyPI từ phiên bản 0.1.0 (24/10/2026) và đến nay đã lên 0.1.10. Cách khởi động được nhóm mô tả ngắn gọn:

uv venv -p 3.12 && source .venv/bin/activate
uv pip install flide torchvision
flide serve --model OmniJev/OneJev1.6-0.8B

Engine phục vụ API /v1/systemone. Một yêu cầu gửi tới endpoint này gồm một trường state mô tả tình huống, và một đối tượng questions với các câu hỏi thuộc hai dạng: choice (chọn giữa các phương án có tiêu chí rõ ràng) và noul (câu hỏi dạng có/không). Từ phiên bản 0.1.9, endpoint này nhận được nhiều yêu cầu trong cùng một body.

Hiệu năng trên từng mô hình

Nhóm đo độ trễ trung vị (median latency) trên một GPU H200, so sánh Flide với engine mà mỗi bản phát hành mô hình vốn đi kèm. Với các mô hình chat, mốc so sánh là engine nhanh hơn giữa vLLM và SGLang; riêng OneJev so với qev. Mức tăng tốc thay đổi khá lớn tùy mô hình và tùy bộ kiểm thử:

• Kev: khoảng 7,9 lần trên Decision Index.
• Senova: 28,1 lần trên MultiRC.
• Sieve: 14,3 lần trên MultiRC.
• Wald: 12,7 lần trên MultiRC.
• AJev: 9,3 lần trên MultiRC.
• OneJev: khoảng 6,8 lần trên Decision Index, 7,3 lần trên MultiRC, 4,7 lần trên QuALITY.

Ở chiều ngược lại, một số mô hình chỉ nhích hơn bản gốc rất ít, chẳng hạn Clef đạt 1,3 lần trên Decision Index và 1,0 lần trên MultiRC hay QuALITY. Mức tăng tốc "tối đa 9,5 lần" trong tiêu đề vì vậy là con số tốt nhất ghi nhận được, không phải mức trung bình cho mọi trường hợp.

Hơn 30 dòng mô hình được hỗ trợ

Tính đến bản 0.1.10, Flide hỗ trợ hơn 30 dòng mô hình quyết định, trong đó nhiều dòng nhận cả văn bản lẫn hình ảnh (và OneJev, Xor còn nhận cả video). Danh sách trải rộng từ các mô hình quyết định như Drex, KnowLine, Lychee, mammoth, Quyet, StartLux tới các mô hình chat như Qwen3.5 và Gemma 4. Ba dòng mới nhất bổ sung ngày 9/11/2026 là Ainvest-Decision, Darwin-27B-RSI-Decision và KnowLine-31B-Gen1.5 — riêng họ KnowLine nay đọc được ảnh.

Ngoài ra engine có các tùy chọn đáng chú ý:

• --session-cache-gb 40: giữ trạng thái của các yêu cầu trước, để bước tiếp theo của agent chỉ phải đọc phần mới.
• --batch-invariant: đảm bảo một yêu cầu cho ra đúng từng bit kết quả bất kể nó được gộp chung lô với yêu cầu nào, đổi lại tốc độ chậm hơn.
• --quantize fp8: chạy Qwen3.5 ở định dạng FP8 trên GPU Ada, Hopper và Blackwell.
• --frontends 2: tách phần xử lý HTTP, render và tokenize ra hai tiến trình riêng, phù hợp khi có nhiều client.

Flide phát hành theo giấy phép Apache-2.0. Trong mã nguồn có một kernel trong flide/kernels/gdn.py phát triển từ hai kernel của dự án flash-linear-attention (giấy phép MIT), và được ghi rõ trong tệp THIRD_PARTY_NOTICES.

Tài liệu Flide

Góc nhìn

Với đội ngũ kỹ thuật Việt Nam đang thử nghiệm agent hoặc hệ thống hỗ trợ ra quyết định, điểm hấp dẫn của Flide nằm ở chỗ vài dòng lệnh pip là chạy được, không phải tự dựng hạ tầng suy luận phức tạp. Việc hỗ trợ các mô hình nhỏ như OneJev1.6-0.8B cũng mở khả năng chạy trên phần cứng khiêm tốn hơn, điều thường quyết định chi phí thử nghiệm.

Tuy nhiên, các con số tăng tốc cần được đọc theo từng bối cảnh: mức tăng phụ thuộc mạnh vào mô hình, bộ kiểm thử và cả kích thước lô, có trường hợp gần như không cải thiện. Nhóm nên đo lại trên đúng mô hình và đúng mẫu yêu cầu của mình, đồng thời dùng flide verify để chắc chắn cơ chế tách trạng thái vẫn giữ nguyên kết quả trước khi đưa vào vận hành thực tế.