Kimi Vendor Verifier: Công cụ mã nguồn mở xác minh độ chính xác của nhà cung cấp suy luận

Kimi Vendor Verifier: Công cụ mã nguồn mở xác minh độ chính xác của nhà cung cấp suy luận

Cùng với sự ra mắt của mô hình Kimi K2.6, chúng tôi tự hào giới thiệu dự án mã nguồn mở Kimi Vendor Verifier (KVV). Đây là một công cụ được thiết kế để giúp người dùng của các mô hình mã nguồn mở có thể xác minh độ chính xác của các triển khai suy luận (inference) mà họ sử dụng.

Việc mã nguồn mở một mô hình AI chỉ mới là một nửa chặng đường. Nửa còn lại, và cũng quan trọng không kém, là đảm bảo mô hình đó hoạt động chính xác trên mọi nền tảng triển khai khác nhau. Chúng tôi xây dựng KVV không phải như một ý tưởng sau cùng, mà là một bài học kinh nghiệm thực tế từ quá trình phát triển sản phẩm.

Từ các sự cố rời rạc đến vấn đề mang tính hệ thống

Kể từ khi phát hành K2 Thinking, chúng tôi đã nhận được nhiều phản hồi từ cộng đồng về sự bất thường trong các điểm chuẩn (benchmark scores). Sau khi điều tra, chúng tôi xác nhận rằng một phần lớn các trường hợp này xuất phát từ việc sử dụng sai các tham số giải mã (Decoding parameters). Để khắc phục ngay lập tức, chúng tôi đã xây dựng tuyến phòng thủ đầu tiên ở cấp độ API: bắt buộc đặt Temperature=1.0 và TopP=0.95 trong chế độ Thinking, đồng thời xác thực nội dung suy nghĩ phải được trả về đúng cách.

Tuy nhiên, những bất thường tinh tế hơn đã nhanh chóng kích hoạt cảnh báo của chúng tôi. Trong một đợt đánh giá cụ thể trên LiveBenchmark, chúng tôi quan sát thấy sự tương phản rõ rệt giữa API của bên thứ ba và API chính thức. Sau khi kiểm tra rộng rãi trên nhiều nhà cung cấp hạ tầng khác nhau, chúng tôi nhận thấy sự khác biệt này là phổ biến.

Điều này đã phơi bày một vấn đề sâu xa hơn trong hệ sinh thái mô hình mã nguồn mở: Các trọng số (weights) càng được mở rộng và các kênh triển khai càng đa dạng, thì việc kiểm soát chất lượng càng trở nên kém hiệu quả. Nếu người dùng không thể phân biệt được "khuyết điểm về khả năng của mô hình" và "sai lệch trong triển khai kỹ thuật", niềm tin vào hệ sinh thái mã nguồn mở chắc chắn sẽ sụp đổ.

Giải pháp và Tiếp cận của KVV

Dự án tập trung vào sáu điểm chuẩn quan trọng được lựa chọn để phát hiện các lỗi hạ tầng cụ thể. Chiến lược của chúng tôi bao gồm:

• Sửa lỗi nguồn (Upstream Fix): Chúng tôi làm việc chặt chẽ với các cộng đồng vLLM, SGLang và KTransformers để khắc phục nguyên nhân gốc rễ, thay vì chỉ phát hiện các triệu chứng bề mặt.
• Xác thực trước phát hành (Pre-Release Validation): Thay vì chờ đợi khiếu nại sau khi triển khai, chúng tôi cung cấp quyền truy cập sớm để kiểm tra các mô hình. Điều này cho phép các nhà cung cấp hạ tầng xác thực hệ thống của họ trước khi người dùng gặp phải sự cố.
• Điểm chuẩn liên tục (Continuous Benchmarking): Chúng tôi sẽ duy trì một bảng xếp hạng công khai kết quả của các nhà cung cấp. Sự minh bạch này khuyến khích các nhà cung cấp ưu tiên độ chính xác.

Chúng tôi đã hoàn tất xác nhận quy trình đánh giá trên hai máy chủ NVIDIA H20 8-GPU, với thời gian thực thi tuần tự khoảng 15 giờ. Để cải thiện hiệu quả đánh giá, các tập lệnh đã được tối ưu hóa cho các kịch bản suy luận chạy dài (long-running inference), bao gồm cơ chế suy luận luồng (streaming inference), tự động thử lại và khôi phục điểm kiểm tra (checkpoint resumption).

Các trọng số mô hình đã được mở. Và kiến thức để chạy chúng chính xác cũng cần được mở theo. Chúng tôi đang mở rộng phạm vi bao phủ các nhà cung cấp và tìm kiếm các bài kiểm thử tác nhân (agentic tests) nhẹ nhàng hơn. Nếu bạn quan tâm, vui lòng liên hệ với chúng tôi qua email.