Semble: Công cụ tìm kiếm mã nguồn cho AI Agents, tiết kiệm 98% token và chạy siêu nhanh trên CPU

Semble: Công cụ tìm kiếm mã nguồn cho AI Agents, tiết kiệm 98% token và chạy siêu nhanh trên CPU

Trong bối cảnh các lập trình viên ngày càng phụ thuộc vào các trợ lý AI như Claude Code, Cursor hay Codex để viết và duy trì mã nguồn, vấn đề chi phí và hiệu suất khi tìm kiếm trong các kho code (codebase) khổng lồ đang trở nên cấp thiết. Semble, một công cụ mã nguồn mở mới được phát triển bởi MinishLab, đã ra đời để giải quyết bài toán này bằng cách cung cấp khả năng tìm kiếm mã nguồn chuyên sâu, tiết kiệm tài nguyên và cực kỳ tốc độ.

Hiệu quả tiết kiệm token của Semble so với các phương pháp khác

Vấn đề của việc tìm kiếm code truyền thống

Khi các tác nhân AI (AI agents) không thể tìm thấy thông tin trực tiếp trong ngữ cảnh hiện tại, chúng thường phải quay lại các phương pháp cũ như grep để tìm kiếm, đọc toàn bộ các tệp tin hoặc khởi chạy các tác vụ con. Phương pháp này không chỉ tiêu tốn một lượng lớn token (đơn vị tính phí của AI) mà còn thường bỏ sót các đoạn mã liên quan do thiếu khả năng hiểu ngữ nghĩa.

Các công cụ hiện có trên thị trường thường gặp phải các hạn chế như tốc độ indexing chậm, yêu cầu API keys trả phí, hoặc chất lượng truy xuất thấp. Semble ra đời như một giải pháp tối ưu hóa, chạy hoàn toàn trên CPU và không cần bất kỳ cấu hình phức tạp nào.

Tốc độ và Hiệu suất vượt trội

Điểm nổi bật nhất của Semble là khả năng tiết kiệm tới 98% lượng token so với phương pháp grep kết hợp đọc file. Theo các bài kiểm chuẩn (benchmark) trên khoảng 1.250 cặp truy vấn/tài liệu trải dài trên 63 kho lưu trữ và 19 ngôn ngữ lập trình, Semble đạt được hiệu suất ấn tượng:

• Tốc độ: Chỉ mất khoảng 250ms để index một kho code tiêu chuẩn và 1.5ms cho mỗi truy vấn trên CPU.
• Độ chính xác: Đạt chỉ số NDCG@10 là 0.854, tương đương 99% chất lượng truy xuất của các mô hình Transformer chuyên dụng có 137 triệu tham số.
• Hiệu quả: Nhanh hơn khoảng 200 lần so với các mô hình Transformer chuyên về code trong khâu indexing.

Biểu đồ so sánh tốc độ và độ chính xác (NDCG) của Semble

Công nghệ đằng sau Semble

Sức mạnh của Semble đến từ sự kết hợp thông minh giữa các kỹ thuật truy xuất thông tin và mã hóa:

• Static Model2Vec Embeddings: Sử dụng mô hình tĩnh mới nhất là potion-code-16M để tạo embedding mã nguồn mà không cần quá trình truyền tiếp (forward pass) của Transformer tại thời điểm truy vấn.
• BM25: Kỹ thuật tìm kiếm từ vựng giúp xác định chính xác các định danh (identifiers) và tên API.
• RRF (Reciprocal Rank Fusion): Hợp nhất kết quả từ embedding và BM25.
• Reranking với tín hiệu nhận thức code: Hệ thống xếp hạng lại kết quả dựa trên các tín hiệu đặc thù của lập trình như trọng số thích ứng, tăng cường định nghĩa, và tính nhất quán của tệp.

Nhờ việc sử dụng mô hình tĩnh, mọi quy trình đều chạy trong vài mili-giây trên CPU thông thường, loại bỏ nhu cầu về GPU đắt đỏ.

Tích hợp dễ dàng với MCP Server

Semble được thiết kế để hoạt động như một máy chủ MCP (Model Context Protocol), cho phép tích hợp liền mạch với các công cụ phổ biến như Claude Code, Cursor, Codex và OpenCode. Người dùng có thể cài đặt nhanh chóng với một lệnh đơn giản:

claude mcp add semble -s user -- uvx --from "semble[mcp]" semble

Ngoài ra, Semble cũng hỗ trợ tích hợp qua Bash hoặc sử dụng như một thư viện Python API cho các nhu cầu tùy chỉnh. Công cụ có khả năng tự động theo dõi thay đổi tệp và re-index khi cần thiết, đồng thời hỗ trợ cả đường dẫn cục bộ và URL git từ xa.

Tính năng chính

• Tiết kiệm Token: Trả về chỉ các đoạn mã (chunks) liên quan, giảm 98% token so với việc đọc toàn bộ tệp.
• Tốc độ cao: Index và truy vấn gần như tức thì.
• Không cần cấu hình: Chạy trên CPU, không cần API key, GPU hay dịch vụ bên ngoài.
• Mã nguồn mở: Giấy phép MIT, hoàn toàn miễn phí cho cộng đồng.

Với Semble, các lập trình viên và các tác nhân AI giờ đây có thể "lướt" qua hàng triệu dòng mã một cách thông minh hơn, giảm thiểu chi phí vận hành và tăng năng suất làm việc.