Verity: Công cụ kiểm chứng sự thật giúp AI cục bộ "nói thật" hơn

Trong bối cảnh ngày càng nhiều người chuyển sang sử dụng các mô hình ngôn ngữ lớn (LLM) chạy cục bộ trên máy tính cá nhân vì lo ngại về chi phí đám mây, quyền riêng tư và tính sẵn sàng, vấn đề về tính chính xác của thông tin trở nên cấp thiết hơn bao giờ hết. Để giải quyết vấn đề này, dự án Enforce thuộc Hội đồng Tự do Dân sự Ireland (ICCL) đã giới thiệu giải pháp Verity – một máy chủ MCP (Model Context Protocol) được thiết kế để kiểm chứng sự thật cho các hệ thống AI tại chỗ.

Các LLM nổi tiếng với khả năng tự tin đưa ra những tuyên bố hoàn toàn sai sự thật, một hiện tượng thường được gọi là "ảo giác". Verity không chỉ đơn thuần là một công cụ kiểm tra đơn giản; nó là một hệ thống nhiều lớp nhằm giảm thiểu các tuyên bố sai lệch và nguồn tin giả mạo từ các LLM tự lưu trữ.

Cơ chế hoạt động đa lớp

Khác với các phương pháp "LLM đóng vai trò thẩm phán" – nơi một mô hình AI đánh giá mô hình khác – Verity vận hành theo cơ cấu phức tạp hơn với bảy lớp phân tích riêng biệt. Hệ thống này bao gồm:

• Các quy tắc nghiêm ngặt về nguồn dẫn chứng thực tế.
• Một mô hình phê bình (critic LLM) mạnh mẽ, khác biệt với dòng mô hình chính.
• Một mô hình phê bình nhỏ hơn, sử dụng dữ liệu huấn luyện khác biệt.
• Một bộ mã hóa transformer (encoder transformer) được huấn luyện trên các nhãn entailment (sự bao hàm).
• Trình đánh giá biểu thức chính quy (regex evaluator).
• Bộ lấy mẫu ngẫu nhiên lại (stochastic re-sampler) để bắt các phỏng đoán có độ tin cậy thấp.
• Trình phân tích xác suất logarit (logprob analyser) kiểm tra entropy của token.

Tận dụng phần cứng cũ để tăng độ tin cậy

Một điểm thú vị của Verity là cách nó tận dụng tài nguyên phần cứng. Cấu hình tham chiếu đề xuất sử dụng một PC đời 2020 với card đồ họa Nvidia RTX 5070 Ti (16 GB) để chạy mô hình chính (Qwen 3.5 9B), đồng thời sử dụng một card đồ họa cũ hơn là AMD Radeon RX 5700 XT (8 GB, đời 2019) để chạy các mô hình phê bình (IBM Granite 3.2 8B & 2B).

Theo Tiến sĩ Johnny Ryan, giám đốc dự án ICCL Enforce, việc chạy LLM trên phần cứng riêng mang lại lợi thế lớn là có thể thực hiện các bước đối chiếu thông tin. Ông ví von rằng bạn có thể sử dụng một card đồ họa cũ để độc lập đưa ra "ý kiến thứ hai" bằng một LLM khác trên cùng một máy tính. Hai mô hình này sau đó có thể "tranh luận" với nhau ở cuối quá trình mà không làm chậm đáng kể tốc độ xử lý.

Đối với các máy chỉ có một GPU như MacBook Pro hoặc Mac mini, hệ thống có thể được cấu hình để đánh giá đầu ra của LLM chính sau khi quá trình tạo văn bản hoàn tất.

Giới hạn và triển vọng

Mặc dù hứa hẹn, Verity vẫn có những hạn chế vốn có của các mô hình AI cục bộ: dữ liệu huấn luyện có điểm cắt-off (cutoff date). Điều này có nghĩa là các mô hình sẽ không hữu ích lắm trong việc kiểm tra các sự kiện được thiết lập sau ngày cắt-off trừ khi được trang bị các công cụ lấy dữ liệu trực tuyến.

Tuy nhiên, với sự hỗ trợ của các công cụ tìm kiếm dữ liệu trực tuyến, Verity có thể khắc phục được vấn đề này. Đây được xem là một bước tiến quan trọng, đặc biệt khi các LLM đang ngày càng được tích hợp sâu vào các hệ thống tư pháp, dịch vụ công, đời sống doanh nghiệp và thậm chí là quân sự, nơi độ chính xác của thông tin là yếu tố sống còn.