Proxy-Pointer: Khung AI mới giúp so sánh và phân tích tài liệu doanh nghiệp chính xác hơn

Trong môi trường doanh nghiệp hiện đại, việc so sánh tài liệu là một trong những trường hợp sử dụng AI quan trọng nhất, ngang hàng với các chatbot hội thoại. Các tổ chức dành hàng giờ đồng hồ để so sánh hợp đồng, chính sách, thông số kỹ thuật, đơn kiện pháp lý và các bài báo nghiên cứu nhằm tìm ra sự khác biệt, rủi ro và các mâu thuẫn về ngữ nghĩa.

Tuy nhiên, so sánh tài liệu phức tạp hơn nhiều so với việc so sánh văn bản truyền thống. Các công cụ hiện nay thường không đáp ứng được yêu cầu về độ sâu và chuyên môn mà các chuyên gia pháp lý, thương mại hoặc khoa học mong đợi. Một thách thức lớn hơn nữa là ý nghĩa trong các tài liệu doanh nghiệp thường không nằm trong các đoạn văn bản rời rạc, mà được nhúng trong các phần, cấu trúc phân cấp, nhóm điều khoản và các mối quan hệ phức tạp trải dài trên hàng trăm trang.

Kiến trúc hệ thống Proxy-Pointer

Ví dụ, một thỏa thuận tín dụng có thể định nghĩa giới hạn tài sản thế chấp ở một phần, ngoại lệ ở một phần khác cách xa hàng chục trang, và mô tả quyền thực thi ở một điều khoản hoàn toàn khác. Để so sánh hiệu quả, hệ thống phải xác định, truy xuất và tổng hợp tất cả các phần phân tán này trước khi bắt đầu quá trình phân tích.

Đây chính là nơi Proxy-Pointer phát huy tác dụng. Đây là một khung kiến trúc nhận thức cấu trúc (structure-aware) với quy trình truy xuất chi phí thấp nhưng vẫn bảo toàn thứ bậc của tài liệu. Bằng cách kết hợp các vector nhúng phân cấp (hierarchical breadcrumb embeddings) và bộ xếp hạng lại LLM nhẹ nhàng, Proxy-Pointer có thể trích xuất chính xác các vùng tương đồng về ngữ nghĩa giữa các tài liệu trước khi bắt đầu suy luận so sánh.

Kiến trúc so sánh tài liệu

Hệ thống được chia thành ba tầng chính, tách biệt động cơ so sánh cốt lõi khỏi xử lý tài liệu ngược dòng và định dạng báo cáo xuôi dòng. Điều này cho phép hệ thống dễ dàng thích ứng với bất kỳ lĩnh vực tài liệu mới nào (như chính sách bảo hiểm, hướng dẫn y tế hoặc luật thuế).

1. Tầng trích xuất ngược dòng (Upstream Extraction Layer)

Tầng này chuyển đổi cấu trúc tài liệu thô thành hệ thống phân cấp có thể đọc được bởi máy.

• extract_pdf_to_md.py: Xử lý việc nhập dữ liệu, chuyển đổi PDF thành Markdown có định dạng phân cấp rõ ràng.
• build_doc_index.py: Phân tích tiêu đề Markdown, lọc nhiễu hành chính và xây dựng bản đồ cấu trúc JSON phân cấp.

2. Động cơ so sánh cốt lõi (Core Comparison Engine)

Đây là bộ phận điều phối tìm kiếm ngữ nghĩa trên các nút tài liệu phân cấp.

• criteria_validator.py: Phát hiện loại tài liệu (Ví dụ: Học thuật vs. Pháp lý) và kiểm tra tính khả thi của tiêu chí so sánh.
• section_selector.py: Triển khai truy xuất Proxy-Pointer Giai đoạn 1. Nó xác định và trích xuất các phần liên quan nhất của Tài liệu 1 dựa trên tiêu chí người dùng bằng cách sử dụng tìm kiếm ngữ nghĩa FAISS và bộ xếp hạng lại LLM.
• cross_retriever.py: Triển khai truy xuất Proxy-Pointer Giai đoạn 2. Nó thực hiện tìm kiếm ngữ nghĩa có mục tiêu trong không gian vector của Tài liệu 2 bằng cách sử dụng ngữ cảnh của các phần Tài liệu 1 đã chọn.
• section_comparator.py: Điều phối các đánh giá cặp của các phần khớp, chuyển chúng cho LLM để phân tích sự liên kết và khác biệt.

Giao diện so sánh tài liệu

3. Tầng trình bày xuôi dòng (Downstream Presentation Layer)

Tùy chỉnh đầu ra phân tích cho đối tượng mục tiêu và định dạng hình ảnh trực quan cuối cùng.

• build_comparison_prompt: Gán nhân cách phù hợp (Ví dụ: Nhà nghiên cứu học thuật có kinh nghiệm hoặc Cố vấn pháp lý cấp cao) dựa trên loại tài liệu được phát hiện.
• report_builder.py: Hiển thị báo cáo so sánh cuối song song với màu sắc CSS chuyên nghiệp và định dạng bố cục dễ đọc.

Kết quả thực tế

Để kiểm chứng, hệ thống đã được thử nghiệm trên các Thỏa thuận tín dụng công khai (Emerson và Texas Roadhouse) và các bài báo nghiên cứu (VectorFusion và VectorPainter).

So sánh Thỏa thuận tín dụng

Hệ thống đã thực hiện nhiều truy vấn với các tiêu chí đa dạng như "cấu trúc tài sản thế chấp, lợi ích bảo đảm" hay "sự kiện mặc định, biện pháp khắc phục của người cho vay". Kết quả cho thấy Proxy-Pointer không chỉ khớp các điều khoản theo từ khóa, mà còn nhìn nhận chúng dưới góc độ của một chuyên gia phân tích pháp lý.

Nó xác định được các hậu quả kinh tế và pháp lý ẩn giấu dưới ngôn ngữ bề ngoài tương tự, chẳng hạn như rủi ro cấp dưới cấu trúc (structural subordination risk) bên trong một cam kết không thế chấp (negative pledge). Khi đổi vị trí tài liệu, hệ thống vẫn duy trì sự nhất quán, đánh giá lại thỏa thuận từ góc nhìn của tài liệu mới mà không bị "neo" vào tài liệu cũ.

So sánh bài báo nghiên cứu

Trong lĩnh vực đồ họa vector chuyên sâu, hệ thống đã so sánh VectorFusion và VectorPainter. Kết quả cho thấy một sự so sánh mang tính chuyên sâu cao, giúp các nhà nghiên cứu so sánh cả hai bài báo mà không cần đọc hết chúng. Proxy-Pointer vượt ra ngoài việc khớp kiến trúc bề mặt và xác định triết lý thiết kế sâu sắc đằng sau cả hai bài báo.

Phân tích chi tiết

Kết luận

Việc so sánh tài liệu bằng phương pháp Chunk-Embed-Match (chia nhỏ - nhúng - khớp) truyền thống khó có thể mang lại kết quả tốt cho các tài liệu doanh nghiệp phức tạp. Ý nghĩa ngữ nghĩa được đóng gói trong các phần và tiểu mục chứa văn bản dày đặc.

Proxy-Pointer với quy trình truy xuất hai bước chính xác là giải pháp lý tưởng cho nhiệm vụ này. Ngay cả khi sử dụng một mô hình LLM giá rẻ như gemini-flash, hệ thống vẫn có thể so sánh các thỏa thuận hoặc bài báo nghiên cứu một cách chính xác, bảo toàn ý định và sự đánh đổi tiềm ẩn ẩn giấu trong các phần cấu trúc khác biệt.

Toàn bộ mã nguồn của Proxy-Pointer đã được mở (MIT License) và có thể được truy cập tại kho lưu trữ GitHub. Người dùng có thể clone repo và thử nghiệm với các tài liệu riêng của mình.