EditLens: Phát hiện và đo lường mức độ can thiệp của AI vào văn bản

Trong kỷ nguyên trí tuệ nhân tạo (AI), các mô hình ngôn ngữ lớn (LLM) không chỉ được sử dụng để tạo ra văn bản mới mà còn đóng vai trò như một công cụ biên tập đắc lực. Tuy nhiên, việc xác định xem một đoạn văn bản đã bị AI "can thiệp" bao nhiêu phần trăm vẫn là một thách thức lớn. Đó chính là lý do nhóm nghiên cứu của Katherine Thai và các cộng sự đã phát triển EditLens.

Trước đây, các nghiên cứu chủ yếu tập trung vào việc phát hiện văn bản được tạo hoàn toàn bởi AI. EditLens đi xa hơn một bước bằng cách chứng minh rằng văn bản được AI chỉnh sửa là có thể phân biệt được so với văn bản do con người viết hoặc do AI tạo ra hoàn toàn.

Cơ chế hoạt động của EditLens

Đầu tiên, nhóm nghiên cứu đề xuất sử dụng các chỉ số tương đồng nhẹ (lightweight similarity metrics) để định lượng mức độ chỉnh sửa của AI dựa trên văn bản gốc do con người viết. Các chỉ số này đã được xác thực bởi những người chú thích (annotators) con người.

Sử dụng các chỉ số tương đồng này làm giám sát trung gian, nhóm đã huấn luyện EditLens — một mô hình hồi quy có khả năng dự đoán lượng chỉnh sửa của AI có trong một văn bản nhất định.

Hiệu suất vượt trội

Mô hình này đã đạt được hiệu suất tốt nhất hiện tại (state-of-the-art) trong cả hai nhiệm vụ phân loại:

• Phân loại nhị phân (con người so với AI): Đạt điểm F1 là 94,7%.
• Phân loại tam phân (con người, AI và văn bản hỗn hợp): Đạt điểm F1 là 90,4%.

Điều này không chỉ cho thấy văn bản được AI chỉnh sửa có thể bị phát hiện, mà còn cho thấy mức độ thay đổi mà AI áp dụng cho văn bản của con người cũng có thể được đo lường chính xác.

Nghiên cứu điển hình với Grammarly

Để minh họa cho khả năng ứng dụng của mình, nhóm nghiên cứu đã sử dụng EditLens để phân tích các hiệu ứng của việc chỉnh sửa văn bản bằng Grammarly — một công cụ hỗ trợ viết phổ biến. Kết quả cho thấy mô hình có thể phát hiện chính xác các thay đổi do công cụ này thực hiện.

Ý nghĩa và tương lai

Khả năng định lượng mức độ chỉnh sửa của AI mang lại những hàm ý quan trọng trong việc xác định quyền tác giả, giáo dục và các chính sách liên quan đến nội dung số. Để thúc đẩy nghiên cứu thêm trong lĩnh vực này, các tác giả cam kết sẽ công khai mã nguồn và bộ dữ liệu của mô hình EditLens.