EmDash dùng Clef để kiểm duyệt kho plugin

EmDash vừa công bố cách họ sử dụng mô hình ra quyết định Clef của Cloudflare để tự động kiểm duyệt mọi plugin trước khi xuất hiện trong kho chính thức. Đây là bước đi nhằm giữ cho kho plugin luôn mở với các nhà phát triển, nhưng đồng thời ngăn chặn các nội dung độc hại lọt vào danh mục.

Clef là gì và vì sao phù hợp với kho plugin?

Clef là một mô hình ra quyết định (decision model) — thay vì sinh văn bản, nó trả lời các câu hỏi có giới hạn bằng xác suất có kiểu dữ liệu rõ ràng mà mã ứng dụng có thể xử lý trực tiếp. Điểm đặc biệt là Clef còn chấp nhận cả hình ảnh đầu vào.

Hai đặc tính này rất khớp với kho plugin của EmDash, bởi mỗi danh sách plugin là sự kết hợp giữa siêu dữ liệu có cấu trúc, các đường dẫn liên kết và tài nguyên hình ảnh như biểu tượng hay ảnh chụp màn hình.

Kho plugin này được xây dựng trên AT Protocol, cho phép tác giả plugin tự phát hành các bản phát hành đã ký từ tài khoản của chính họ. EmDash không kiểm soát bản ghi gốc, nhưng họ quyết định nội dung nào được hiển thị trên plugins.emdashcms.com. Nhờ vậy, việc kiểm duyệt tự động giúp duy trì mô hình xuất bản mở mà không biến danh mục thành cửa ngõ cho kẻ lạm dụng.

Chín câu hỏi cho văn bản, tám câu hỏi cho hình ảnh

Khi một plugin được xuất bản, hệ thống gán nhãn của EmDash sẽ hỏi Clef chín câu hỏi về phần văn bản và liên kết của plugin, bao gồm:

• Nội dung khiêu dâm rõ ràng, nội dung thù địch hoặc phi nhân tính hóa, bạo lực đồ họa;
• Lừa đảo chiếm đoạt thông tin đăng nhập (phishing), mạo danh, lừa đảo và spam;
• Đường dẫn gây nhầm lẫn, phương tiện hoặc tuyên bố gây hiểu nhầm, và các nỗ lực thao túng hệ thống kiểm duyệt.

Với mỗi biểu tượng và ảnh chụp màn hình, hệ thống hỏi tám câu hỏi tương ứng. Các liên kết được đánh giá dựa trên văn bản và đích đến thay vì từ ảnh chụp màn hình — cách làm này tránh việc vô tình gắn cờ cho những ảnh chụp màn hình thông thường của công cụ lọc spam hay kiểm tra liên kết.

Clef trả về xác suất cho từng hạng mục. Ngưỡng 0,45 trở lên sẽ đẩy danh sách sang cho người vận hành xem xét. Mô hình không bao giờ có tiếng nói cuối cùng để chặn một plugin.

Vì sao EmDash chọn Clef thay vì các mô hình khác

EmDash cho biết việc lựa chọn mô hình cho các công cụ tự động hóa luôn dựa trên đánh giá thực nghiệm, và họ thường xuyên thử nghiệm các mô hình mới. Quy trình kiểm duyệt trước đây cần hai mô hình đa dụng phải đồng thuận về văn bản, cộng thêm một lượt xử lý riêng cho hình ảnh. Cách này vừa chậm hơn, vừa tạo nhiều khả năng bị quá thời gian hoặc trả về kết quả không đầy đủ.

Kiểm duyệt tự động kho plugin với mô hình AI

Đội ngũ EmDash cho biết họ từng háo hức đánh giá Jev khi mô hình này ra mắt, nhưng kết quả lại kém hơn cả mức cơ sở. Trong khi đó, kết quả với Clef tốt hơn hẳn. Điểm khiến họ hài lòng nhất là Clef là mô hình đa phương thức, nên có thể dùng cùng một mô hình cho cả văn bản lẫn hình ảnh.

"Trước đây chúng tôi phải dùng nhiều mô hình kết hợp mới có kết quả đáng tin, nhưng Clef đánh bại tất cả, đồng thời nhanh hơn nhiều."

— Matt Kane, người bảo trì chính của EmDash

EmDash đã thử nghiệm Clef với các ca kiểm thử hồi quy công khai được xây dựng cho kho plugin và một tập dữ liệu bảo vệ riêng. Qua ba lần lặp lại với 21 mẫu văn bản công khai, Clef đưa ra quyết định đúng (cho qua hoặc cần xem xét) trong cả 63 lần chạy, không có đầu ra không hợp lệ hay bất đồng giữa các lần lặp. Độ trễ kiểm duyệt văn bản đầu-cuối đạt 1,64 giây ở phân vị p95. Clef cũng vượt qua cả 37 hồ sơ plugin và 43 ảnh danh sách đang hoạt động trong kho tại thời điểm đánh giá.

Ý nghĩa với nhà phát triển plugin

Việc thay thế bộ công cụ cũ bằng Clef mang lại cho kho plugin một mô hình đa phương thức duy nhất và một giao diện dựa trên xác suất cho toàn bộ danh sách. Nhờ đó, kiểm duyệt nhanh hơn, việc triển khai dễ kiểm tra hơn, đồng thời vẫn giữ được con đường "fail-closed" dẫn tới con người xem xét.

Đáng chú ý là thay đổi này không thêm bước mới nào cho tác giả plugin. Họ vẫn tạo khung và xuất bản bằng CLI plugin của EmDash, còn kho sẽ chạy các kiểm tra trước khi thêm bản phát hành vào danh mục khám phá.

Nếu một danh sách cần xem xét, bản phát hành vẫn được ký và vẫn khả dụng từ tài khoản của tác giả trong lúc đội ngũ EmDash quyết định có hiển thị nó hay không.

Với các nhà phát triển muốn đóng góp plugin, quy trình hiện tại vẫn gồm ba bước quen thuộc: dùng CLI để tạo khung và xuất bản, đọc hướng dẫn xuất bản, hoặc tham gia Discord của EmDash để bắt đầu.