Anubis: Khi các website phải dùng Proof-of-Work để chống lại AI Scraper

Trong bối cảnh các công ty AI đang tích cực thu thập dữ liệu (scraping) từ khắp nơi trên internet, nhiều chủ website đang đối mặt với tình trạng quá tải máy chủ (server downtime). Để giải quyết vấn đề này, một công cụ tên là Anubis đã được triển khai như một lớp bảo vệ, buộc người dùng (và bot) phải giải một bài toán tính toán nhỏ trước khi truy cập nội dung.

Cơ chế Proof-of-Work chống Scraping

Anubis hoạt động dựa trên một sơ đồ Proof-of-Work (PoW) tương tự như Hashcash - một đề xuất cũ từng được dùng để giảm spam email. Ý tưởng cốt lõi là đối với một người dùng cá nhân truy cập thỉnh thoảng, tải tính toán bổ sung để vượt qua thử thách này là không đáng kể và không gây ảnh hưởng đến trải nghiệm.

Tuy nhiên, ở quy mô lớn của các bot scraper tự động, tải tính toán này sẽ cộng lại và khiến việc quét dữ liệu trở nên đắt đỏ hơn nhiều về mặt tài nguyên và thời gian. Đây là cách để website tự vệ trước các hành vi thu thập dữ liệu quá khích mà không cần chặn người dùng thật.

Hệ thống bảo vệ Anubis

Giải pháp tạm thời và hướng đi tương lai

Theo các nhà phát triển, Anubis thực chất là một giải pháp thay thế tạm thời. Mục tiêu dài hạn là dành nhiều thời gian hơn để phát triển kỹ thuật "fingerprinting" (nhận diện dấu vân tay) và xác định các trình duyệt headless (trình duyệt không giao diện đồ họa thường được bot sử dụng).

Bằng cách phân tích sâu cách các trình duyệt này hiển thị phông chữ (font rendering) hoặc các đặc điểm kỹ thuật khác, hệ thống hy vọng sẽ nhận diện chính xác người dùng hợp lệ. Khi đó, trang thử thách PoW sẽ không cần được hiển thị nữa, giúp trải nghiệm người dùng mượt mà hơn.

Yêu cầu kỹ thuật và JavaScript

Một điểm đáng chú ý là Anubis hiện tại yêu cầu người dùng phải bật JavaScript. Các nhà phát triển thừa nhận rằng đây là một yêu cầu buộc phải có trong giai đoạn này, do các công ty AI đã thay đổi "hợp đồng xã hội" về cách vận hành website, khiến các biện pháp bảo vệ truyền thống không còn hiệu quả.

Một giải pháp không dùng JavaScript (no-JS) đang được phát triển nhưng chưa hoàn thiện. Ngoài ra, người dùng cần lưu ý tắt các plugin bảo vệ quyền riêng tư mạnh như JShelter cho tên miền này, vì Anubis cần sử dụng các tính năng JavaScript hiện đại mà các plugin này có thể chặn lại, dẫn đến việc không thể vượt qua thử thách.