Anubis: Sử dụng Proof-of-Work để bảo vệ website trước làn sóng cạo dữ liệu của AI

Anubis là một giải pháp kỹ thuật mới sử dụng cơ chế Proof-of-Work nhằm chống lại việc các công ty AI cạo dữ liệu (scraping) quá mức, gây quá tải máy chủ. Công cụ này tạo ra gánh nặng tính toán không đáng kể cho người dùng cá nhân nhưng trở nên tốn kém đối với các hệ thống bot tự động.

Anubis: Khi các website tự vệ trước AI Scraping

Trong bối cảnh các công ty trí tuệ nhân tạo (AI) ngày càng tích cực thu thập dữ liệu từ internet, nhiều chủ sở hữu website đang phải đối mặt với tình trạng quá tải tài nguyên, dẫn đến việc trang web bị sập (downtime) và trở nên không khả dụng với mọi người. Để giải quyết vấn đề này, một công cụ bảo mật mới có tên là Anubis đã được triển khai nhằm ngăn chặn nạn cạo dữ liệu ồ ạt này.

Bảo vệ máy chủ

Cơ chế Proof-of-Work: Tốn kém cho Bot, nhẹ nhàng cho Người

Anubis hoạt động dựa trên một phương thức thỏa hiệp nhưng hiệu quả: sử dụng thuật toán Proof-of-Work (PoW - Bằng chứng công việc). Phương pháp này tương tự như kế hoạch Hashcash từng được đề xuất để giảm thiểu thư rác (spam) qua email vào những năm trước.

Ý tưởng cốt lõi rất đơn giản: đối với một người dùng duy nhất truy cập trang web, lượng tài nguyên tính toán cần thiết để vượt qua rào cản này là vô cùng nhỏ và không đáng kể. Tuy nhiên, khi quy mô mở rộng lên hàng nghìn hay hàng triệu yêu cầu cạo dữ liệu tự động từ các bot, tổng lượng tính toán cần thiết sẽ tăng lên cấp số nhân, khiến chi phí scraping trở nên quá đắt đỏ và tốn kém về mặt phần cứng.

"Anubis uses a Proof-of-Work scheme in the vein of Hashcash... the idea is that at individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive."

Chiến lược dài hạn và nhận diện trình duyệt

Hiện tại, Anubis được coi là một giải pháp thay thế tạm thời. Mục tiêu dài hạn của các nhà phát triển là dành nhiều thời gian hơn để cải thiện kỹ thuật nhận diện dấu vân tay (fingerprinting) và xác định chính xác các trình duyệt không đầu (headless browsers) — những công cụ thường được các bot AI sử dụng để giả lập người dùng thực, ví dụ như qua cách chúng hiển thị phông chữ (font rendering).

Khi kỹ thuật nhận diện này hoàn thiện, các trang web có thể lọc bỏ bot mà không cần yêu cầu người dùng hợp pháp giải các bài toán PoW phức tạp, mang lại trải nghiệm mượt mà hơn.

Giải pháp bảo mật

Tại sao bắt buộc phải dùng JavaScript?

Một điểm đáng chú ý khiến nhiều người dùng công nghệ quan tâm là yêu cầu bắt buộc phải bật JavaScript mới có thể vượt qua thử thách của Anubis. Theo nhà phát triển, điều này là hệ quả tất yếu của việc các công ty AI đã thay đổi "hợp đồng xã hội" về cách thức vận hành và lưu trữ web.

Trước đây, việc truy cập một trang web mà không cần JavaScript là hoàn toàn bình thường. Tuy nhiên, để chống lại các bot tinh vi ngày nay, các biện pháp bảo vệ phức tạp đòi hỏi sự tương tác của script mới có thể hiệu quả. Hiện tại, phiên bản không sử dụng JavaScript (no-JS solution) vẫn đang trong quá trình phát triển.

Lưu ý rằng Anubis yêu cầu sử dụng các tính năng JavaScript hiện đại, do đó các plugin bảo mật như JShelter có thể can thiệp và chặn truy cập. Người dùng có thể cần tạm thời tắt các plugin tương tự cho tên miền này nếu muốn truy cập nội dung.