Cloudflare và GoDaddy hợp tác kiểm soát bot AI, bảo vệ quyền lợi chủ sở hữu website

Cloudflare và GoDaddy đã công bố một sự hợp tác chiến lược nhằm giải quyết vấn đề ngày càng cấp bách: sự kiểm soát của các tác nhân AI đối với nội dung web. Khi Internet ngày càng phục vụ nhu cầu của AI hơn là nhu cầu của con người, hai công ty này muốn đảm bảo rằng chủ sở hữu website không bị bỏ lại phía sau.

Tích hợp công cụ kiểm soát AI

Theo thông báo vào thứ Ba, nhà cung cấp dịch vụ lưu trữ web GoDaddy sẽ tích hợp tiện ích AI Crawl Control của Cloudflare vào nền tảng của mình. Công cụ này cho phép chủ sở hữu website quản lý cách AI tương tác với trang web của họ, bao gồm việc cho phép, chặn hoặc yêu cầu bot phải trả phí mới được truy cập dữ liệu.

"Bằng cách đưa các công cụ như AI Crawl Control và các tiêu chuẩn mở vào tay chủ sở hữu website, chúng tôi đang cung cấp nền tảng thiết yếu cho một mô hình kinh doanh Internet mới," bà Stephanie Cohen, Giám đốc Chiến lược của Cloudflare, cho biết. "Chúng tôi muốn đảm bảo mọi người sáng tạo đều có công cụ để xác minh ai đang tương tác với trang web của họ, đồng thời cung cấp cách thức an toàn, minh bạch cho các tác nhân AI hợp pháp để tham gia."

Cuộc chiến chống lại bot quét trái phép

Cloudflare đã tích cực vận động để hạn chế quyền truy cập của bot trong nhiều năm qua. Vào năm 2025, họ đã tung ra một hệ thống AI nhằm "bẫy" các bot quét trái phép bằng cách cung cấp cho chúng dữ liệu rác vô tận. Mục tiêu là bảo vệ các nhà vận hành website, những người đang mất doanh thu do lưu lượng truy cập tìm kiếm giảm sút khi người dùng nhận được câu trả lời trực tiếp từ AI (như Google AI Overviews) thay vì nhấp vào liên kết gốc.

Nếu không có doanh thu từ quảng cáo và lưu lượng truy cập, chủ sở hữu website sẽ khó có khả năng trả tiền cho các dịch vụ của Cloudflare hay GoDaddy, do đó cả hai bên đều có lợi ích chung trong việc giải quyết vấn đề này.

Phân biệt bot tốt và bot xấu

Việc thiết lập rào cản để ngăn chặn bot xấu vô tình cũng có thể chặn các bot tốt. Do đó, Cloudflare và GoDaddy cũng đã bày tỏ sự ủng hộ đối với các tiêu chuẩn mới để duy trì hoạt động của các tác nhân AI hợp pháp.

Hai bên ủng hộ Agent Name Service (ANS), một đề xuất hoạt động giống như hệ thống DNS cho các tác nhân AI. ANS tạo ra một sổ đăng ký mở, độc lập giao thức để xác minh danh tính bot. Đáng chú ý, ANS được xây dựng bởi GoDaddy và hiện có sẵn trên GitHub.

Ngoài ra, họ còn hỗ trợ phương thức Web Bot Auth của Cloudflare, sử dụng chữ ký mật mã trong thông báo HTTP để xác định xem yêu cầu có đến từ một bot AI được xác thực hay không.

"Với một hệ sinh thái mở gồm các tiêu chuẩn và phương pháp xác định tác nhân, web của các tác nhân (agentic web) có thể phát triển với tính minh bạch được tích hợp sẵn," đại diện hai công ty khẳng định.

Hướng tới một "Agentic Web" minh bạch

Ước tính khoảng 20% website trên toàn cầu sử dụng proxy ngược của Cloudflare, và GoDaddy là một nhà cung cấp dịch vụ lưu trữ khổng lồ. Việc kết hợp hạ tầng của hai công ty này tạo ra một bước khởi đầu vững chắc để áp dụng các tiêu chuẩn mới.

Tuy nhiên, sự cấp thiết là rõ ràng. Báo cáo Chỉ số Tác nhân AI 2025 của MIT CSAIL chỉ ra rằng các bot AI thường xuyên bỏ qua các hạn chế trong tệp robots.txt và rất ít trong số chúng công bố dữ liệu an toàn. Khi các tác nhân AI tiếp tục gia tăng và thay đổi hình hài của Internet, các quy tắc thống nhất là điều cần thiết để đảm bảo môi trường số vẫn ưu tiên con người và công bằng cho người sáng tạo.