Cloudflare ra mắt tính năng chặn AI huấn luyện nhưng vẫn giữ khả năng hiển thị trên tìm kiếm

Cloudflare vừa công bố một tính năng mới mang tên Disallow AI Training, cho phép chủ website giữ nguyên khả năng xuất hiện trên kết quả tìm kiếm trong khi vẫn từ chối việc bot của các ông lớn công nghệ sử dụng nội dung để huấn luyện mô hình AI. Đây được xem là giải pháp cho bài toán nan giải mà các nhà xuất bản nội dung đã phải đối mặt suốt thời gian qua.

Bài toán "được ăn cả, ngã về không"

Từ lâu, chủ website luôn phải đứng trước một lựa chọn khó khăn: hoặc cho phép nội dung được dùng để huấn luyện AI, hoặc chấp nhận mất khả năng hiển thị trên công cụ tìm kiếm. Nguyên nhân nằm ở chỗ nhiều tổ chức lớn sử dụng crawler đa mục đích (mixed-use crawler) — một bot duy nhất vừa thu thập dữ liệu cho tìm kiếm, vừa thu thập cho huấn luyện AI. Từ chối một mục đích đồng nghĩa với việc từ chối luôn mục đích còn lại.

Minh họa cách Cloudflare phân loại bot theo hành vi

Theo số liệu từ Cloudflare, chưa đến 1% website chọn chặn bot tìm kiếm, trong khi có tới 17% website bật một số cơ chế để chặn huấn luyện AI. Sự chênh lệch này cho thấy rõ rằng hầu hết chủ website đều nhận thức được lợi ích của tìm kiếm, nhưng lại lo ngại về việc nội dung bị khai thác cho mục đích huấn luyện.

Giải pháp mang tên "Accountable"

Cloudflare cho rằng một dòng lệnh trong tệp robots.txt là không đủ để giải quyết vấn đề. Bất kỳ ai cũng có thể tạo tệp này, nhưng nó không thể xác định danh tính của bot, không biết mục đích thu thập dữ liệu, và hoàn toàn bất lực trước những crawler cố tình phớt lờ chỉ dẫn.

Do đó, công ty này đã xây dựng một cơ chế ở tầng mạng lưới: công bố tùy chọn của chủ website, nhận diện bot đang truy cập, phân loại mục đích của chúng, và chặn những bot không tuân thủ. Cloudflare cũng theo dõi và báo cáo hành vi thực tế của từng nhà vận hành bot trên nền tảng Cloudflare Radar.

Song song đó, Cloudflare đưa ra chứng nhận Accountable dành cho các nhà vận hành crawler đáp ứng những yêu cầu cụ thể:

• Cung cấp cơ chế để chủ website từ chối huấn luyện AI qua robots.txt hoặc tiêu chuẩn tương đương
• Cung cấp cơ chế từ chối tóm tắt AI, và từ đầu năm sau sẽ thực hiện qua Cloudflare
• Có khả năng hiển thị ở cấp độ URL những trang nào được đưa vào huấn luyện, kèm số liệu thống kê
• Cam kết việc từ chối huấn luyện AI không ảnh hưởng đến kết quả tìm kiếm truyền thống

Apple, Google và Microsoft đều đã đáp ứng các tiêu chí này. Cả ba đều kết hợp những khả năng đã có sẵn với cam kết có thời hạn cho các tính năng đang phát triển.

Ba nhóm hành vi bot được kiểm soát

Cloudflare phân loại bot dựa trên hành vi, và một bot duy nhất có thể thể hiện nhiều hành vi cùng lúc. Ba nhóm chính gồm:

• Search: thu thập dữ liệu để xây dựng chỉ mục tìm kiếm
• Training: thu thập để huấn luyện hoặc tinh chỉnh mô hình AI
• Agent: các tác nhân do người dùng điều khiển, truy cập trang thay mặt con người

Tính năng Disallow AI Training hoạt động bằng cách công bố tùy chọn không huấn luyện trong robots.txt. Các crawler đa mục đích đã được chứng nhận Accountable vẫn được phép truy cập cho mục đích tìm kiếm, trong khi mọi bot huấn luyện khác — bao gồm cả những bot chuyên huấn luyện của Amazon, Anthropic, Meta và OpenAI — đều bị chặn.

Những thay đổi quan trọng từ ngày 15/9

Sơ đồ cấu hình tùy chọn cho tên miền mới

Kể từ ngày 15/9, Cloudflare thực hiện một số thay đổi quan trọng trong Bot Management và AI Crawl Control:

• Tùy chọn Block và Block on pages with ads giờ đây áp dụng cho cả crawler đa mục đích như Applebot, Bingbot và Googlebot. Điều này đồng nghĩa với việc chặn chúng sẽ ảnh hưởng đến cả tìm kiếm
• Tùy chọn Block AI Bots sẽ bị loại bỏ để nhường chỗ cho các kiểm soát chi tiết hơn theo từng nhóm Search, Training và Agent
• Managed Robots.txt được thay thế bằng Bot Preference Sync
• Disallow AI Training trở thành một phần trong cấu hình khuyến nghị cho các tên miền mới

Đối với hầu hết người dùng hiện tại, không cần làm gì cả vì các cài đặt hiện tại sẽ được tự động chuyển đổi sang hệ thống mới. Tuy nhiên, nếu muốn loại bỏ hoàn toàn crawler đa mục đích, người dùng cần chủ động chọn tùy chọn Block.

Khuyến nghị cho tên miền mới

Với các tên miền đăng ký mới từ ngày 15/9, Cloudflare sẽ đề xuất một trong hai cấu hình có sẵn, phụ thuộc vào việc website có kiếm tiền từ quảng cáo hay không:

• Site không kiếm tiền từ quảng cáo: Cho phép tất cả các nhóm bot
• Site kiếm tiền từ quảng cáo: Cho phép Search, chặn Training và chặn Agent trên các trang có quảng cáo

Lý do cho sự khác biệt này rất thực tế: doanh thu quảng cáo phụ thuộc vào việc có người thực sự nhìn thấy trang. Huấn luyện AI thay thế lượt truy cập đó bằng một câu trả lời, còn agent tải trang mà không có ai xem quảng cáo.

Hướng tới tương lai: kiểm soát tóm tắt AI

Cloudflare cho biết bước tiếp theo sẽ là vấn đề tóm tắt AI (AI Summaries). Hiện tại, tùy chọn từ chối vẫn còn khá thô — chỉ có bật hoặc tắt cho toàn bộ website. Mục tiêu của công ty là cho phép chủ website kiểm soát mức độ nội dung nào được đưa vào bản tóm tắt, thiết lập một lần trên Cloudflare thay vì phải cấu hình riêng lẻ với từng nhà vận hành.

Dữ liệu mà Cloudflare thu thập được cho thấy tác động không đồng nhất: hơn một nửa người dùng đọc bản tóm tắt trong kết quả tìm kiếm, và nhóm này có khả năng kết thúc tìm kiếm ngay sau đó cao hơn 40%. Điều này có thể làm giảm lượng truy cập. Tuy nhiên, người dùng đến từ tìm kiếm AI lại có tỷ lệ chuyển đổi cao gấp 3 đến hơn 5 lần so với tìm kiếm truyền thống.

Điều này không hẳn tốt hay xấu. Một nhà xuất bản sống bằng quảng cáo có thể ưu tiên lượng truy cập, trong khi một nhà bán lẻ lại thích ít khách hơn nhưng khả năng mua cao hơn. Vai trò của Cloudflare không phải là chọn thay họ, mà là cung cấp khả năng hiển thị và kiểm soát để họ đưa ra quyết định sáng suốt.

Các tính năng mới này có sẵn cho tất cả khách hàng ở mọi gói dịch vụ, được cấu hình tại phần Security Settings của tên miền. Đối với người dùng Việt Nam đang vận hành website, đây là thời điểm phù hợp để xem xét lại chiến lược nội dung, đặc biệt nếu bạn phụ thuộc vào lưu lượng tìm kiếm để duy trì hoạt động. Việc hiểu rõ cách các bot AI tương tác với nội dung sẽ giúp bạn chủ động hơn trong việc bảo vệ tài sản số của mình.