Amazonbot chính thức tuân thủ tệp robots.txt sau nhiều năm tranh cãi

Amazonbot chính thức tuân thủ tệp robots.txt sau nhiều năm tranh cãi

Amazon vừa thông báo rằng trình thu thập dữ liệu của họ, Amazonbot, sẽ bắt đầu tuân thủ nghiêm ngặt tiêu chuẩn robots.txt từ giữa năm 2026. Thay đổi này mang lại quyền kiểm soát trực tiếp cho các chủ sở hữu trang web trong việc quản lý quyền truy cập của bot.

Thay đổi lớn trong chính sách thu thập dữ liệu của Amazon

Một email gần đây từ Amazon Publisher Support đã xác nhận rằng bắt đầu từ thứ Hai, ngày 15 tháng 6 năm 2026, các tùy chọn thu thập dữ liệu (crawl preferences) cho Amazonbot sẽ được quản lý hoàn toàn thông qua các chỉ thị tiêu chuẩn của ngành, cụ thể là tệp robots.txt.

Đây là một tin vui cho cộng đồng quản trị viên web, những người đã phải vật lộn với việc kiểm soát lưu lượng truy cập từ bot của Amazon trong nhiều năm qua. Trước đây, việc chặn hoặc cho phép Amazonbot thường yêu cầu các thủ tục thủ công phức tạp.

"Chúng tôi viết email này để thông báo cho bạn rằng bắt đầu từ thứ Hai, ngày 15 tháng 6 năm 2026, các tùy chọn thu thập dữ liệu cho Amazonbot sẽ được quản lý hoàn toàn thông qua các chỉ thị tiêu chuẩn của ngành. Điều này mang lại cho bạn quyền kiểm soát trực tiếp và liên tục về cách Amazonbot truy cập trang web của bạn, thay vì dựa vào các yêu cầu thủ công."

Quyền kiểm soát trả về tay người dùng

Với việc áp dụng tiêu chuẩn robots.txt, các chủ sở hữu trang web giờ đây có thể kiểm soát quyền truy cập của Amazonbot ở cấp độ trang, thư mục hoặc toàn bộ trang web. Bạn có thể cập nhật các tùy chọn này bất cứ lúc nào mà không cần phải liên hệ trực tiếp với bộ phận hỗ trợ của Amazon.

Nếu bạn không triển khai các chỉ thị robots.txt trước ngày đó, Amazonbot sẽ tiếp tục tuân theo các thực hành thu thập dữ liệu web tiêu chuẩn khi truy cập trang web của bạn.

Biểu cảm hài hước về sự thay đổi

Tác giả của bài đăng gốc đã chia sẻ cảm xúc vừa hài hước vừa phức tạp khi nhận được email này. Dự án Anubis của ông được tạo ra chính để chống lại trình quét của Amazon khi chúng không tuân thủ các quy tắc. Việc Amazon cuối cùng chịu "hòa nhập" với tiêu chuẩn chung của internet khiến ông cảm thấy kỳ lạ, nhưng cũng xác nhận rằng các công cụ như Anubis đã đóng vai trò quan trọng trong việc thúc đẩy thay đổi này.

Các quản trị viên web hiện có thể yên tâm hơn khi cấu hình máy chủ của mình, biết rằng một trong những bot lớn nhất hiện nay đã bắt đầu tôn trọng các quy tắc cơ bản của web.