Khi các bot AI làm sập ứng dụng Vercel của tôi: Giải pháp cứu nguy với DigitalOcean & Cloudflare

Nếu bạn đang vận hành một trang web công khai ngày nay, có lẽ bạn đã nhận thấy những sự gia tăng lưu lượng truy cập lạ thường và khổng lồ. Bạn hào hứng nghĩ rằng ứng dụng của mình cuối cùng đã trở nên "viral" — chỉ để nhận ra thực tế là đó chỉ là các bot AI đang tấn công máy chủ của bạn.

Gần đây, tôi đã gặp đúng tình huống này với dự án của mình, Viconic.dev — một nền tảng để tìm và chia sẻ các biểu tượng (icons). Dưới đây là câu chuyện về cách các trình thu thập dữ liệu (crawlers) của AI gần như đã làm sập trang web của tôi — và cách tôi giành lại quyền kiểm soát mà không làm mất đi khả năng hiển thị trên các công cụ tìm kiếm AI.

🤖 Cái "ôm chết người" từ các bot AI

Ban đầu, tôi lưu trữ Viconic trên Vercel. Nó rất nhanh, dễ dàng triển khai và hoạt động hoàn hảo cho nhu cầu của tôi.

Tuy nhiên, khi trang web phát triển, tôi bắt đầu bị tấn công bởi những làn sóng yêu cầu tự động khổng lồ.

Các trình thu thập dữ liệu web từ các công ty AI như Perplexity, OpenAI (ChatGPT) và những công ty khác đang tích cực "cào" (scrape) trang web của tôi để lấy dữ liệu huấn luyện và kết quả tìm kiếm thời gian thực.

Trong thời gian ngắn, các bot này đã tiêu thụ hoàn toàn giới hạn yêu cầu trên Vercel của tôi.

👉 Trang web của tôi bị nghẽn.

👉 Tôi đối mặt với nguy cơ thời gian chết (downtime).

👉 Và các chi phí bất ngờ đang ập đến.

⚙️ Bước 1: Di chuyển để kiểm soát (Vercel → DigitalOcean)

Để xử lý tải trọng và có quyền kiểm soát máy chủ dự đoán được hơn, tôi quyết định di chuyển hạ tầng của mình từ Vercel sang DigitalOcean.

Việc có môi trường máy chủ riêng của mình mang lại cho tôi những lợi ích sau:

• Sự ổn định tốt hơn
• Không có giới hạn yêu cầu serverless
• Giá cả dự đoán được
• Kiểm soát việc xử lý lưu lượng truy cập tốt hơn

Tôi không còn bị phụ thuộc vào hạn ngạch yêu cầu nữa — và tôi cuối cùng cũng có sức mạnh thô để xử lý các đỉnh lưu lượng.

🛡️ Bước 2: Thuần hóa các bot với Cloudflare

Việc chuyển đổi máy chủ đã giải quyết vấn đề về dung lượng — nhưng việc để các bot tiêu thụ toàn bộ băng thông của tôi vẫn là một ý tưởng tồi.

Đồng thời, tôi không muốn chặn chúng hoàn toàn.

Các công cụ tìm kiếm AI là tương lai của việc khám phá nội dung, và tôi vẫn muốn Viconic được tham chiếu bởi các công cụ như ChatGPT và Perplexity.

Vì vậy, tôi đã đưa Cloudflare vào cuộc.

Chiến lược "Phòng thủ Thông minh" của tôi:

🚫 Giới hạn hành vi hung hăng

• Chặn hoặc giới hạn tốc độ (rate-limit) các bot AI đã biết
• Ngăn chặn việc thu thập dữ liệu trên các điểm cuối (endpoints) tốn nhiều tài nguyên

✅ Cho phép truy cập có mục tiêu

• Danh sách trắng (whitelist) cho phép bot truy cập:

  • Các trang danh sách biểu tượng (icon portfolio)
  • Các điểm cuối tìm kiếm (search endpoints)

Điều này tạo ra sự cân bằng hoàn hảo:

• Bot vẫn có thể lập chỉ mục (index) nội dung của tôi
• Nhưng chúng không thể làm quá tải hạ tầng của tôi

💡 Bài học kinh nghiệm

AI đang thay đổi cách thức hoạt động của lưu lượng truy cập trên web.

Là các nhà phát triển:

• Chúng ta không thể chặn tất cả bot
• Nhưng chúng ta cũng không thể để chúng làm cạn kiệt tài nguyên của mình

Một thiết lập vững chắc như:

DigitalOcean (VPS) + Cloudflare (Định tuyến thông minh & Kiểm soát Bot)

…là một cách tiếp cận mạnh mẽ để tồn tại trong kỷ nguyên cạo dữ liệu (scraping) bằng AI này.

💬 Lời kết

Bạn đã bao giờ gặp tình huống bot AI làm sập dự án của mình chưa?

Bạn đang xử lý làn sóng các trình cạo dữ liệu AI mới này như thế nào?

Hãy cho tôi biết trong phần bình luận 👇

🔗 Khám phá Viconic

Nếu bạn đang tìm kiếm các biểu tượng chất lượng cao cho dự án tiếp theo của mình, hãy thoải mái khám phá:

👉 https://viconic.dev

Chúc mừng 🚀