Crawl Delay là gì? Vì sao cần dùng và cách cấu hình chuẩn SEO

Crawl Delay là gì?

Crawl Delay là một chỉ thị (directive) trong file robots.txt dùng để yêu cầu các bot (crawler) như Googlebot, Bingbot… chờ một khoảng thời gian (tính bằng giây) giữa mỗi lần truy cập (request) vào website.

Ví dụ:

Nghĩa là bot sẽ đợi 5 giây trước khi gửi request tiếp theo.

Vì sao cần dùng Crawl Delay?

1. Giảm tải cho server

Bot tìm kiếm có thể gửi hàng trăm request trong thời gian ngắn.
Nếu website của bạn:

• Hosting yếu

• VPS cấu hình thấp

• Website nhiều trang

thì rất dễ bị:

• CPU 100%

• RAM quá tải

• Website chậm hoặc sập

Crawl Delay giúp giãn cách request → giảm áp lực server

2. Ngăn bot crawl quá nhanh (giống DDoS nhẹ)

Một số bot (đặc biệt bot lạ hoặc bot spam) có thể crawl cực nhanh:

• 10–50 request/giây

• Gây nghẽn băng thông

• Ảnh hưởng user thật

Crawl Delay giúp hạn chế tình trạng này.

3. Cân bằng giữa SEO và hiệu năng

Nếu không giới hạn:

• Bot crawl nhanh → index nhanh
  • Nhưng server lag → user trải nghiệm kém

Nếu giới hạn hợp lý:

• Website vẫn được index
• Server hoạt động ổn định

4. Hữu ích với website lớn

Các site có:

• Hàng chục ngàn URL

• Nhiều query động (search, filter)

• Log truy cập lớn

Crawl Delay giúp kiểm soát bot tốt hơn.

Những điều QUAN TRỌNG cần biết

Google KHÔNG hỗ trợ Crawl Delay

• Googlebot bỏ qua Crawl-delay

• Thay vào đó, Google tự điều chỉnh crawl rate

Muốn giảm tốc Googlebot, bạn phải dùng:

• Google Search Console → Crawl rate settings

Bing, Yandex, một số bot khác có hỗ trợ

• Bingbot 

• Yandex 

• Một số bot SEO tools 

Khi nào nên dùng Crawl Delay?

Bạn nên dùng khi:

• Website bị lag khi bot crawl

• Hosting/VPS yếu

• Thấy log có quá nhiều request từ bot

• Website mới chưa cần index quá nhanh

Khi KHÔNG nên dùng

Không nên dùng nếu:

• Website nhỏ, nhẹ

• Server mạnh

• Cần index nhanh (tin tức, blog mới)

Cách cấu hình Crawl Delay

Ví dụ cơ bản:

Chỉ áp dụng cho một bot:

Gợi ý cấu hình hợp lý

Giải pháp thay thế tốt hơn

Thay vì chỉ dùng Crawl Delay, bạn nên kết hợp:

• Cache (Cloudflare, LiteSpeed Cache)

• CDN

• Giới hạn bot bằng firewall (UFW, CSF)

• Block bot xấu bằng .htaccess hoặc nginx

Crawl Delay là một công cụ đơn giản nhưng hữu ích để:

• Bảo vệ server
• Giảm tải khi bị bot crawl nhiều
• Cải thiện hiệu năng website

Tuy nhiên, cần sử dụng đúng lúc và đúng mức, vì nếu đặt quá cao có thể làm chậm việc index.

Chúc các bạn thành công.