Nếu bạn có 1.000 trang trên trang web của mình, một công cụ tìm kiếm có thể thu thập thông tin toàn bộ trang web của bạn trong vài phút.  Điều này có thể gây ra việc sử dụng tài nguyên hệ thống cao vì tất cả các trang sẽ được tải trong một khoảng thời gian ngắn.

Thuộc tính Crawl-delay sẽ cho phép thu thập thông tin mỗi trang có độ trễ tính bằng giây

Crawl-delay: 30 giây sẽ cho phép bot thu thập thông tin toàn bộ trang web 1.000 trang của bạn chỉ trong 8,3 giờ

Crawl-delay: 500 giây sẽ cho phép bot thu thập thông tin toàn bộ trang web 1.000 trang của bạn trong 5,8 ngày

Bạn có thể đặt Độ trễ thu thập thông tin: cho tất cả các công cụ tìm kiếm cùng một lúc với nội dung sau trong file robots.txt:

User-agent: *
Crawl-delay: 30

Chúc các bạn thành công.