Se han visto casos de bots buscadores (o crawlers) – que son programas pertenecientes a buscadores como Google, Yahoo, Bing, etc encargados de indexarnos las páginas – que literalmente han enloquecido y realizan su trabajo de indexación de nuestras web a un ritmo vertiginoso, consumiendo recurso de los servidores e incluso dejandolos off-line por un rato (o molestando a los proveedores de hosting) , acá les presento una simple solución que lo que hace es pausar la actividad de los bots en 5 segundos (5 segundos entre actividad de indexación, es decir que le indicamos que se tome 5 segundos de descanso entre página y página) pueden cambiar este parámetro de 5 seg. a su gusto según sus propias necesidades, todo lo que tienen que hacer es agregar estas lineas a su archivo robots.txt o en caso que no lo tengan crearse uno (con el wordpad) y subirlo a su directorio principal:
# robots.txt cortesía de https://www.infonucleo.com
User-agent: *
Disallow:
Crawl-delay: 5
Disallow: /cgi-bin/