Да, всё это наверно Вы уже видели и слышали много раз. Как правило, при обращении в техническую поддержку хостинга, когда у Вас перестает работать сайт, ни кто не анализирует предварительно  логи сервера/сайта, а в результате частый ответ: «Вас индексируют роботы, настройте Crawl-Delay». И ответ действительно верен. Почему, я сейчас расскажу!