Да, всё это наверно Вы уже видели и слышали много раз. Как правило, при обращении в техническую поддержку хостинга, когда у Вас перестает работать сайт, ни кто не анализирует предварительно логи сервера/сайта, а в результате частый ответ: «Вас индексируют роботы, настройте Crawl-Delay». И ответ действительно верен. Почему, я сейчас расскажу!
Я специально в статье буду приводить пример именно на VPS сервере, так как это выделенные ресурсы. На виртуальном хостинге тяжело гарантировать 100% работоспособность так как все ресурсы используются всеми.
Частая причина появления 504 ошибки, да и временной недоступности Вашего сайта, вызвана тем, что Ваш сервер индексирую поисковые роботы. У Вас может быть посещаемость в 100 человек в день, а поисковые роботы могут обратиться к сайту 10 000 раз. И да, это повседневная реальность. Если у Вас блог или новостной сайт/интернет магазин (на стадии создания), то для Вас это не страшно. Если у Вас интернет магазин с большим числом товаров, например 2000, то Вы уже можете ощутить всю «полезность» поисковых роботов на себе. Вернее, на своём сервере.
Давайте рассмотрим довольно частый пример, сайт с более чем 3-мя тысячами страниц. Пускай это будет интернет магазин, скажем, созданный с помощью 1С Битрикс. Битрикс сам по себе не самый легковесный движок. Пусть наш магазин размещен на VPS сервере. Ресурсы сейчас не имеют значения! Условно у нас есть некий объем оперативной памяти. 1/4 все памяти используют сервисы сервера, 1/4 — mysql и 2/4 у нас уходит на сайт. Конечно, такое разделение является приблизительным ,так как в реальности всю оперативную память может съесть и mysql. Вы активно раскручиваете свой проект, у Вас уже выросла посещаемость и у Вас есть стабильно +/- уникальных посетителей на сайте. Помимо этого Ваш проект индексируется поисковиками. Не уникальных просмотров может быть например, в 3 раза больше. Яндекс метрика не скажет Вам, сколько у Вас было роботов на сайте, но любезно сообщит, что Ваш сайт мог не работать. Вы думаете Вас индексирует только Яндекс, Google, Mail.RU и Rambler? Вы ошибаетесь!
Во-первых, каждая из этих поисковых систем имеет не одно поискового робота (краулера), а десятки. Например, отдельный для новостей, отдельный для картинок, отдельный для видео и т.д. Они никогда не ходят по одному. Иногда они ходят группами. То есть по 5-6 роботов каждой поисковой системы. Яндекс, Google, Mail.RU и Rambler: 5*2*4=40 роботов может одновременно находится на Вашем сервере.
«Всего 40? так мало?» – спросите Вы? Достаточно, чтобы положить сервер! Ведь каждый из них может запрашивать одновременно в несколько потоков. Например, в 10. А почему нет? У гугла хватит мощностей опросить все сайты в 10, а то и 50-100 потоков. А у Вас хватит мощности отдать информацию? 40 роботов * 10 запросов = 400 запросов к сайту в секунду. Ах да, нам ещё нужны ресурсы, чтобы отдать контент роботу. Если это первые страницы, то ещё ничего страшного, запросы к базе могут быть не таким тяжелым (всё зависит от системы управления контента и Вашего администратора), а вот когда каждый робот по 400 раз в секунду начнет индексировать более старые товары/новости….. С 3000-ной страницы запрос к базе будет тяжелым и с большой долей вероятности уже будет отдавать ошибку. Ладно, если боту, а ведь отдаст он её и клиенту, который в этот момент посетит наш проект. Беда…
Думаете в Российском сегменте мало ботов?
Поисковик URL User-agent Google http://www.google.com Googlebot Яндекс http://www.ya.ru Yandex Рамблер http://www.rambler.ru StackRambler Мэйл.ру http://mail.ru Mail.Ru Вебальта http://www.webalta.ru WebAlta WebAlta Crawler/2.0
И это неполный список. Есть ещё и системы из так называемого «буржуйнета» (буржунет/буржнет и т.д.)
Толку для наших сайтов от них нет, а вреда масса. Они ведь тоже приходят к нам на сайты, тоже парами и тоже в несколько потоков.
Что делать?
1) Первое, что нужно сделать, это настроить Crawl-Delay. Что это и как это должно работать лучше прочитать в первоисточнике. Например, тут: https://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#crawl-delay
Я же могу порекомендовать настроить эту директиву с лимитом в 20. Не слишком много и не слишком мало.
2) Определим, кто мешает сильнее. Нам нужен access_log и сервис WHOIS. Нужны они нам для поиска наиболее активных IP адресов. В access_log записывается IP подключения и вот тут то мы и можем отсортировать лог по IP и подсчитать запросы. После этого переходим на сервис http://mxtoolbox.com/Whois.aspx и узнаем, кто владелец IP адреса. В 80% случаев это гугл, яндекс или яхуу…. Если какой-нибудь hetzner или прочий хостинг, то скорее всего пытаются подобрать к Вашему сайту пароль. В access_log можно также посмотреть, куда обращался пользователь. Тут всё просто, если роботы, то Crawl-Delay, если подозрительный IP адрес, то блокируем его, желательно через IpTables. Об этом я буду писать отдельно.
3) Пермаментый бан по USER AGENT!
Самый действенный способ! Блокировка определенных поисковых роботов, чтобы уж точно они нам не навредили!
## Блокировка по USER AGENT: RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} Java [OR] RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} Voyager [OR] RewriteCond %{HTTP_USER_AGENT} PostRank [OR] RewriteCond %{HTTP_USER_AGENT} PycURL [OR] RewriteCond %{HTTP_USER_AGENT} Aport [OR] RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} DotBot [OR] RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} larbin [OR] RewriteCond %{HTTP_USER_AGENT} Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} libwww [OR] RewriteCond %{HTTP_USER_AGENT} Wget [OR] RewriteCond %{HTTP_USER_AGENT} SWeb [OR] RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} Soup [OR] RewriteCond %{HTTP_USER_AGENT} WordPress [OR] RewriteCond %{HTTP_USER_AGENT} PHP/ [OR] RewriteCond %{HTTP_USER_AGENT} spbot [OR] RewriteCond %{HTTP_USER_AGENT} MLBot [OR] RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} FairShare [OR] RewriteCond %{HTTP_USER_AGENT} Yeti [OR] RewriteCond %{HTTP_USER_AGENT} Birubot [OR] RewriteCond %{HTTP_USER_AGENT} YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR] RewriteCond %{HTTP_USER_AGENT} Linguee [OR] RewriteCond %{HTTP_USER_AGENT} Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} Purebot [OR] RewriteCond %{HTTP_USER_AGENT} User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} Nutch [OR] RewriteCond %{HTTP_USER_AGENT} Zeus RewriteRule ^(.*)$ – [F,L]
Все эти роботы не имеют никакой смысловой нагрузки, а наносят только лишь вред Вашему сайту. Также можно добавить к этому списку bingbot, msnbot, Slurp. Посещаемости с них толком нет, пользы не дают, только нагрузку. Slurp, он же Yahoo, так и вовсе имеет довольно агрессивный стиль парсинга.
4) Основное зеркало сайта.
Я думаю многие знают, что сайт www.kolesnikov.pw и kolesnikov.pw это два разных сайта. И объеднять их нужно не только с точки зрения SEO, но и с точки зрения производительности. Вместо двух сайтов роботы будут индексировать один, то есть сократят нагрузку в 2-2.5 раза.
Чтобы склеить два домена, нужно сделать редирект с www на без www. Или на оборот.
С www на без www:
RewriteEngine on RewriteCond %{HTTP_HOST} ^www.kolesnikov.pw $ [NC] RewriteRule ^(.*)$ https://kolesnikov.pw /\ [R=301,L]
С без www на www:
RewriteEngine on RewriteCond %{HTTP_HOST} ^kolesnikov.pw $ [NC] RewriteRule ^(.*)$ http://www.kolesnikov.pw/\ [R=301,L]
Пользуйтесь этими советами и да прибудет мощность с Вашим сервером!
P.S. У меня так:
## Блокировка по USER AGENT: RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^[Ww]eb[Bb]andit [OR] RewriteCond %{HTTP_USER_AGENT} ^1-More\ Scanner [OR] RewriteCond %{HTTP_USER_AGENT} ^192.comAgent [OR] RewriteCond %{HTTP_USER_AGENT} ^Accelerator [OR] RewriteCond %{HTTP_USER_AGENT} ^Accoona [OR] RewriteCond %{HTTP_USER_AGENT} ^Alexibot [OR] RewriteCond %{HTTP_USER_AGENT} ^almaden.ibm.com [OR] RewriteCond %{HTTP_USER_AGENT} ^Ants [OR] RewriteCond %{HTTP_USER_AGENT} ^Aport [OR] RewriteCond %{HTTP_USER_AGENT} ^AppleWebKit [OR] RewriteCond %{HTTP_USER_AGENT} ^archive.org [OR] RewriteCond %{HTTP_USER_AGENT} ^Ask\ Jeeves [OR] RewriteCond %{HTTP_USER_AGENT} ^asterias [OR] RewriteCond %{HTTP_USER_AGENT} ^attach [OR] RewriteCond %{HTTP_USER_AGENT} ^BabalooSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^BackDoorBot [OR] RewriteCond %{HTTP_USER_AGENT} ^BackWeb [OR] RewriteCond %{HTTP_USER_AGENT} ^Badex-Bot [OR] RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [OR] RewriteCond %{HTTP_USER_AGENT} ^Bandit [OR] RewriteCond %{HTTP_USER_AGENT} ^BecomeBot [OR] RewriteCond %{HTTP_USER_AGENT} ^BilgiBot [OR] RewriteCond %{HTTP_USER_AGENT} ^BilgiFeedBot/experimental [OR] RewriteCond %{HTTP_USER_AGENT} ^Bingbot [OR] RewriteCond %{HTTP_USER_AGENT} ^Birubot [OR] RewriteCond %{HTTP_USER_AGENT} ^Black.Hole [OR] RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [OR] RewriteCond %{HTTP_USER_AGENT} ^BlowFish [OR] RewriteCond %{HTTP_USER_AGENT} ^BotALot [OR] RewriteCond %{HTTP_USER_AGENT} ^Brontok.A\ Browser [OR] RewriteCond %{HTTP_USER_AGENT} ^Buddy [OR] RewriteCond %{HTTP_USER_AGENT} ^BuiltBotTough [OR] RewriteCond %{HTTP_USER_AGENT} ^Bullseye [OR] RewriteCond %{HTTP_USER_AGENT} ^BunnySlippers [OR] RewriteCond %{HTTP_USER_AGENT} ^Butterfly [OR] RewriteCond %{HTTP_USER_AGENT} ^CamontSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^CazoodleBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Cegbfeieh [OR] RewriteCond %{HTTP_USER_AGENT} ^CFNetwork [OR] RewriteCond %{HTTP_USER_AGENT} ^CheeseBot [OR] RewriteCond %{HTTP_USER_AGENT} ^CherryPicker [OR] RewriteCond %{HTTP_USER_AGENT} ^ChinaClaw [OR] RewriteCond %{HTTP_USER_AGENT} ^Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^ConveraCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Copier [OR] RewriteCond %{HTTP_USER_AGENT} ^CopyRightCheck [OR] RewriteCond %{HTTP_USER_AGENT} ^cosmos [OR] RewriteCond %{HTTP_USER_AGENT} ^Crescent [OR] RewriteCond %{HTTP_USER_AGENT} ^Custo [OR] RewriteCond %{HTTP_USER_AGENT} ^Dead\ Link\ Checker [OR] RewriteCond %{HTTP_USER_AGENT} ^DepSpid [OR] RewriteCond %{HTTP_USER_AGENT} ^DIIbot [OR] RewriteCond %{HTTP_USER_AGENT} ^DISCo [OR] RewriteCond %{HTTP_USER_AGENT} ^DittoSpyder [OR] RewriteCond %{HTTP_USER_AGENT} ^Dolphin [OR] RewriteCond %{HTTP_USER_AGENT} ^DotBot [OR] RewriteCond %{HTTP_USER_AGENT} ^dotnetdotcom [OR] RewriteCond %{HTTP_USER_AGENT} ^Download\ Demon [OR] RewriteCond %{HTTP_USER_AGENT} ^Download\ Master [OR] RewriteCond %{HTTP_USER_AGENT} ^Downloader [OR] RewriteCond %{HTTP_USER_AGENT} ^Drip [OR] RewriteCond %{HTTP_USER_AGENT} ^e-SocietyRobot [OR] RewriteCond %{HTTP_USER_AGENT} ^eCatch [OR] RewriteCond %{HTTP_USER_AGENT} ^EirGrabber [OR] RewriteCond %{HTTP_USER_AGENT} ^EmailCollector [OR] RewriteCond %{HTTP_USER_AGENT} ^EmailSiphon [OR] RewriteCond %{HTTP_USER_AGENT} ^EmailWolf [OR] RewriteCond %{HTTP_USER_AGENT} ^EroCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Exabot [OR] RewriteCond %{HTTP_USER_AGENT} ^Express\ WebPictures [OR] RewriteCond %{HTTP_USER_AGENT} ^ExtractorPro [OR] RewriteCond %{HTTP_USER_AGENT} ^EyeNetIE [OR] RewriteCond %{HTTP_USER_AGENT} ^Ezooms [OR] RewriteCond %{HTTP_USER_AGENT} ^FairShare [OR] RewriteCond %{HTTP_USER_AGENT} ^FAST\ MetaWeb\ Crawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Feedfetcher-Google [OR] RewriteCond %{HTTP_USER_AGENT} ^FileHound [OR] RewriteCond %{HTTP_USER_AGENT} ^FlashGet [OR] RewriteCond %{HTTP_USER_AGENT} ^Flexum\ spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Foobot [OR] RewriteCond %{HTTP_USER_AGENT} ^FrontPage [OR] RewriteCond %{HTTP_USER_AGENT} ^GetRight [OR] RewriteCond %{HTTP_USER_AGENT} ^Gets [OR] RewriteCond %{HTTP_USER_AGENT} ^GetWeb! [OR] RewriteCond %{HTTP_USER_AGENT} ^Gigabot [OR] RewriteCond %{HTTP_USER_AGENT} ^Go-Ahead-Got-It [OR] RewriteCond %{HTTP_USER_AGENT} ^Go!Zilla [OR] RewriteCond %{HTTP_USER_AGENT} ^gotit [OR] RewriteCond %{HTTP_USER_AGENT} ^GoZilla [OR] RewriteCond %{HTTP_USER_AGENT} ^Grabber [OR] RewriteCond %{HTTP_USER_AGENT} ^GrabNet [OR] RewriteCond %{HTTP_USER_AGENT} ^Grafula [OR] RewriteCond %{HTTP_USER_AGENT} ^Gulliver [OR] RewriteCond %{HTTP_USER_AGENT} ^Harvest [OR] RewriteCond %{HTTP_USER_AGENT} ^help.naver.com [OR] RewriteCond %{HTTP_USER_AGENT} ^hloader [OR] RewriteCond %{HTTP_USER_AGENT} ^HMView [OR] RewriteCond %{HTTP_USER_AGENT} ^holmes [OR] RewriteCond %{HTTP_USER_AGENT} ^HP\ Web\ PrintSmart [OR] RewriteCond %{HTTP_USER_AGENT} ^HTMLParser [OR] RewriteCond %{HTTP_USER_AGENT} ^httplib [OR] RewriteCond %{HTTP_USER_AGENT} ^HTTrack [OR] RewriteCond %{HTTP_USER_AGENT} ^humanlinks [OR] RewriteCond %{HTTP_USER_AGENT} ^ia_archiver [OR] RewriteCond %{HTTP_USER_AGENT} ^IBrowse [OR] RewriteCond %{HTTP_USER_AGENT} ^ichiro [OR] RewriteCond %{HTTP_USER_AGENT} ^IDBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Image\ Stripper [OR] RewriteCond %{HTTP_USER_AGENT} ^Image\ Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^Indy\ Library [OR] RewriteCond %{HTTP_USER_AGENT} ^InetURL [OR] RewriteCond %{HTTP_USER_AGENT} ^InfoNaviRobot [OR] RewriteCond %{HTTP_USER_AGENT} ^InterGET [OR] RewriteCond %{HTTP_USER_AGENT} ^Internet\ Ninja [OR] RewriteCond %{HTTP_USER_AGENT} ^InternetSeer [OR] RewriteCond %{HTTP_USER_AGENT} ^Iria [OR] RewriteCond %{HTTP_USER_AGENT} ^IRLbot [OR] RewriteCond %{HTTP_USER_AGENT} ^Java [OR] RewriteCond %{HTTP_USER_AGENT} ^JennyBot [OR] RewriteCond %{HTTP_USER_AGENT} ^JetCar [OR] RewriteCond %{HTTP_USER_AGENT} ^JOC [OR] RewriteCond %{HTTP_USER_AGENT} ^JS-Kit [OR] RewriteCond %{HTTP_USER_AGENT} ^JustView [OR] RewriteCond %{HTTP_USER_AGENT} ^Kenjin.Spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Keyword.Density [OR] RewriteCond %{HTTP_USER_AGENT} ^kmSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Konqueror [OR] RewriteCond %{HTTP_USER_AGENT} ^larbin [OR] RewriteCond %{HTTP_USER_AGENT} ^leech [OR] RewriteCond %{HTTP_USER_AGENT} ^LeechFTP [OR] RewriteCond %{HTTP_USER_AGENT} ^LexiBot [OR] RewriteCond %{HTTP_USER_AGENT} ^lftp [OR] RewriteCond %{HTTP_USER_AGENT} ^libWeb/clsHTTP [OR] RewriteCond %{HTTP_USER_AGENT} ^libwww [OR] RewriteCond %{HTTP_USER_AGENT} ^likse [OR] RewriteCond %{HTTP_USER_AGENT} ^Linguee [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkExchanger [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkextractorPro [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkScan [OR] RewriteCond %{HTTP_USER_AGENT} ^LinkWalker [OR] RewriteCond %{HTTP_USER_AGENT} ^ListChecker [OR] RewriteCond %{HTTP_USER_AGENT} ^Lupa\.ru [OR] RewriteCond %{HTTP_USER_AGENT} ^lwp-trivial [OR] RewriteCond %{HTTP_USER_AGENT} ^LWP::Simple [OR] RewriteCond %{HTTP_USER_AGENT} ^Mag-Net [OR] RewriteCond %{HTTP_USER_AGENT} ^Magnet [OR] RewriteCond %{HTTP_USER_AGENT} ^Mail.Ru [OR] RewriteCond %{HTTP_USER_AGENT} ^Mass\ Downloader [OR] RewriteCond %{HTTP_USER_AGENT} ^Mata.Hari [OR] RewriteCond %{HTTP_USER_AGENT} ^Memo [OR] RewriteCond %{HTTP_USER_AGENT} ^Microsoft.URL [OR] RewriteCond %{HTTP_USER_AGENT} ^MIDown\ tool [OR] RewriteCond %{HTTP_USER_AGENT} ^MIIxpc [OR] RewriteCond %{HTTP_USER_AGENT} ^Mirror [OR] RewriteCond %{HTTP_USER_AGENT} ^Missigua [OR] RewriteCond %{HTTP_USER_AGENT} ^Mister\ PiX [OR] RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR] RewriteCond %{HTTP_USER_AGENT} ^MLBot [OR] RewriteCond %{HTTP_USER_AGENT} ^moget [OR] RewriteCond %{HTTP_USER_AGENT} ^Moreoverbot [OR] RewriteCond %{HTTP_USER_AGENT} ^MSFrontPage [OR] RewriteCond %{HTTP_USER_AGENT} ^MSIECrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^msnbot [OR] RewriteCond %{HTTP_USER_AGENT} ^NaverBot/1.0 [OR] RewriteCond %{HTTP_USER_AGENT} ^Navroad [OR] RewriteCond %{HTTP_USER_AGENT} ^NearSite [OR] RewriteCond %{HTTP_USER_AGENT} ^Net.*Reaper [OR] RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [OR] RewriteCond %{HTTP_USER_AGENT} ^NetAnts [OR] RewriteCond %{HTTP_USER_AGENT} ^NetCache [OR] RewriteCond %{HTTP_USER_AGENT} ^NetMechanic [OR] RewriteCond %{HTTP_USER_AGENT} ^NetSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^NetZIP [OR] RewriteCond %{HTTP_USER_AGENT} ^NextGenSearchBot [OR] RewriteCond %{HTTP_USER_AGENT} ^nicebot [OR] RewriteCond %{HTTP_USER_AGENT} ^NICErsPRO [OR] RewriteCond %{HTTP_USER_AGENT} ^Ninja [OR] RewriteCond %{HTTP_USER_AGENT} ^NjuiceBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Nokia6682 [OR] RewriteCond %{HTTP_USER_AGENT} ^noxtrumbot [OR] RewriteCond %{HTTP_USER_AGENT} ^NPBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Nutch [OR] RewriteCond %{HTTP_USER_AGENT} ^Octopus [OR] RewriteCond %{HTTP_USER_AGENT} ^Offline [OR] RewriteCond %{HTTP_USER_AGENT} ^OmniExplorer_Bot [OR] RewriteCond %{HTTP_USER_AGENT} ^OneTouchSystems [OR] RewriteCond %{HTTP_USER_AGENT} ^Openfind [OR] RewriteCond %{HTTP_USER_AGENT} ^Page.*Saver [OR] RewriteCond %{HTTP_USER_AGENT} ^PageGrabber [OR] RewriteCond %{HTTP_USER_AGENT} ^Papa\ Foto [OR] RewriteCond %{HTTP_USER_AGENT} ^pavuk [OR] RewriteCond %{HTTP_USER_AGENT} ^pcBrowser [OR] RewriteCond %{HTTP_USER_AGENT} ^PEAR [OR] RewriteCond %{HTTP_USER_AGENT} ^PHP.*/ [OR] RewriteCond %{HTTP_USER_AGENT} ^Ping [OR] RewriteCond %{HTTP_USER_AGENT} ^Pita [OR] RewriteCond %{HTTP_USER_AGENT} ^Pockey [OR] RewriteCond %{HTTP_USER_AGENT} ^Port\ Huron\ Labs [OR] RewriteCond %{HTTP_USER_AGENT} ^PostRank [OR] RewriteCond %{HTTP_USER_AGENT} ^ProPowerBot [OR] RewriteCond %{HTTP_USER_AGENT} ^ProWebWalker [OR] RewriteCond %{HTTP_USER_AGENT} ^psbot [OR] RewriteCond %{HTTP_USER_AGENT} ^ptd-crawler [OR] RewriteCond %{HTTP_USER_AGENT} ^Pump [OR] RewriteCond %{HTTP_USER_AGENT} ^Purebot [OR] RewriteCond %{HTTP_USER_AGENT} ^PycURL [OR] RewriteCond %{HTTP_USER_AGENT} ^Python [OR] RewriteCond %{HTTP_USER_AGENT} ^QihooBot [OR] RewriteCond %{HTTP_USER_AGENT} ^QueryN.Metasearch [OR] RewriteCond %{HTTP_USER_AGENT} ^RealDownload [OR] RewriteCond %{HTTP_USER_AGENT} ^Reaper [OR] RewriteCond %{HTTP_USER_AGENT} ^Recorder [OR] RewriteCond %{HTTP_USER_AGENT} ^ReGet [OR] RewriteCond %{HTTP_USER_AGENT} ^RepoMonkey [OR] RewriteCond %{HTTP_USER_AGENT} ^RMA [OR] RewriteCond %{HTTP_USER_AGENT} ^RPT-HTTPClient [OR] RewriteCond %{HTTP_USER_AGENT} ^RufusBot [OR] RewriteCond %{HTTP_USER_AGENT} ^rulinki [OR] RewriteCond %{HTTP_USER_AGENT} ^SBIder [OR] RewriteCond %{HTTP_USER_AGENT} ^shelob [OR] RewriteCond %{HTTP_USER_AGENT} ^ShopWiki [OR] RewriteCond %{HTTP_USER_AGENT} ^SiteBot [OR] RewriteCond %{HTTP_USER_AGENT} ^sitecheck.internetseer.com [OR] RewriteCond %{HTTP_USER_AGENT} ^SiteSnagger [OR] RewriteCond %{HTTP_USER_AGENT} ^Slurp [OR] RewriteCond %{HTTP_USER_AGENT} ^SlySearch [OR] RewriteCond %{HTTP_USER_AGENT} ^SmartDownload [OR] RewriteCond %{HTTP_USER_AGENT} ^SMILE [OR] RewriteCond %{HTTP_USER_AGENT} ^Snagger [OR] RewriteCond %{HTTP_USER_AGENT} ^Snake [OR] RewriteCond %{HTTP_USER_AGENT} ^Sogou\ web\ spider [OR] RewriteCond %{HTTP_USER_AGENT} ^Sosospider [OR] RewriteCond %{HTTP_USER_AGENT} ^Soup [OR] RewriteCond %{HTTP_USER_AGENT} ^SpaceBison [OR] RewriteCond %{HTTP_USER_AGENT} ^SpankBot [OR] RewriteCond %{HTTP_USER_AGENT} ^spanner [OR] RewriteCond %{HTTP_USER_AGENT} ^spbot [OR] RewriteCond %{HTTP_USER_AGENT} ^Speedy [OR] RewriteCond %{HTTP_USER_AGENT} ^Speedy\ Spider [OR] RewriteCond %{HTTP_USER_AGENT} ^StackRambler [OR] RewriteCond %{HTTP_USER_AGENT} ^Stripper [OR] RewriteCond %{HTTP_USER_AGENT} ^Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^suggybot [OR] RewriteCond %{HTTP_USER_AGENT} ^SuperBot [OR] RewriteCond %{HTTP_USER_AGENT} ^SuperHTTP [OR] RewriteCond %{HTTP_USER_AGENT} ^Surfbot [OR] RewriteCond %{HTTP_USER_AGENT} ^SurveyBot [OR] RewriteCond %{HTTP_USER_AGENT} ^suzuran [OR] RewriteCond %{HTTP_USER_AGENT} ^SWeb [OR] RewriteCond %{HTTP_USER_AGENT} ^Szukacz [OR] RewriteCond %{HTTP_USER_AGENT} ^tAkeOut [OR] RewriteCond %{HTTP_USER_AGENT} ^Teleport [OR] RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [OR] RewriteCond %{HTTP_USER_AGENT} ^Telesoft [OR] RewriteCond %{HTTP_USER_AGENT} ^The.Intraformant [OR] RewriteCond %{HTTP_USER_AGENT} ^TheFreeDictionary.com [OR] RewriteCond %{HTTP_USER_AGENT} ^TheNomad [OR] RewriteCond %{HTTP_USER_AGENT} ^TightTwatBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Titan [OR] RewriteCond %{HTTP_USER_AGENT} ^TMCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^toCrawl/UrlDispatcher [OR] RewriteCond %{HTTP_USER_AGENT} ^Triton [OR] RewriteCond %{HTTP_USER_AGENT} ^True_Robot [OR] RewriteCond %{HTTP_USER_AGENT} ^ttCrawler [OR] RewriteCond %{HTTP_USER_AGENT} ^turingos [OR] RewriteCond %{HTTP_USER_AGENT} ^TurnitinBot [OR] RewriteCond %{HTTP_USER_AGENT} ^TurtleScanner [OR] RewriteCond %{HTTP_USER_AGENT} ^Twiceler [OR] RewriteCond %{HTTP_USER_AGENT} ^UniversalFeedParser [OR] RewriteCond %{HTTP_USER_AGENT} ^URLy.Warning [OR] RewriteCond %{HTTP_USER_AGENT} ^User-Agent [OR] RewriteCond %{HTTP_USER_AGENT} ^Vacuum [OR] RewriteCond %{HTTP_USER_AGENT} ^VCI [OR] RewriteCond %{HTTP_USER_AGENT} ^VoidEYE [OR] RewriteCond %{HTTP_USER_AGENT} ^VoilaBot [OR] RewriteCond %{HTTP_USER_AGENT} ^voyager [OR] RewriteCond %{HTTP_USER_AGENT} ^Weazel [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.*Image.*Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.*Spy [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.*Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^Web.Image.Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Image\ Collector [OR] RewriteCond %{HTTP_USER_AGENT} ^Web\ Sucker [OR] RewriteCond %{HTTP_USER_AGENT} ^WebAlta [OR] RewriteCond %{HTTP_USER_AGENT} ^WebAuto [OR] RewriteCond %{HTTP_USER_AGENT} ^WebBandit [OR] RewriteCond %{HTTP_USER_AGENT} ^WebCapture [OR] RewriteCond %{HTTP_USER_AGENT} ^webcollage [OR] RewriteCond %{HTTP_USER_AGENT} ^WebCopier [OR] RewriteCond %{HTTP_USER_AGENT} ^WebData [OR] RewriteCond %{HTTP_USER_AGENT} ^WebEMailExtrac.* [OR] RewriteCond %{HTTP_USER_AGENT} ^WebEnhancer [OR] RewriteCond %{HTTP_USER_AGENT} ^WebEx [OR] RewriteCond %{HTTP_USER_AGENT} ^WebExtractor [OR] RewriteCond %{HTTP_USER_AGENT} ^WebFetch [OR] RewriteCond %{HTTP_USER_AGENT} ^WebGo\ IS [OR] RewriteCond %{HTTP_USER_AGENT} ^WebLeacher [OR] RewriteCond %{HTTP_USER_AGENT} ^WebmasterWorldForumBot [OR] RewriteCond %{HTTP_USER_AGENT} ^WebMirror [OR] RewriteCond %{HTTP_USER_AGENT} ^WebReaper [OR] RewriteCond %{HTTP_USER_AGENT} ^WebRecorder [OR] RewriteCond %{HTTP_USER_AGENT} ^WebSauger [OR] RewriteCond %{HTTP_USER_AGENT} ^WebSite.*Extractor [OR] RewriteCond %{HTTP_USER_AGENT} ^Website.*Quester [OR] RewriteCond %{HTTP_USER_AGENT} ^Website.Quester [OR] RewriteCond %{HTTP_USER_AGENT} ^Website\ eXtractor [OR] RewriteCond %{HTTP_USER_AGENT} ^Website\ Quester [OR] RewriteCond %{HTTP_USER_AGENT} ^WebSpy [OR] RewriteCond %{HTTP_USER_AGENT} ^Webster [OR] RewriteCond %{HTTP_USER_AGENT} ^Webster.Pro [OR] RewriteCond %{HTTP_USER_AGENT} ^Webster\ Pro [OR] RewriteCond %{HTTP_USER_AGENT} ^WebStripper [OR] RewriteCond %{HTTP_USER_AGENT} ^WebWhacker [OR] RewriteCond %{HTTP_USER_AGENT} ^WebZip [OR] RewriteCond %{HTTP_USER_AGENT} ^Wget [OR] RewriteCond %{HTTP_USER_AGENT} ^Whacker [OR] RewriteCond %{HTTP_USER_AGENT} ^Widow [OR] RewriteCond %{HTTP_USER_AGENT} ^WordPress [OR] RewriteCond %{HTTP_USER_AGENT} ^WWW-Collector-E [OR] RewriteCond %{HTTP_USER_AGENT} ^www.cuill.com [OR] RewriteCond %{HTTP_USER_AGENT} ^www.metacrawler.com [OR] RewriteCond %{HTTP_USER_AGENT} ^www\.asona\.org [OR] RewriteCond %{HTTP_USER_AGENT} ^www\.cys\.ru [OR] RewriteCond %{HTTP_USER_AGENT} ^WWWOFFLE [OR] RewriteCond %{HTTP_USER_AGENT} ^Wysigot [OR] RewriteCond %{HTTP_USER_AGENT} ^Xaldon\ WebSpider [OR] RewriteCond %{HTTP_USER_AGENT} ^Xenu's [OR] RewriteCond %{HTTP_USER_AGENT} ^Yahoo [OR] RewriteCond %{HTTP_USER_AGENT} ^YahooSeeker [OR] RewriteCond %{HTTP_USER_AGENT} ^Yanga [OR] RewriteCond %{HTTP_USER_AGENT} ^Yeti [OR] RewriteCond %{HTTP_USER_AGENT} ^YottosBot [OR] RewriteCond %{HTTP_USER_AGENT} ^Zeus [OR] RewriteCond %{HTTP_USER_AGENT} ^ZyBorg RewriteRule ^.* - [F,L]