Gororодин скорей всего google второй yandexНу так по айпишникам посмотреть можно, из каких подсетей они приходят.

Gororнекоторые страницы они сканируют по несколько раз?!Наверно, они думают, что страница изменилась. Не пробовали настроить ласт-модифайд и установить там боле-менее реальное время создания страницы? Впрочем, поспрошайте СЕОшников на профильных ресурсах. Попадались там обсуждения поведения роботов.

PS: Перечитал название темы. Перечитал тему. Каким боком тут PHP притерся?

GororНу и походу, наверняка можно средствами php "отшивать" роботов ну или что-то подобноеБанить? Да можно. По айпи и по строке юзер-агента. Можно и средствами .htaccess это сделать с гораздо меньшими затратами ресурсов.
Gororнаправлять их на путь истинныйПуть истинный - это управляющие инструкции, формат и размещение которых расписаны для каждого конкретного робота.

Gororмоментами как я замечал, в минуту по 30-40 новых страниц роботы сканировали. А это же нагрузка довольно приличная на сервер?!Приличная или нет - тут Вам виднее. Для отдачи статичного контента (из файлов) это вообще не нагрузка. При формировании контента скриптом - сильно зависит от ресурсопрожорливости скрипта (используемого движка, алгоритмов, СУБД).



GororИ ещё мне просто интересно, если это только на начальных стадиях, то понять можно, пусть от сканируют всё и узбагоятся, но если так будет постоянноВ первом приближении как ведет себя порядочный робот... Получает страницу, фиксирует ее контент и время изменения (заголовок Last-Modified). Заходит в другой раз и смотрит время изменения. Если оно совпадает с предыдущим - значит страница меняется редко и ее можно сканировать реже. Такую выдачу заголовка вполне можно организовать, отдавая запрашиваемые страницы непосредственно из кеша как статику (вебсерверы обычно умеет сами читать и отдавать дату изменения файла на диске). Если время изменения страницы отсутствует или обновлено (не совпадает с данными от предыдущего захода) - значит и контент необходимо получить заново (а иначе невозможно узнать об изменении контента). Если при этом и контент изменился - значит есть смысл сканировать чаще. Таким образом, если время изменения страницы отсутствует или ставится текущее - то повода для ожидания снижения запросов контента от робота я не вижу. Разумеется, мое изложение не претендует на полноту и исключительную точность.

GororГлавное чтоб хостеры на меня в суд не подали бы, за что мой сайт спалил им сервак)Успокойтесь, не подадут. Это не в их интересах :-) Просто ограничат (что обычно и делают) потребление ресурсов или отключат аккаунт и предложат перейти на более дорогой тарифный план или на выделенный сервер. Если же Ваш сайт "лежит" от банальной перегрузки - это хостеру как-то глубоко фиолетово.