В гугле/яндексе при частых запросах с одного ip вылетает капча с надписью - подтвердите что вы не бот. И подобный вариант защиты видел и на других сайтах, в том числе в интернет-магазинах при защите от парсеров. Чем плох вариант ограничением капчей частых запросов?

hVosttа так получается, надо вести счётчик с предельным количеством на отказ для одного IP. прикрутить не сложно, просто думаю, надо ли оно. хотя для таких сервисов как яндекс, им-то надо по-любому. или завести 128-битные ойдишники. пусть хоть все роботы разом наподут.

К примеру форма авторизации тоже обычно без капчи делается. А вот если злоумышленники надумали подбор пароля произвести напрямую post-запросами, а на сервере какой-нить bcrypt от 12-ти и выше раундов с проверкой пароля по секунде, то и сервер подвесить можно, всяко капчу лепить надо. Причём с одного ip может и много народа ходить по разным страницам, нужно к url-у цепляться. В общем придумай чё-нить, себе тоже поставлю

Shocker.ProЭто не о том. На поиск товаров нам пришлось тоже делать ограничение интервала запросов с одного IP. Речь идет не о поиске, а о создании сущностей (записи лога в расчет не берем)

Мусор всегда можно почистить из базы запуском чистильщика по шедулеру. А какая нагрузка на поиск?

Shocker.ProВ предельном случае можно написать робота, который будет с разных ип-шников делать заказы в интернет-магазине, выбирая каждый раз разный товар и ФИО из базы имен - как ты такое почистишь в автоматическом режиме?

Регистрацию на сайте можно (и нужно) сопровождать капчей, боты на данном этапе отсекаются. Зарегистрированный вручную и делающий кучу заказов бот под знамёнами злоумышленника попадёт в вечный бан уже от руки человека (менеджера по работе с заказами). Одиночные заказы-"пустышки" через некоторое время сами уходят в архив по шедулеру.

Защита обычно от чего-то. От подбора пароля и парсинга - нужна, от обычных страниц не представляющих коммерческую ценность - нет. А так боты (яндекс/гугл/прочие) по 5-10 запросов в секунду долбят, crawl-delay чуток уменьшает кол-во запросов, но ботов желающих подолбить сервер всегда полно.

Как делают другие (определено работающими парсерами) -

amazon.com - банит парсер через определённое время (примерно 20 минут) на конкретный временной интервал по IP. Ставишь несколько прокси, разграничиваешь время работы каждого друг за другом и нормал.

taobao.com (крупнейший интернет-магазин планеты, амазон с ебеем курят в стороне) - банит парсеры по IP и выплёвывает капчу, если ввёл - работаешь дальше. Тоже спасает разгрузка по нескольким прокси.

По мне, защита от парсинга - динамически меняющийся html + css + js. От долбления долговыполняющегося серверного запроса - блочить по ip.

Shocker.Proты, видимо, мало заказываешь в интернет-магазинах. Люди клали на регистрацию, либо пользуются кнопкой "оформить без регистрации", либо могут вообще в другом магазине заказать или позвонить - заказать устно.

Автоматическая регистрация происходит при оформлении заказа - пользователь дополнительно вводит свой email/пароль и вместе с добавлением заказа происходит и его регистрация, данные по которой затем отсылаются по Email, весьма распространённое явление. При звонке в магазин - заказ оформляется напрямую в программе учёта, в РФ это обычно 1С или любом корпоративном приложении, даже с web-интерфейсом.

Где-то в степиst_st,
Отделяйте мух от котлет
регистрация пользователя ( в дальнейшем узнавание его, по кукам или по вводу атрибутов регистрации)
и регистрация заказа для нужд отправителя и подсобных рабочих.
есть много магазинов где не предлагают регистрацию, а заказ по факту ( куда, сколько, кому, и тел или адрес для связи, кеш при получении или наложкой или еще как), при повторном входе в магазин и такой же зевака, как был раньше..

Ну то есть любой бот без регистрации и авторизации заходит в магазин и указывает - мне 1000 штук вон тех скатертей, мой email - president@kremlin.ru, мой телефон 89141237654 (наугад) и так мульён мильёнов раз повторяет заказ с разными параметрами, пока база не ляжет. Жестяка.