|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
Которые лезут таким образом? 93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET /muieblackcat HTTP/1.0" 302 514 "-" "-" 93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //phpMyAdmin/scripts/setup.php HTTP/1.0" 302 540 "-" "-" 93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //phpmyadmin/scripts/setup.php HTTP/1.0" 404 478 "-" "-" 93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //pma/scripts/setup.php HTTP/1.0" 302 528 "-" "-" 93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //myadmin/scripts/setup.php HTTP/1.0" 302 535 "-" "-" 93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //MyAdmin/scripts/setup.php HTTP/1.0" 302 536 "-" "-" Дебиан, апач. fail2ban тут может как-то помочь? ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2015, 09:43 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadman, зачем с этим бороться? Нагрузку на сервер оно не создает(практически не создает). Пусть себе развлекаются люди - Вам от этого ни холодно, ни жарко. Не, Вам даже польза - знаете что именно и где именно ищут, а знание - сила, можно принять меры. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2015, 10:04 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
Почитал про fail2ban: банит на основе наблюдения за логами, значит его можно научить банить за запросы к несуществующим php-страницам. :о) Если у кого есть готовое правило, буду рад. А пока почитаю подробнее... ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2015, 10:23 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
И пример нашелся http://www.fail2ban.org/wiki/index.php/HOWTO_apache_myadmin_filter Раз: [Definition] failregex = [[]client <HOST>[]] File does not exist: /\S*phpmyadmin* [[]client <HOST>[]] File does not exist: /\S*phpMyAdmin* [[]client <HOST>[]] File does not exist: /\S*PMA* [[]client <HOST>[]] File does not exist: /\S*pma* [[]client <HOST>[]] File does not exist: /\S*admin* [[]client <HOST>[]] File does not exist: /\S*dbadmin* [[]client <HOST>[]] File does not exist: /\S*sql* [[]client <HOST>[]] File does not exist: /\S*mysql* [[]client <HOST>[]] File does not exist: /\S*myadmin* [[]client <HOST>[]] File does not exist: /\S*MyAdmin* [[]client <HOST>[]] File does not exist: /\S*phpmyadmin2* [[]client <HOST>[]] File does not exist: /\S*phpMyAdmin2* [[]client <HOST>[]] File does not exist: /\S*phpMyAdmin-2* [[]client <HOST>[]] File does not exist: /\S*php-my-admin* [[]client <HOST>[]] File does not exist: /\S*sqlmanager* [[]client <HOST>[]] File does not exist: /\S*mysqlmanager* [[]client <HOST>[]] File does not exist: /\S*PMA2005* [[]client <HOST>[]] File does not exist: /\S*pma2005* [[]client <HOST>[]] File does not exist: /\S*phpmanager* [[]client <HOST>[]] File does not exist: /\S*php-myadmin* [[]client <HOST>[]] File does not exist: /\S*phpmy-admin* [[]client <HOST>[]] File does not exist: /\S*webadmin* [[]client <HOST>[]] File does not exist: /\S*sqlweb* [[]client <HOST>[]] File does not exist: /\S*websql* [[]client <HOST>[]] File does not exist: /\S*webdb* [[]client <HOST>[]] File does not exist: /\S*mysqladmin* [[]client <HOST>[]] File does not exist: /\S*mysql-admin* ignoreregex = Два: failregex = \[client <HOST>\] File does not exist:.*(?i)admin.* \[client <HOST>\] File does not exist:.*(?i)manager.* \[client <HOST>\] File does not exist:.*(?i)setup.* \[client <HOST>\] File does not exist:.*(?i)mysql.* \[client <HOST>\] File does not exist:.*(?i)sqlweb.* \[client <HOST>\] File does not exist:.*(?i)webdb.* \[client <HOST>\] File does not exist:.*(?i)pma.* \[client <HOST>\] File does not exist:.*(?i)vtigercrm.* ^<HOST>.*GET.*(?i)admin.* ^<HOST>.*GET.*(?i)manager.* ^<HOST>.*GET.*(?i)setup.* ^<HOST>.*GET.*(?i)mysql.* ^<HOST>.*GET.*(?i)sqlweb.* ^<HOST>.*GET.*(?i)webdb.* ^<HOST>.*GET.*(?i)pma.* ^<HOST>.*GET.*(?i)vtigercrm.* ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2015, 10:36 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
То были правила для error.log, а тут для access.log # Fail2Ban configuration file # Author: Miniwark [Definition] failregex = ^<HOST> .*"GET .*w00tw00t # try to access to admin directory ^<HOST> .*"GET .*admin.* 403 ^<HOST> .*"GET .*admin.* 404 # try to access to install directory ^<HOST> .*"GET .*install.* 404 # try to access to phpmyadmin ^<HOST> .*"GET .*dbadmin.* 404 ^<HOST> .*"GET .*myadmin.* 404 ^<HOST> .*"GET .*MyAdmin.* 404 ^<HOST> .*"GET .*mysql.* 404 ^<HOST> .*"GET .*websql.* 404 ^<HOST> .*"GET \/pma\/.* 404 # try to access to wordpress (we use another CMS) ^<HOST> .*"GET .*wp-content.* 404 ^<HOST> .*"GET .*wp-login.* 404 # try to access to typo3 (we use another CMS) ^<HOST> .*"GET .*typo3.* 404 # try to access to tomcat (we do not use it) ^<HOST> .*"HEAD .*manager.* 404 # try to access various strange scripts and malwares ^<HOST> .*"HEAD .*blackcat.* 404 ^<HOST> .*"HEAD .*sprawdza.php.* 404 # my ^<HOST> .*"HEAD *setup.php* 302 ^<HOST> .*"HEAD *setup.php* 404 ^<HOST> .*"HEAD .*blackcat.* 302 ignoreregex = ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2015, 11:44 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadman , Ваш fail2ban будет кушать в разы больше ресурсов, чем без него, он же написан на python. Не нужно в систему пихать все что удается найти в интернет, от этого она не станет ни лучше, ни надежнее. А теперь представьте следующую ситуацию: на сайте есть где-то в дебряг движка ссылка на несуществующую страницу. Прграмер тоже человек, а людям своственно ошибаться. Дальше, на сайт приходит паук поисковика, попадает на эту ссылку на страницу, которой нет, а Вы его в бан. Естественно, что поисковик выбросит ваш сайт с поиска, и будет прав. Оно Вам нужно? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 08:31 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
VGrey, аргументы хороши, но сейчас не тот случай. Мне посторонние посещения не нужны. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 09:08 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
Посмотрел на действия поисковых ботов. Их главное отличие от китайских в том, что они получив ошибку, не повторяют запрос. Так что в бан они вряд-ли попадут. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 10:16 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadman, так попробуйте Код: coco 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 11:37 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
неТолик1, это слишком круто: дропать все, без разбора. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 16:27 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadman, где же без разбора, просматриваются http заголовки на соответствие условию (строки setup.php) и потом дропаются . почти deep packet inspection ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 17:01 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadmanПочитал про fail2ban: банит на основе наблюдения за логами, значит его можно научить банить за запросы к несуществующим php-страницам. :о)А смысл? Дофигища пользователей сидят на серых адресах за белыми айпишниками интернет-провайдеров. Один кто-то потыкается - и тыща (две, три, пять) таких серых автоматически попадают в бан. Кривенькая ссылка на каком-то популярном форуме, как пример. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 19:10 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
vkle, смысл сделать китайским ботам жизнь сложнее. Не лезут на мой сервер без моего ведома. В этом весь смысл. Проект не seo. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 20:25 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadmanсмысл сделать китайским ботам жизнь сложнее.Тады начинать следует с формализации определения "китайский бот" и алгоритма его распознавания. Реализация - это уже дело следующего этапа. Да, про СЕО я и не заикался, ограничился лишь вопросом доступности сайта для народных масс. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 20:37 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
Я бы предложил банить не за любую ошибку, а за обращения к адресам посторонних CMS. На наших сайтах в огромных количествах пытаются найти уязвимости Wordpress-а, хотя на сайте его никогда не было и, видимо, уже не будет. Вот за обращение к Wordpress-специфичным адресам я бы банил смело. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 20:57 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
vkleТады начинать следует с формализации определения "китайский бот" и алгоритма его распознавания. GeoIP. И ползание по дефолтным ссылкам. Таким страдают только особо одаренные боты. ... |
|||
:
Нравится:
Не нравится:
|
|||
30.08.2015, 21:41 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
wadman, Так по геоипу и бань, например, отвечай всем негодным странам 403, в нжинксе делается тремя строчками в конфиге, хотя вариант со --string тоже ок Но если проект строго только для себя, то можно и ssl с проверкой серта клиента использовать ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2015, 19:09 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
miksoft, Когда поднимал домашний сервак и на нем делал сайт с белым ИП (домашний хостинг: "сам себе провайдер"), то так и поступал. Искал в сети (тоже своим пауком, гы...) странички с описанием уязвимостей, парсил в полуручном режиме и добавлял их в блек-лист на регекспах ... и фсе. Периодически, при повторении ИП и адреса (50%) на такой запрос отправлялся 2-х гектарный мусорный файлик с 200(ок)... даже не знаю, помогало или нет. :) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2015, 12:09 |
|
Как бороться с ботами?
|
|||
---|---|---|---|
#18+
Я поставил экспериментальный fail2ban с прогрессирующим баном. За первые сутки вылезло около пары десятков сканеров мыла и админок. Сейчас в бане 3-4 адреса, особо упорные. Добились того, что бан им начисляется уже в сутках. Что интересно: китайские боты быстро просекли фишку, упорство проявляют французы и итальянцы. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2015, 12:14 |
|
|
start [/forum/topic.php?fid=25&msg=39038251&tid=1481943]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
41ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
60ms |
get tp. blocked users: |
2ms |
others: | 255ms |
total: | 404ms |
0 / 0 |