powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Как бороться с ботами?
19 сообщений из 19, страница 1 из 1
Как бороться с ботами?
    #39038105
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Которые лезут таким образом?

93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET /muieblackcat HTTP/1.0" 302 514 "-" "-"
93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //phpMyAdmin/scripts/setup.php HTTP/1.0" 302 540 "-" "-"
93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //phpmyadmin/scripts/setup.php HTTP/1.0" 404 478 "-" "-"
93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //pma/scripts/setup.php HTTP/1.0" 302 528 "-" "-"
93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //myadmin/scripts/setup.php HTTP/1.0" 302 535 "-" "-"
93.174.95.81 - - [28/Aug/2015:04:32:45 +0300] "GET //MyAdmin/scripts/setup.php HTTP/1.0" 302 536 "-" "-"


Дебиан, апач. fail2ban тут может как-то помочь?
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39038124
VGrey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
wadman, зачем с этим бороться? Нагрузку на сервер оно не создает(практически не создает). Пусть себе развлекаются люди - Вам от этого ни холодно, ни жарко. Не, Вам даже польза - знаете что именно и где именно ищут, а знание - сила, можно принять меры.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39038142
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Почитал про fail2ban: банит на основе наблюдения за логами, значит его можно научить банить за запросы к несуществующим php-страницам. :о)

Если у кого есть готовое правило, буду рад. А пока почитаю подробнее...
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39038162
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И пример нашелся http://www.fail2ban.org/wiki/index.php/HOWTO_apache_myadmin_filter

Раз:
[Definition]
failregex = [[]client <HOST>[]] File does not exist: /\S*phpmyadmin*
[[]client <HOST>[]] File does not exist: /\S*phpMyAdmin*
[[]client <HOST>[]] File does not exist: /\S*PMA*
[[]client <HOST>[]] File does not exist: /\S*pma*
[[]client <HOST>[]] File does not exist: /\S*admin*
[[]client <HOST>[]] File does not exist: /\S*dbadmin*
[[]client <HOST>[]] File does not exist: /\S*sql*
[[]client <HOST>[]] File does not exist: /\S*mysql*
[[]client <HOST>[]] File does not exist: /\S*myadmin*
[[]client <HOST>[]] File does not exist: /\S*MyAdmin*
[[]client <HOST>[]] File does not exist: /\S*phpmyadmin2*
[[]client <HOST>[]] File does not exist: /\S*phpMyAdmin2*
[[]client <HOST>[]] File does not exist: /\S*phpMyAdmin-2*
[[]client <HOST>[]] File does not exist: /\S*php-my-admin*
[[]client <HOST>[]] File does not exist: /\S*sqlmanager*
[[]client <HOST>[]] File does not exist: /\S*mysqlmanager*
[[]client <HOST>[]] File does not exist: /\S*PMA2005*
[[]client <HOST>[]] File does not exist: /\S*pma2005*
[[]client <HOST>[]] File does not exist: /\S*phpmanager*
[[]client <HOST>[]] File does not exist: /\S*php-myadmin*
[[]client <HOST>[]] File does not exist: /\S*phpmy-admin*
[[]client <HOST>[]] File does not exist: /\S*webadmin*
[[]client <HOST>[]] File does not exist: /\S*sqlweb*
[[]client <HOST>[]] File does not exist: /\S*websql*
[[]client <HOST>[]] File does not exist: /\S*webdb*
[[]client <HOST>[]] File does not exist: /\S*mysqladmin*
[[]client <HOST>[]] File does not exist: /\S*mysql-admin*

ignoreregex =


Два:
failregex = \[client <HOST>\] File does not exist:.*(?i)admin.*
\[client <HOST>\] File does not exist:.*(?i)manager.*
\[client <HOST>\] File does not exist:.*(?i)setup.*
\[client <HOST>\] File does not exist:.*(?i)mysql.*
\[client <HOST>\] File does not exist:.*(?i)sqlweb.*
\[client <HOST>\] File does not exist:.*(?i)webdb.*
\[client <HOST>\] File does not exist:.*(?i)pma.*
\[client <HOST>\] File does not exist:.*(?i)vtigercrm.*
^<HOST>.*GET.*(?i)admin.*
^<HOST>.*GET.*(?i)manager.*
^<HOST>.*GET.*(?i)setup.*
^<HOST>.*GET.*(?i)mysql.*
^<HOST>.*GET.*(?i)sqlweb.*
^<HOST>.*GET.*(?i)webdb.*
^<HOST>.*GET.*(?i)pma.*
^<HOST>.*GET.*(?i)vtigercrm.*
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39038251
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
То были правила для error.log, а тут для access.log
# Fail2Ban configuration file
# Author: Miniwark

[Definition]
failregex = ^<HOST> .*"GET .*w00tw00t
# try to access to admin directory
^<HOST> .*"GET .*admin.* 403
^<HOST> .*"GET .*admin.* 404
# try to access to install directory
^<HOST> .*"GET .*install.* 404
# try to access to phpmyadmin
^<HOST> .*"GET .*dbadmin.* 404
^<HOST> .*"GET .*myadmin.* 404
^<HOST> .*"GET .*MyAdmin.* 404
^<HOST> .*"GET .*mysql.* 404
^<HOST> .*"GET .*websql.* 404
^<HOST> .*"GET \/pma\/.* 404
# try to access to wordpress (we use another CMS)
^<HOST> .*"GET .*wp-content.* 404
^<HOST> .*"GET .*wp-login.* 404
# try to access to typo3 (we use another CMS)
^<HOST> .*"GET .*typo3.* 404
# try to access to tomcat (we do not use it)
^<HOST> .*"HEAD .*manager.* 404
# try to access various strange scripts and malwares
^<HOST> .*"HEAD .*blackcat.* 404
^<HOST> .*"HEAD .*sprawdza.php.* 404
# my
^<HOST> .*"HEAD *setup.php* 302
^<HOST> .*"HEAD *setup.php* 404
^<HOST> .*"HEAD .*blackcat.* 302

ignoreregex =
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039264
VGrey
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
wadman , Ваш fail2ban будет кушать в разы больше ресурсов, чем без него, он же написан на python. Не нужно в систему пихать все что удается найти в интернет, от этого она не станет ни лучше, ни надежнее.
А теперь представьте следующую ситуацию: на сайте есть где-то в дебряг движка ссылка на несуществующую страницу. Прграмер тоже человек, а людям своственно ошибаться. Дальше, на сайт приходит паук поисковика, попадает на эту ссылку на страницу, которой нет, а Вы его в бан. Естественно, что поисковик выбросит ваш сайт с поиска, и будет прав. Оно Вам нужно?
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039268
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
VGrey,
аргументы хороши, но сейчас не тот случай. Мне посторонние посещения не нужны.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039275
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Посмотрел на действия поисковых ботов. Их главное отличие от китайских в том, что они получив ошибку, не повторяют запрос. Так что в бан они вряд-ли попадут.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039288
неТолик1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
wadman,

так попробуйте
Код: coco
1.
iptables -I INPUT 1 -p tcp --dport 80 -m string --string "setup.php" --algo kmp -j DROP
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039347
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
неТолик1,

это слишком круто: дропать все, без разбора.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039353
неТолик1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
wadman,

где же без разбора, просматриваются http заголовки на соответствие условию (строки setup.php) и потом дропаются .
почти deep packet inspection
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039374
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wadmanПочитал про fail2ban: банит на основе наблюдения за логами, значит его можно научить банить за запросы к несуществующим php-страницам. :о)А смысл? Дофигища пользователей сидят на серых адресах за белыми айпишниками интернет-провайдеров. Один кто-то потыкается - и тыща (две, три, пять) таких серых автоматически попадают в бан. Кривенькая ссылка на каком-то популярном форуме, как пример.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039390
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkle,

смысл сделать китайским ботам жизнь сложнее.
Не лезут на мой сервер без моего ведома.
В этом весь смысл. Проект не seo.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039391
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wadmanсмысл сделать китайским ботам жизнь сложнее.Тады начинать следует с формализации определения "китайский бот" и алгоритма его распознавания. Реализация - это уже дело следующего этапа.

Да, про СЕО я и не заикался, ограничился лишь вопросом доступности сайта для народных масс.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039397
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я бы предложил банить не за любую ошибку, а за обращения к адресам посторонних CMS.
На наших сайтах в огромных количествах пытаются найти уязвимости Wordpress-а, хотя на сайте его никогда не было и, видимо, уже не будет. Вот за обращение к Wordpress-специфичным адресам я бы банил смело.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39039415
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vkleТады начинать следует с формализации определения "китайский бот" и алгоритма его распознавания.
GeoIP. И ползание по дефолтным ссылкам. Таким страдают только особо одаренные боты.
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39041860
wadman,

Так по геоипу и бань, например, отвечай всем негодным странам 403, в нжинксе делается тремя строчками в конфиге, хотя вариант со --string тоже ок

Но если проект строго только для себя, то можно и ssl с проверкой серта клиента использовать
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39059288
Arhat109
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoft,

Когда поднимал домашний сервак и на нем делал сайт с белым ИП (домашний хостинг: "сам себе провайдер"), то так и поступал. Искал в сети (тоже своим пауком, гы...) странички с описанием уязвимостей, парсил в полуручном режиме и добавлял их в блек-лист на регекспах ... и фсе. Периодически, при повторении ИП и адреса (50%) на такой запрос отправлялся 2-х гектарный мусорный файлик с 200(ок)... даже не знаю, помогало или нет. :)
...
Рейтинг: 0 / 0
Как бороться с ботами?
    #39059294
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я поставил экспериментальный fail2ban с прогрессирующим баном.
За первые сутки вылезло около пары десятков сканеров мыла и админок.
Сейчас в бане 3-4 адреса, особо упорные. Добились того, что бан им начисляется уже в сутках.
Что интересно: китайские боты быстро просекли фишку, упорство проявляют французы и итальянцы.
...
Рейтинг: 0 / 0
19 сообщений из 19, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Как бороться с ботами?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]