ReSQL.ru
     
powered by simpleCommunicator - 2.0.38     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Почему правила из ".htaccess" не работают в "httpd.conf"
8 сообщений из 8, страница 1 из 1
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39335311
Gamletus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gamletus
Гость
Всем привет.
Недавно просмотрел логи и увидел очень много запросов от бота SemrushBot, и некоторых других. Погуглил, и нашёл решение проблемы - прописать в .htaccess правило:
Код: php
1.
2.
3.
4.
5.
6.
7.
8.
<IfModule mod_setenvif.c>
 SetEnvIfNoCase User-Agent semrush ban
 <Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=ban
 </Limit>
</IfModule>


вписываю и всё работает.
Но сайтов на VDS много и в каждом прописывать эти строки муторно, да и дополнять новыми ботами слишком тяжело. Решил прописать это правило в httpd.conf, но почему-то оно не срабатывает. Подскажите почему так и как сделать так, чтобы это работало сразу для всех сайтов? Буду очень признателен, а то боты одолели уже.
...
Рейтинг: 0 / 0
27.10.2016, 13:31
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39335821
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Вроде, Limit не работает на серверном уровне, только на уровне сайта применим. Не?
...
Рейтинг: 0 / 0
27.10.2016, 23:05
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39335876
Gamletus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gamletus
Гость
vkle , если так, то как переписать это условие?
...
Рейтинг: 0 / 0
28.10.2016, 07:47
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39335956
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vkle
Участник
Gamletus, Вы имеете в виду, нет ли другого способа ограничить, чтоб работал на уровне вебсервера в целом? Не знаю, может и есть.

Не уверен, что сработает, но предложу. Попробуйте прописать SetEnv в серверном конфиге, мож она подхватится.
...
Рейтинг: 0 / 0
28.10.2016, 10:19
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39336763
Gamletus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gamletus
Гость
vkle , т.е. всё тоже самое только вместо SetEnvIfNoCase прописать SetEnv?
...
Рейтинг: 0 / 0
29.10.2016, 08:24
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39336833
trew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trew
Участник
Gamletus,

пример 1
пример 2

в присковике можно набрать: блокировка user-agent средствами htaccess
...
Рейтинг: 0 / 0
29.10.2016, 12:25
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39336843
trew
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trew
Участник
Gamletus,

можно в поисковике набрать такую фразу: ограничение запросов для ботов средствами Nginx

 

ботов надо отстреливать ещё на подлете, то есть средствами nginx :

PHP код:

if ($http_user_agent ~ "Python-urllib|Spinn3r|SISTRIX|Morfeus|Toata|MJ12bot|QuerySeekerSpider|JikeSpider|proximic|Sosospider|Sogou web spider|aesop_com_spiderman|alexibot|backweb|batchftp|bigfoot|black.hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye|cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck|cosmos|crescent|custo|da|diibot|disco|dittospyder|dragonfly|drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon|emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky|frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet|grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot|infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar|joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb|likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch|mata.hari|memo|microsoft.url|midown.tool|miixpc|mirror|missigua|mister.pix|moget|mozilla.newt|nameprotect|navroad|backdoorbot|nearsite|net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot|attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer|offline.navigator|openfind|outfoxbot|pagegrabber|papa|pavuk|pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker|psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot|repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload|snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot|superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport|telesoft|the.intraformant|thenomad|tighttwatbot|titan|urldispatcher|turingos|turnitinbot|urly.warning|vacuum|vci|voideye|whacker|libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse|zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|sauger|site.quester|whack|craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|grabber|webpictures|Jakarta|User-Agent|libwww|lwp-trivial|PHPCrawl|WEP Search|Missigua Locator|ISC Systems iRc|Aboundex|360Spider|Java|Cogentbot|BunnySlippers|Cegbfeieh|AIBOT|Demon|Devil|Wonder|Foobot|Kenjin Spider|Density|LinkextractorPro|LWP::Simple|MassDownloader|Mass Downloader|NetZIP|NG|Metasearch|WebFetch|WebCopier|Webclipping|WebBandit|WebAuto|WebGo|Web.Image.Collector|WebLeacher|WebmasterWorldForumBot|WebReaper|WebSauger|eXtractor|Webster|WebStripper|WebWhacker|WebZIP|Catall Spider|AcoiRobot|rogerbot|mj12bot|Ahrefsbot|Zite|TweetmemeBot|woriobot|topsy|js-kit|NING") {return 400;}

Апач сильно грузит систему.
...
Рейтинг: 0 / 0
29.10.2016, 12:39
| Ответить | Цитировать | Написать  
Почему правила из ".htaccess" не работают в "httpd.conf"
    #39337043
Gamletus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Gamletus
Гость
trew , спасибо конечно. Но вы внимательно читали вопрос темы и описание? ))
Через htaccess я и так могу блокировать ))
...
Рейтинг: 0 / 0
29.10.2016, 20:16
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Почему правила из ".htaccess" не работают в "httpd.conf"
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru             Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=25&fpage=19&tid=1481643]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 24ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 45ms
get tp. blocked users:
 1ms
others: 283ms
total:  393ms
созд. / загр.: 393ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]