ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Парсер и обход DDOS-filter
16 сообщений из 16, страница 1 из 1
Парсер и обход DDOS-filter
    #39211197
Фотография yardie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yardie
Участник
Привет всем!
Пишу парсер для выборки из 10 глав - всех подглав и новостей в них, потом получение ссылки на файл и скачивание этого файла.
В работе использую HtmlAgilityPack.
Все очень хорошо работает, за исключением одной проблемы, сервер периодически выдает The remote server returned an error: (429) Too Many Requests. Есть подозрение на DDOS-filter который стоит на уровне апача.
Хорошо, делаю
Код: c#
1.
Thread.Sleep(5000);

на каждый запрос, до поры до времени работает, потом опять, но уже реже 429 ошибка.

Дайте совет как можно обойти DDOS-filter? Может использовать какое-нибудь прокси, я не разу этого не делал, поможет? и как заюзать прокси на c# в этом случае? У WebClient есть метод прокси, он тут уместен?
...
Рейтинг: 0 / 0
08.04.2016, 15:36
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211203
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
yardieДайте совет как можно обойти DDOS-filter?
Обратиться к администратору/владельцу ресурса и попросить увеличить квоту запросов в определенный промежуток времени.
...
Рейтинг: 0 / 0
08.04.2016, 15:41
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211212
Фотография yardie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yardie
Участник
Axeleron,
нет возможности обратится
...
Рейтинг: 0 / 0
08.04.2016, 15:46
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211213
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
yardieAxeleron,
нет возможности обратится
Тогда забить
...
Рейтинг: 0 / 0
08.04.2016, 15:49
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211215
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
AxeleronyardieAxeleron,
нет возможности обратится
Тогда забить
С формулировкой: "Архитектур и функциональность приложения не были достаточно тщательно продуманы во время стадии проектирования".
...
Рейтинг: 0 / 0
08.04.2016, 15:51
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211218
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
yardieDDOS-filter который стоит на уровне апача.скорее даже антифлуд-фильтр и стоит он раньше апача, может даже аппаратныйyardieМожет использовать какое-нибудь прокси, я не разу этого не делал, поможет?чтобы проверить, поможет ли, дождаться, когда заблокирует, зайти с этого же компа из браузера, убедиться, что блокировка есть, потом зайти через любой веб-прокси или оперу-турбо.
...
Рейтинг: 0 / 0
08.04.2016, 15:51
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211225
Фотография yardie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yardie
Участник
Shocker.Pro,
Можно ли C# сделать свой прокси какой-нибудь?
...
Рейтинг: 0 / 0
08.04.2016, 15:56
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211234
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
Можно. Вопрос-то не в прокси, а где ты для них IP брать будешь.
...
Рейтинг: 0 / 0
08.04.2016, 16:08
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211236
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
Shocker.ProМожно. Вопрос-то не в прокси, а где ты для них IP брать будешь.
Некоторые провайдеры предлагают доп пакет с N количеством статических IP адресов. Только сдается, что DDOS-фильтр настроен на определенную маску IP адреса, где последий ряд чисел не учитывается. Тогда и это не поможет.
...
Рейтинг: 0 / 0
08.04.2016, 16:11
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211239
Фотография yardie
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yardie
Участник
Shocker.Pro,
вот еще не думал)


Axeleron,
занятно конечно(
...
Рейтинг: 0 / 0
08.04.2016, 16:14
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211260
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
yardieвот еще не думал)так об этом надо подумать, а писать свой прокси совсем необязательно, полно готовых.
...
Рейтинг: 0 / 0
08.04.2016, 16:34
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211264
Фотография Shocker.Pro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Shocker.Pro
Участник
AxeleronТолько сдается, что DDOS-фильтр настроен на определенную маску IP адреса, где последий ряд чисел не учитывается. Тогда и это не поможет.Это вряд ли.

Недавно столкнулся с забавной ситуацией - закачивал очень много мелких файлов на хостинг джино через ftp. Так их антифлуд-система меня регулярно банила на 20-30 минут (переставал быть доступен не только ftp, но и вообще весь хостинг, включая их собственный веб-сайт)
...
Рейтинг: 0 / 0
08.04.2016, 16:37
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211288
Фотография Axeleron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Axeleron
Участник
Shocker.ProНедавно столкнулся с забавной ситуацией - закачивал очень много мелких файлов на хостинг джино через ftp. Так их антифлуд-система меня регулярно банила на 20-30 минут (переставал быть доступен не только ftp, но и вообще весь хостинг, включая их собственный веб-сайт)
Это чтобы ты не забывал будучи модератором sql.ru что такое не только банить, но и быть забаненым
...
Рейтинг: 0 / 0
08.04.2016, 17:05
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39211501
handmadeFromRu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
handmadeFromRu
Участник
ох уж этот ддос( не давно познакомились с классическим dns amplification attack..боль и печаль.
...
Рейтинг: 0 / 0
08.04.2016, 22:42
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39213147
st_st
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
st_st
Участник
yardieДайте совет как можно обойти DDOS-filter? Может использовать какое-нибудь прокси, я не разу этого не делал, поможет? и как заюзать прокси на c# в этом случае? У WebClient есть метод прокси, он тут уместен?

Как и всегда, использовать прокси, стандартные (WebProxy) с Socks работать не умеют (печаль, пришлось либу отдельную ставить для вебреквестов), но для простейших нужд сойдут.

handmadeFromRuох уж этот ддос( не давно познакомились с классическим dns amplification attack..боль и печаль.

Всё руки не доходят ДНС нормально настроить на винде в плане защиты от атак. Мануалов не попадалось? Я стандартно всё поставил, через некоторое время abuse прилетела, мой ваш сервер атакует наши компьютеры dns-какой-то там атакой, погуглил названию, патчи поставил, перенастроил, дырку вроде закрыл, пока тишина, но этих дырок думаю там немерено.
...
Рейтинг: 0 / 0
12.04.2016, 02:55
| Ответить | Цитировать | Написать  
Парсер и обход DDOS-filter
    #39213360
handmadeFromRu
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
handmadeFromRu
Участник
st_st,

от dns amplification attack не поможет настройка винды) к сожалению. можно вырубить upd протокол и тем самым закрыть эт но тогда к примеру если есть сервисы что используют udp то не будут работать. тут защита на уровне фильтрации пакетов еще до сервака нужна. мы просто нашли домен клиента, который досили и завели его под куратор, парни известные и мало кто из доссеров с ними связывается, но дорого
...
Рейтинг: 0 / 0
12.04.2016, 11:02
| Ответить | Цитировать | Написать  
16 сообщений из 16, страница 1 из 1
Форумы / ASP.NET [игнор отключен] [закрыт для гостей] / Парсер и обход DDOS-filter
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]