|
|
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Здарова други! В продолжение топиков: Тяпничная география ботнет а также во избежание уныния, тоски и печали по поводу лежачих тут и там сайтов по воле вредных и противных DDOS -еров я создаю этот топик для обсуждения идей а также реализаций по противостоянию т.н. ботнетам. Не буду многословен как фарисей. Начнём с такого старта. Входные данные: Логи атакующих с IP Доп сведения. Класс атаки. Дополнительные входные данные: Базы, списки, блэклисты вредных и известных атакующих (из Torrent, Emule e.t.c.) Открые источники whois, популярные онлайн сервисы которые предоставляют инфу об IP адресах и диапазонах Хардкодные источники. Формулы. Таблицы. Калькуляторы IP диапазонов, сеток, масок, классов сетей. Методологии и алгоритмы. Умные книжки и Network API. Выходные данные: Аналитика. Рекомендации. Ранжирование угроз Команды для firewall, которые помогут админу быстро ликвидировать проблему. P.S. Ценная инфа, базы, блэклисты приветствуются но не забываем о действующих правилах форума а также местных законах. Если вы вдруг (!) внезапно решили перекинуть мемберу файлик - то пользуйтесь личкой. Не постите сюда инфу из за которой топик могут закрыть. Спасибо за понимание. Слуга ваш покорный, mayton ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 12:23 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Подкину еще дровишек. Данные по ботнету я отсортировал и добавил накопление % для Парето. Правда до 80% не дотянул. Слишком много мелких items (по 1 атаке на сетку). Для сетки 50.32.0.0 добавил гео-привязку (Strasburg). Вобщем вот. BeginIP EndIp Country Region City Rate Percentage cumulative (%)50.32.0.0 50.63.255.255 US Strasburg 97 20.00%184.168.0.0 184.168.255.255 US AZ Scottsdale 78 36.08%173.201.186.8 173.201.208.142 US AZ Scottsdale 19 40.00%182.50.128.0 182.50.159.255 SG 17 43.51%97.74.24.0 97.74.24.185 US MD Hyattsville 12 45.98%72.167.168.0 72.167.255.255 US AZ Scottsdale 11 48.25%178.250.240.0 178.250.247.255 RU 66 Saint Petersburg 10 50.31%97.74.138.216 97.74.148.97 US AZ Scottsdale 9 52.16%97.74.24.188 97.74.24.255 US MD Hyattsville 8 53.81%208.109.154.173 208.109.239.127 US AZ Scottsdale 5 54.85%123.30.112.0 123.31.255.255 VN 44 Hanoi 5 55.88% ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 16:02 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Какая тут аналитика? Ну... over 50% херячат из Strasburg, Scottsdale (USA). Не знаю. Может кто-то еще предложит другой ракурс или другой срез. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 16:59 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Ну и ценный выхлоп. В нашем кейсе я-бы начал по Rate Код: python 1. 2. 3. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 17:26 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Конкретно по тому ботнету бесполезно IP анализировать и к географии привязывать. Заражен может быть любой комп сети. То что какой-то город чуть выделяется, так тут возможно из-за того что в одном городе меж собой народ плотнее общается, например один качнул зараженную прогу, понравилась, с друзьями поделился. Надо анализировать поведение: 1. Строим модель поведения легального пользователя. К каким скриптам обращается, с какой частотой и т.д. и т.п. 2. Сравниваем поведение конкретного IP с эталонным. Не сошлось - баним конкретно этот IP. Для п.1. у нас нет инфы. Да и хз как в цифрах вывести этот эталон. Тупо банить диапазонами тут вообще не вариант, посмотри как редко там обращения. 20-30 штук в час. Т.е. банить надо надолго. Допустим оказался твой самый ценный ВИП-пользователь в одном диапазоне с ботом и ты обоих забанил :) PS Делаю обертку для твоей ГЕО-IP таблицы. Закончу выложу в тот топик. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 17:27 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Dima TНадо анализировать поведение: 1. Строим модель поведения легального пользователя. К каким скриптам обращается, с какой частотой и т.д. и т.п. 2. Сравниваем поведение конкретного IP с эталонным. Не сошлось - баним конкретно этот IP. (откинувшись в кресле) Ты знаешь... это уже тянет на нейронную сеть. Поведение.... Я-бы не рискнул пока рассуждать на эту тему. Нет у меня понимания этой модели. Может нарисуешь алгоритм там... диаграммы состояний. А так вообщем неясно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 17:34 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Dima TТупо банить диапазонами тут вообще не вариант, посмотри как редко там обращения. 20-30 штук в час. Т.е. банить надо надолго. Допустим оказался твой самый ценный ВИП-пользователь в одном диапазоне с ботом и ты обоих забанил :) Согласен. С другой стороны какая випу разница зобанен его сегмент или нет если сайт лежит? Вот пускай посидит в бане пока владелец ботнета не решит кинуть всю сетку на другую жертву. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 17:57 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Про нейронные сети в первую очередь подумал, но кроме общих слов ничего не знаю про них. Как выразить поведение в цифрах ХЗ, я это уже написал. Думаю надо как-то выявить не только IP, но и сессию (например по времени обращений) дальше смотреть сколько раз конкретный IP обращается к конкретному скрипту. Возможно будет несколько эталонных моделей, т.е. пользователи с разными типами поведения (например юзер и модератор). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:01 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Ты хочешь автоматизировать бан конкретретных IP ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:03 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Dima TPS Делаю обертку для твоей ГЕО-IP таблицы. Закончу выложу в тот топик. Не спеши. Расскажи что за обёртка. Что за API. Меня интересует функционал поисков по доп условиям. Например WHERE country="CHINA" ... e.t.c. И еще. У меня уже давно есть репка. Лей сюда. https://sourceforge.net/p/countryipdiagram/code/HEAD/tree/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:05 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonСогласен. С другой стороны какая випу разница зобанен его сегмент или нет если сайт лежит? Вот пускай посидит в бане пока владелец ботнета не решит кинуть всю сетку на другую жертву. В данном случае сайт не лежит. Он просто делает то что не должен делать (рассылает спам, ддосит кого-нибудь и т.д.). По сути тот сайт это просто часть ботнета и это напрягает владельца сайта. Надо определится с чем мы боремся: зомбирование вирусом или ущерб от зомби. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:18 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Ты-же знаешь что пятничные топики это мозго-штурмы. Во что выродится идея - я не знаю. Я ожидаю больше сведений и предложений от владельцев ресурсов сайтов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:22 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonDima TPS Делаю обертку для твоей ГЕО-IP таблицы. Закончу выложу в тот топик. Не спеши. Расскажи что за обёртка. Что за API. Меня интересует функционал поисков по доп условиям. Например WHERE country="CHINA" ... e.t.c. И еще. У меня уже давно есть репка. Лей сюда. https://sourceforge.net/p/countryipdiagram/code/HEAD/tree/ Пока просто заливка и нормализация. Но чувствую все идет в сторону sqlite :) по-хорошему надо определить круг вопросов какие надо решать. Посчитать WHERE country="CHINA" будет элементарно. А что-то типа WHERE country="CHINA" and ip in (...) гораздо сложнее. Мой интерес: потестить разные задачи свойственные СУБД без использования СУБД, можно sqlite. Никогда не пользовался sqlite, интересно потестить. В репку меня добавь. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:52 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Добавил. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 18:58 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonТы-же знаешь что пятничные топики это мозго-штурмы. Во что выродится идея - я не знаю. Я ожидаю больше сведений и предложений от владельцев ресурсов сайтов. Это удел хостинг-провайдеров. 99% владельцев сайтов несознательные товарищи. Им сделали сайт, получили деньги и досвиданья. Дальше нет никого кто хоть как-то попытается понять как там сайт работает. Поэтому хостер просто анализирует трафик, примитивно, нездоровую активность блокирует (например мне вырубили на сайте отправку почтой алертов сайта мне, админу, просто оказалось много алертов), а в случае ддоса хостер просто вырубает атакуемый сайт, если он на хостинге сайтов (т.е. на одном IP куча сайтов), меняет IP в DNS и тупо убивает обращение на новый IP. Легко, просто, но провайдер решает свои проблемы, т.е. изолировать остальных от больного, т.е. полная жопа тому кого ддосят. И этот жертва ддоса уже не в состоянии что-то поделать самостоятельно, до него просто не доходит то что надо анализировать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 19:34 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Хорошая мысль насчёт смены IP. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 19:37 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
А мой интерес - гео-поиск. Структуры данных. И нетрадиционные dbms. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 19:47 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonХорошая мысль насчёт смены IP. Хорошая, если ддосят не по IP из DNS :) т.е. по DNS имени. Это практика провайдеров. ИМХУ правильно поступают, т.к. все остальные решения еще хуже. У меня не совсем сайт в общем понимании. У меня сайт выполняет роль центрального сервера, файлообменник, т.е. на него ходят проги, а не люди. Поэтому я просто оборону построил: насоздават кучу виртуалок (передастов) которые тупо транслируют обрашение к сайту. До кучи они являются кэшем разгружая сервер. Передасты на разных провайдерах. Если передаст умрет или его заддосят то ничего страшного, прога переключится на другой передаст. На самый крайний случай есть механизм передачи списка активных передастов когда все известные проге лежат, чтобы можно было быстро поднять виртуалку с передастом (5-10 минут). Вобщем где мой сервер знают только передасты, а он никому кроме них не отвечает. Минусы есть, но надежность важнее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 19:57 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonА мой интерес - гео-поиск. Структуры данных. И нетрадиционные dbms. Ты свой интерес формально вырази. Может интересы совпадут. По мне "гео-поиск" это взять компас/навигатор и добираться на конкретную точку, занимательно, но к ИТ вообще отношения не имеет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 20:02 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonнетрадиционные dbms. Из традиционных можно сделать нетрадиционные с традиционным функционалом. Именно этим интересен sqlite, т.к. на замену традиционным СУБД он не тянет. Ваять стебелек 2.0 тоже не интересно, ты его часто поминаешь, как я понял это аналог СУБД на массивах, если есть ссылки на исходники или откомпилированный код - поделись, интересно поизучать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 20:14 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Dima Tmaytonнетрадиционные dbms. Из традиционных можно сделать нетрадиционные с традиционным функционалом. Именно этим интересен sqlite, т.к. на замену традиционным СУБД он не тянет. Ваять стебелек 2.0 тоже не интересно, ты его часто поминаешь, как я понял это аналог СУБД на массивах, если есть ссылки на исходники или откомпилированный код - поделись, интересно поизучать. В моём понимании нетрадиционные - это те которые используют нетрадиционные способы хранения данных. Column oriented например. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.09.2015, 20:59 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonИ еще. У меня уже давно есть репка. Лей сюда. https://sourceforge.net/p/countryipdiagram/code/HEAD/tree/ Залил. Можешь потестить. Пока просто загрузка из CSV, проверка пересечений и поиск записи для конкретного IP. Там время загрузки выводится, затести полный файл сколько грузится. Надо ли вообще его в бинарный вид перегонять. Надо теперь определиться какие выборки потребуются, т.е. какие запросы будут. Исходя из этого изобретать как результаты выдавать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.09.2015, 17:32 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
make не проходит Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.09.2015, 17:50 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Там русская "с" в compare_... Поправил. Затестил в линуксе g++ x64 - посерьезнее ошибки полезли. Преобразования типов. Как разберусь - напишу. MSVCх32 компилирует. Может кто подскажет, проблема в следующем: есть указатель на структуру, мне надо туда записать int (id структуры в массиве), а потом, когда массив появится заменить int на указатель. Код: sql 1. 2. 3. 4. 5. 6. т.е. в ip_range.push_back() я даю int как вместо указателя, это проходит, но с warning А когда пытаюсь обратно поменять - уже нет. pl_recode[] массив ip_place_t* Как это правильно сделать? Код тут ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.09.2015, 18:32 |
|
||
|
|

start [/forum/topic.php?fid=16&msg=39062009&tid=1340915]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
213ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
85ms |
get tp. blocked users: |
2ms |
| others: | 232ms |
| total: | 578ms |

| 0 / 0 |
