Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Тяпничный анализатор ботнетов / 25 сообщений из 102, страница 1 из 5
25.09.2015, 12:23
    #39061149
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Здарова други!

В продолжение топиков:

Тяпничная география

ботнет

а также во избежание уныния, тоски и печали по поводу лежачих тут и там сайтов по
воле вредных и противных DDOS -еров я создаю этот топик для обсуждения идей
а также реализаций по противостоянию т.н. ботнетам.

Не буду многословен как фарисей. Начнём с такого старта.

Входные данные:

Логи атакующих с IP

Доп сведения. Класс атаки.

Дополнительные входные данные:

Базы, списки, блэклисты вредных и известных атакующих (из Torrent, Emule e.t.c.)

Открые источники whois, популярные онлайн сервисы которые предоставляют инфу об IP адресах и диапазонах

Хардкодные источники. Формулы. Таблицы. Калькуляторы IP диапазонов, сеток, масок, классов сетей. Методологии и алгоритмы. Умные книжки и Network API.

Выходные данные:

Аналитика. Рекомендации. Ранжирование угроз

Команды для firewall, которые помогут админу быстро ликвидировать проблему.


P.S. Ценная инфа, базы, блэклисты приветствуются но не забываем о действующих
правилах форума а также местных законах. Если вы вдруг (!) внезапно решили
перекинуть мемберу файлик - то пользуйтесь личкой. Не постите сюда инфу из
за которой топик могут закрыть. Спасибо за понимание.

Слуга ваш покорный,
mayton
...
Рейтинг: 0 / 0
25.09.2015, 16:02
    #39061445
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Подкину еще дровишек. Данные по ботнету я отсортировал и добавил накопление %
для Парето. Правда до 80% не дотянул. Слишком много мелких items (по 1 атаке на сетку).

Для сетки 50.32.0.0 добавил гео-привязку (Strasburg).

Вобщем вот.
BeginIP EndIp Country Region City Rate Percentage cumulative (%)50.32.0.0 50.63.255.255 US Strasburg 97 20.00%184.168.0.0 184.168.255.255 US AZ Scottsdale 78 36.08%173.201.186.8 173.201.208.142 US AZ Scottsdale 19 40.00%182.50.128.0 182.50.159.255 SG 17 43.51%97.74.24.0 97.74.24.185 US MD Hyattsville 12 45.98%72.167.168.0 72.167.255.255 US AZ Scottsdale 11 48.25%178.250.240.0 178.250.247.255 RU 66 Saint Petersburg 10 50.31%97.74.138.216 97.74.148.97 US AZ Scottsdale 9 52.16%97.74.24.188 97.74.24.255 US MD Hyattsville 8 53.81%208.109.154.173 208.109.239.127 US AZ Scottsdale 5 54.85%123.30.112.0 123.31.255.255 VN 44 Hanoi 5 55.88%
...
Рейтинг: 0 / 0
25.09.2015, 16:59
    #39061497
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Какая тут аналитика? Ну... over 50% херячат из Strasburg, Scottsdale (USA). Не знаю.
Может кто-то еще предложит другой ракурс или другой срез.
...
Рейтинг: 0 / 0
25.09.2015, 17:26
    #39061521
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Ну и ценный выхлоп. В нашем кейсе я-бы начал по Rate

Код: python
1.
2.
3.
$ iptables -I INPUT -m iprange --src-range 50.32.0.0-50.63.255.255 -j DROP
$ iptables -I INPUT -s 184.168.0.0/184.168.255.255 -j DROP
...
...
Рейтинг: 0 / 0
25.09.2015, 17:27
    #39061522
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Конкретно по тому ботнету бесполезно IP анализировать и к географии привязывать. Заражен может быть любой комп сети. То что какой-то город чуть выделяется, так тут возможно из-за того что в одном городе меж собой народ плотнее общается, например один качнул зараженную прогу, понравилась, с друзьями поделился.

Надо анализировать поведение:
1. Строим модель поведения легального пользователя. К каким скриптам обращается, с какой частотой и т.д. и т.п.
2. Сравниваем поведение конкретного IP с эталонным. Не сошлось - баним конкретно этот IP.

Для п.1. у нас нет инфы. Да и хз как в цифрах вывести этот эталон.

Тупо банить диапазонами тут вообще не вариант, посмотри как редко там обращения. 20-30 штук в час. Т.е. банить надо надолго. Допустим оказался твой самый ценный ВИП-пользователь в одном диапазоне с ботом и ты обоих забанил :)

PS Делаю обертку для твоей ГЕО-IP таблицы. Закончу выложу в тот топик.
...
Рейтинг: 0 / 0
25.09.2015, 17:34
    #39061529
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Dima TНадо анализировать поведение:
1. Строим модель поведения легального пользователя. К каким скриптам обращается, с какой частотой и т.д. и т.п.
2. Сравниваем поведение конкретного IP с эталонным. Не сошлось - баним конкретно этот IP.


(откинувшись в кресле)

Ты знаешь... это уже тянет на нейронную сеть. Поведение.... Я-бы не рискнул пока рассуждать на эту тему.
Нет у меня понимания этой модели. Может нарисуешь алгоритм там... диаграммы состояний.
А так вообщем неясно.
...
Рейтинг: 0 / 0
25.09.2015, 17:57
    #39061550
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Dima TТупо банить диапазонами тут вообще не вариант, посмотри как редко там обращения. 20-30 штук в час. Т.е. банить надо надолго. Допустим оказался твой самый ценный ВИП-пользователь в одном диапазоне с ботом и ты обоих забанил :)

Согласен. С другой стороны какая випу разница зобанен его сегмент или нет если сайт лежит?
Вот пускай посидит в бане пока владелец ботнета не решит кинуть всю сетку на другую жертву.
...
Рейтинг: 0 / 0
25.09.2015, 18:01
    #39061553
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Про нейронные сети в первую очередь подумал, но кроме общих слов ничего не знаю про них.

Как выразить поведение в цифрах ХЗ, я это уже написал. Думаю надо как-то выявить не только IP, но и сессию (например по времени обращений) дальше смотреть сколько раз конкретный IP обращается к конкретному скрипту. Возможно будет несколько эталонных моделей, т.е. пользователи с разными типами поведения (например юзер и модератор).
...
Рейтинг: 0 / 0
25.09.2015, 18:03
    #39061554
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Ты хочешь автоматизировать бан конкретретных IP ?
...
Рейтинг: 0 / 0
25.09.2015, 18:05
    #39061555
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Dima TPS Делаю обертку для твоей ГЕО-IP таблицы. Закончу выложу в тот топик.
Не спеши. Расскажи что за обёртка. Что за API. Меня интересует функционал поисков
по доп условиям. Например WHERE country="CHINA" ... e.t.c.

И еще. У меня уже давно есть репка. Лей сюда.
https://sourceforge.net/p/countryipdiagram/code/HEAD/tree/
...
Рейтинг: 0 / 0
25.09.2015, 18:18
    #39061566
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonСогласен. С другой стороны какая випу разница зобанен его сегмент или нет если сайт лежит?
Вот пускай посидит в бане пока владелец ботнета не решит кинуть всю сетку на другую жертву.
В данном случае сайт не лежит. Он просто делает то что не должен делать (рассылает спам, ддосит кого-нибудь и т.д.). По сути тот сайт это просто часть ботнета и это напрягает владельца сайта.
Надо определится с чем мы боремся: зомбирование вирусом или ущерб от зомби.
...
Рейтинг: 0 / 0
25.09.2015, 18:22
    #39061570
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Ты-же знаешь что пятничные топики это мозго-штурмы. Во что выродится идея - я не знаю.
Я ожидаю больше сведений и предложений от владельцев ресурсов сайтов.
...
Рейтинг: 0 / 0
25.09.2015, 18:52
    #39061588
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonDima TPS Делаю обертку для твоей ГЕО-IP таблицы. Закончу выложу в тот топик.
Не спеши. Расскажи что за обёртка. Что за API. Меня интересует функционал поисков
по доп условиям. Например WHERE country="CHINA" ... e.t.c.

И еще. У меня уже давно есть репка. Лей сюда.
https://sourceforge.net/p/countryipdiagram/code/HEAD/tree/
Пока просто заливка и нормализация. Но чувствую все идет в сторону sqlite :)

по-хорошему надо определить круг вопросов какие надо решать. Посчитать WHERE country="CHINA" будет элементарно. А что-то типа WHERE country="CHINA" and ip in (...) гораздо сложнее.

Мой интерес: потестить разные задачи свойственные СУБД без использования СУБД, можно sqlite. Никогда не пользовался sqlite, интересно потестить.

В репку меня добавь.
...
Рейтинг: 0 / 0
25.09.2015, 18:58
    #39061590
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Добавил.
...
Рейтинг: 0 / 0
25.09.2015, 19:34
    #39061600
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonТы-же знаешь что пятничные топики это мозго-штурмы. Во что выродится идея - я не знаю.
Я ожидаю больше сведений и предложений от владельцев ресурсов сайтов.
Это удел хостинг-провайдеров. 99% владельцев сайтов несознательные товарищи. Им сделали сайт, получили деньги и досвиданья. Дальше нет никого кто хоть как-то попытается понять как там сайт работает. Поэтому хостер просто анализирует трафик, примитивно, нездоровую активность блокирует (например мне вырубили на сайте отправку почтой алертов сайта мне, админу, просто оказалось много алертов), а в случае ддоса хостер просто вырубает атакуемый сайт, если он на хостинге сайтов (т.е. на одном IP куча сайтов), меняет IP в DNS и тупо убивает обращение на новый IP. Легко, просто, но провайдер решает свои проблемы, т.е. изолировать остальных от больного, т.е. полная жопа тому кого ддосят. И этот жертва ддоса уже не в состоянии что-то поделать самостоятельно, до него просто не доходит то что надо анализировать.
...
Рейтинг: 0 / 0
25.09.2015, 19:37
    #39061601
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Хорошая мысль насчёт смены IP.
...
Рейтинг: 0 / 0
25.09.2015, 19:47
    #39061611
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
А мой интерес - гео-поиск. Структуры данных. И нетрадиционные dbms.
...
Рейтинг: 0 / 0
25.09.2015, 19:57
    #39061618
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonХорошая мысль насчёт смены IP.
Хорошая, если ддосят не по IP из DNS :) т.е. по DNS имени. Это практика провайдеров. ИМХУ правильно поступают, т.к. все остальные решения еще хуже.

У меня не совсем сайт в общем понимании. У меня сайт выполняет роль центрального сервера, файлообменник, т.е. на него ходят проги, а не люди.
Поэтому я просто оборону построил: насоздават кучу виртуалок (передастов) которые тупо транслируют обрашение к сайту. До кучи они являются кэшем разгружая сервер. Передасты на разных провайдерах. Если передаст умрет или его заддосят то ничего страшного, прога переключится на другой передаст. На самый крайний случай есть механизм передачи списка активных передастов когда все известные проге лежат, чтобы можно было быстро поднять виртуалку с передастом (5-10 минут).
Вобщем где мой сервер знают только передасты, а он никому кроме них не отвечает. Минусы есть, но надежность важнее.
...
Рейтинг: 0 / 0
25.09.2015, 20:02
    #39061620
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonА мой интерес - гео-поиск. Структуры данных. И нетрадиционные dbms.
Ты свой интерес формально вырази. Может интересы совпадут. По мне "гео-поиск" это взять компас/навигатор и добираться на конкретную точку, занимательно, но к ИТ вообще отношения не имеет.
...
Рейтинг: 0 / 0
25.09.2015, 20:14
    #39061628
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonнетрадиционные dbms.
Из традиционных можно сделать нетрадиционные с традиционным функционалом. Именно этим интересен sqlite, т.к. на замену традиционным СУБД он не тянет. Ваять стебелек 2.0 тоже не интересно, ты его часто поминаешь, как я понял это аналог СУБД на массивах, если есть ссылки на исходники или откомпилированный код - поделись, интересно поизучать.
...
Рейтинг: 0 / 0
25.09.2015, 20:59
    #39061671
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Dima Tmaytonнетрадиционные dbms.
Из традиционных можно сделать нетрадиционные с традиционным функционалом. Именно этим интересен sqlite, т.к. на замену традиционным СУБД он не тянет. Ваять стебелек 2.0 тоже не интересно, ты его часто поминаешь, как я понял это аналог СУБД на массивах, если есть ссылки на исходники или откомпилированный код - поделись, интересно поизучать.
В моём понимании нетрадиционные - это те которые используют нетрадиционные способы
хранения данных. Column oriented например.
...
Рейтинг: 0 / 0
26.09.2015, 17:32
    #39062004
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
maytonИ еще. У меня уже давно есть репка. Лей сюда.
https://sourceforge.net/p/countryipdiagram/code/HEAD/tree/
Залил. Можешь потестить. Пока просто загрузка из CSV, проверка пересечений и поиск записи для конкретного IP.
Там время загрузки выводится, затести полный файл сколько грузится. Надо ли вообще его в бинарный вид перегонять.

Надо теперь определиться какие выборки потребуются, т.е. какие запросы будут. Исходя из этого изобретать как результаты выдавать.
...
Рейтинг: 0 / 0
26.09.2015, 17:50
    #39062009
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
make не проходит

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
In file included from geoip.cpp:7:0:
geoip.h:98:1: error: stray '\361' in program
 bool сompare_range_start(const ip_range_t& lhs, const ip_range_t& rhs)
 ^
geoip.h:173:2: error: stray '\361' in program
  std::sort(ip_range.begin(), ip_range.end(), сompare_range_start);
  ^
geoip.h:203:2: error: stray '\361' in program
  std::vector<ip_range_t>::iterator it = std::lower_bound(ip_range.begin(), ip_range.end(), x, сompare_range_start); 
  ^
geoip.h: In member function 'bool geoip::init_csv(const char*)':
geoip.h:153:63: warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
   ip_range.push_back(ip_range_t(val[0], val[1], (ip_place_t*) pl_id));
                                                               ^
geoip.h:176:37: error: cast from 'const ip_place_t*' to 'int' loses precision [-fpermissive]
  prev->place = pl_recode[(int)prev->place];
                                     ^
geoip.h:178:36: error: cast from 'const ip_place_t*' to 'int' loses precision [-fpermissive]
   cur->place = pl_recode[(int)cur->place]; // замена на постоянные ссылки
                                    ^
...
Рейтинг: 0 / 0
26.09.2015, 18:32
    #39062022
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Там русская "с" в compare_... Поправил. Затестил в линуксе g++ x64 - посерьезнее ошибки полезли. Преобразования типов.
Как разберусь - напишу.
MSVCх32 компилирует.

Может кто подскажет, проблема в следующем:
есть указатель на структуру, мне надо туда записать int (id структуры в массиве), а потом, когда массив появится заменить int на указатель.
Код: sql
1.
2.
3.
4.
5.
6.
geoip.h:153:63: warning: cast to pointer from integer of different size [-Wint-to-pointer-cast]
   ip_range.push_back(ip_range_t(val[0], val[1], (ip_place_t*) pl_id));
                                                               ^
geoip.h:176:37: error: cast from ‘const ip_place_t*’ to ‘int’ loses precision [-fpermissive]
  prev->place = pl_recode[(int)prev->place];
                                     ^


т.е. в ip_range.push_back() я даю int как вместо указателя, это проходит, но с warning
А когда пытаюсь обратно поменять - уже нет. pl_recode[] массив ip_place_t*

Как это правильно сделать? Код тут
...
Рейтинг: 0 / 0
26.09.2015, 19:05
    #39062033
Dima T
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тяпничный анализатор ботнетов
Починил, надо size_t использовать. Можно тестить.
...
Рейтинг: 0 / 0
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Тяпничный анализатор ботнетов / 25 сообщений из 102, страница 1 из 5
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]