ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Тяпничный анализатор ботнетов
25 сообщений из 102, страница 3 из 5
  3  все
Тяпничный анализатор ботнетов
    #39063443
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonВовсе не обязательно их размер должен быть гигантским. От юзкейса зависит.
Это понятно. Я в том смысле что в беркли можно с гигантскими массивами работать не заморачиваясь на размер адресного пространства. В нашем случае размеры скромные.

 
PS Зафиксировал запись в бинарник. Читается в 100 раз быстрее CSV
Создать бинарник
Код: sql
1.
geoip.exe GeoIPCity.csv -store GeoIPСity.dat


Грузится с него
Код: sql
1.
geoip.exe GeoIPCity.dat -ip 1.2.3.4 -ip 2.65.154.3


Структура описана в data_struct.txt
...
Рейтинг: 0 / 0
28.09.2015, 17:45
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39063529
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Круть. Работает.

Только странно как-то что одна утилита в себе воплощает 2 функционала. И поиск и конвертирование БД.

Кроме того есть маленький баг. Несуществующий адрес в диапазонах тем не менее найден.

Код: sql
1.
2.
3.
4.
5.
6.
7.
D:\Country-IP-diagram\trunk\GeoIP>geoip geoip.dat -ip 192.168.0.1
Load from file geoip.dat ...
Load 78 ms. Use 89827+2015+1980 Kb
IP: 192.168.0.1 at 0.0.0.0-0.0.0.0 Unknown (0.0000;0.0000)

D:\Country-IP-diagram\trunk\GeoIP>echo %ERRORLEVEL%
0
...
Рейтинг: 0 / 0
28.09.2015, 19:05
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39063543
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonКроме того есть маленький баг. Несуществующий адрес в диапазонах тем не менее найден.
Код: sql
1.
IP: 192.168.0.1 at 0.0.0.0-0.0.0.0 Unknown (0.0000;0.0000)


Это не баг а фича :) специально добавил диапазон "0.0.0.0-0.0.0.0 Unknown" для случаев когда найти не удалось. Так всегда что-то возвращается. Иначе обработка усложняется, проверки лишние надо.
...
Рейтинг: 0 / 0
28.09.2015, 19:19
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39063586
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Я вот думаю.... как-бы ее к админским задачам прикрутить. Лог ДДоса видел?

Вооот. Представь себе что сидит бедняга админ и мучается как ему нашу утилиту применить овер 9000 раз
к 9000 записям в логе. И получить 9 тыщ сведений по географии.

Разумеется ты свой API сделаешь. Разработчик ибо. А ему как?
...
Рейтинг: 0 / 0
28.09.2015, 20:20
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39063606
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
ХЗ как. Предлагай варианты. Не админ, их практик не знаю.

Самый тупой способ: давать на вход лог и выискивать в нем эвристикой IP. Эвристика не сложная три точки, а по краям и в середине цифры.
...
Рейтинг: 0 / 0
28.09.2015, 21:02
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39063648
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ну... можно как-то так. Админ берёт свой чортов лог. Сам фильтрует там ip через
grep и правила выборки атаки. Далее очищенный список ip-шников идёт на stdin
в нашу утилиту. А на выходе мы получаем опять-же в csv данные по гео-привязке.

Ну как-то так:

Код: sql
1.
$ grep [ddos_rule] < apache-2015-02-03.log | geoip_filter > ddos-2015-02-03-geo.log
...
Рейтинг: 0 / 0
28.09.2015, 22:50
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064592
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Зафиксировал парсер логов. Можешь потестить. Как запускать в readme.txt

С форматами вывода пока не разбирался. Будут чуть позже и сsv и html.
...
Рейтинг: 0 / 0
29.09.2015, 19:02
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064645
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Dima T, не надо html. Формат репорта уже неважен. Тот кто сильно хочет - возьмет
Excel и сконвертит сам. Вот сортировочку по 1-му полю надо бы.

Прогнал 1-й файл отсюдова 18132793
Код: sql
1.
2.
3.
4.
5.
6.
7.
64 at 0.0.0.0-0.0.0.0 Unknown
1 at 24.117.66.0-24.117.66.255 US.MO.Kirksville
1 at 27.254.0.0-27.254.255.255 TH
2 at 45.4.219.0-45.255.255.255 US.CA.San Francisco
1 at 46.29.48.0-46.29.55.255 ES
1 at 46.45.128.0-46.45.191.255 TR
....



И сделать дефолное имя файла-базы. Чтоб на 1 параметр меньше было.

А я тем временем впал в глубкий коматоз размышлизм по графической части.
...
Рейтинг: 0 / 0
29.09.2015, 20:01
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064654
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Нашёл еще интересную инфу к размышлению http://habrahabr.ru/company/netangels/blog/149302/

+базёнка оттудова http://noc.masterhost.ru/allrunet/runet
...
Рейтинг: 0 / 0
29.09.2015, 20:25
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064656
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonDima T, не надо html. Формат репорта уже неважен. Тот кто сильно хочет - возьмет
Это просто. Я уже заточил код под форматы вывода. Мелочь осталась.
maytonВот сортировочку по 1-му полю надо бы.
А вот с этим гимор будет.
Если глянешь geoip::print() то увидишь что там сначала строится мап по [ip_range_t*] затем выводятся значения. Надо его перестроить наоборот, т.е. мап[-значение] = ip_range_t*, затем выводить. Причем значения повторяются в отличии от уникального ip_range_t*. Вобщем нетривиально в итоге. Надо голову еще поломать как поправить. Подумаю.

PS Просится тут sqlite. Добивал "oder by ... desc" и готово.
...
Рейтинг: 0 / 0
29.09.2015, 20:27
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064657
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Про TARPIT интересно пишут. Это не просто защита. Это в некотором роде контратака.
...
Рейтинг: 0 / 0
29.09.2015, 20:34
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064740
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мда. БД наша дырявая... Не нашёлся перец. И ведь сервисы Vuze как-то определяют что страна - "RU".
...
Рейтинг: 0 / 0
29.09.2015, 23:52
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064803
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Тут есть
Там же свежий список по рунету.

Надо его как-то долить в твою таблицу.
...
Рейтинг: 0 / 0
30.09.2015, 07:41
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39064847
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Вот еще база Вроде обновляется и бесплатно качать не запрещают . Поизучаю вечером.
...
Рейтинг: 0 / 0
30.09.2015, 09:07
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065264
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonDima T, не надо html. Формат репорта уже неважен. Тот кто сильно хочет - возьмет
Excel и сконвертит сам. Вот сортировочку по 1-му полю надо бы.
добавил вывод в csv (ключ -csv)
html попозже сделаю, со ссылками на гуглокарту.

maytonИ сделать дефолное имя файла-базы. Чтоб на 1 параметр меньше было.
Сделаю поиск базы по имени geoip.dat - если нет - ошибка. А загрузку ключиком -import. Заодно попробую импорт этой сделать 18212806

По другим параметрам тоже мысли есть как переделать.
...
Рейтинг: 0 / 0
30.09.2015, 15:01
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065286
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Начал дизассебмлировать Vuze-вский плагин геолокации. Сюрприз №1. Сорцы в нём. Хехе.
Сюрприз №2. Он использует БД maxmind и судя по всему укомплектован
генератором бинарей.

Хехе.
...
Рейтинг: 0 / 0
30.09.2015, 15:17
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065392
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
У них есть свежая бесплатная в csv http://dev.maxmind.com/geoip/geoip2/geolite2/ в платной какая-то доп.инфа, типа провайдеров и т.п.
формат немного сменили, названия городов вынесли в отдельную таблицу. Думаю оттуда надо брать.
...
Рейтинг: 0 / 0
30.09.2015, 16:32
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065413
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Lite - это облегченный вариант. Что там чистили - ХЗ. Но сведений явно меньше.
...
Рейтинг: 0 / 0
30.09.2015, 16:45
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065520
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonLite - это облегченный вариант. Что там чистили - ХЗ. Но сведений явно меньше.
Строк меньше. 5,7 млн. в твоем файле, 2,5 млн. в этом.

Подсунул GeoLite2-City-Blocks-IPv4.csv как лог своей проге:
Код: sql
1.
2.
3.
...
1(0.0%) at Unknown (0.0.0.0-0.0.0.0)
Total 2498733 IP


Какая-то лажа. Надо считалку перепроверять, похоже при группировке какой-то косяк. Добавил вывод в лог отсутствующие - получилось 306 тыс. диапазонов неизвестных.
И еще куда-то 7 IP проимелось, их там 2498740.

Разбираюсь.
...
Рейтинг: 0 / 0
30.09.2015, 18:03
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065565
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Dima T, ты разбирался с SqlLite? Это хорошо. Там можно за 10 минут скриптик набросать для загрузки
в БД. После этого БД можно использовать для тестов. Чтобы сверять цифры с данными твоего приложения.
Количество адресов. Диапазонов. e.t.c.
...
Рейтинг: 0 / 0
30.09.2015, 18:53
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065581
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonDima T, ты разбирался с SqlLite?
Не разбирался. Ни разу не пользовался. Планировал сделать версию 2.0 с ним.

Затестить потери я могу другими способами. Тут дело не в этом. Там какая-то непонятная хрень происходит, при группировке пропадают IP из неизвестных диапазонов. Причем глючит только если подсунуть именно этот файл. Разбираюсь.
...
Рейтинг: 0 / 0
30.09.2015, 19:10
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39065747
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
Поправил косяк в отчете. Надо же было додуматься хранить указатели на элементы вектора, который увеличивается :) Странно что не вылетало.
 
Вот результат прогона GeoLite2-City-Blocks-IPv4.csv как лога
IP countPersentPlaceRange fromRange to30634712.3%Unknown0.0.0.00.0.0.063000.3%US.NJ.Mount Laurel73.0.0.073.60.2.25559420.2%US.NJ.Mount Laurel73.139.18.073.194.177.25551640.2%US50.32.0.050.63.255.25547700.2%US108.36.64.0108.55.255.25545720.2%FR109.8.32.0109.31.255.25542820.2%FR78.193.0.078.222.255.25535550.1%IN.07.New Delhi117.211.84.0117.240.31.25533160.1%IN182.73.0.0182.79.255.25532970.1%US108.71.68.0108.95.255.25529780.1%FR2.0.0.02.15.255.25526430.1%US107.0.0.0107.15.255.25525560.1%GB2.24.0.02.31.255.25524140.1%MX187.200.0.0187.255.255.25519960.1%FR109.214.0.0109.223.255.25519570.1%GB109.145.0.0109.151.255.25517230.1%US.FL.Lake Mary32.180.0.032.223.255.25516960.1%US.CA.San Francisco45.4.219.045.255.255.25516420.1%US.WA.Kirkland50.11.128.050.13.255.25514710.1%AU101.96.0.0101.128.0.25514440.1%BR186.225.73.0187.0.31.25513990.1%JP180.25.192.0180.63.255.25513260.1%IN14.139.0.014.143.255.25512610.1%DE178.7.16.0178.15.255.25512440.0%CA.QC.Montreal184.160.16.0184.163.191.25512400.0%CA.ON.Ottawa47.17.176.047.46.31.25511970.0%GB2.123.192.02.127.251.25511700.0%US.DC.Washington38.0.0.038.96.7.25511060.0%US184.176.0.0184.189.191.25511050.0%US108.28.136.0108.32.128.25510130.0%CA184.64.0.0184.71.31.25510060.0%AU1.178.0.01.179.255.25510050.0%CH.01.Full178.192.0.0178.197.255.255...

306347 новых диапазонов. Думаю надо делать загрузку этого файла как основу и через него прогнать твой. Т.е. наоборот, посмотреть что есть у тебя и нет у них. А дальше будет видно: или как-то сливать в один или этим пользоваться.

Остался еще вопрос с потерянными 7 IP при разборе GeoLite2-City-Blocks-IPv4.csv, с этим позже поразбираюсь.
...
Рейтинг: 0 / 0
01.10.2015, 08:06
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39066267
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
300 тысяч неизвестных? Это херово...
...
Рейтинг: 0 / 0
01.10.2015, 15:44
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39066411
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
mayton300 тысяч неизвестных? Это херово...
Точно 306348
Поправил свой искатель IP в логах. Некоторые криво разбирались из-за того что на стыке буферов чтения оказывались.

Надо грузить эту таблицу как основу и прогонять через нее твою таблицу как лог. По результату будет видно куда дальше двигаться. Делаю загрузчик.
...
Рейтинг: 0 / 0
01.10.2015, 18:02
| Ответить | Цитировать | Написать  
Тяпничный анализатор ботнетов
    #39066455
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Понимаю что ты - фанат кодить на сях но в данном исследовании совершенно необязательно
себя ограничивать. Возможно имеет смысл откатать модель и тесты на Excel, SQLite, скриптики
на Питоне. А когда всё взлетит - портировать.
...
Рейтинг: 0 / 0
01.10.2015, 19:22
| Ответить | Цитировать | Написать  
25 сообщений из 102, страница 3 из 5
  3  все
Форумы / Программирование [игнор отключен] [закрыт для гостей] / Тяпничный анализатор ботнетов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=16&msg=39065747&tid=1340915]:
 0ms
get settings:
 8ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 144ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 49ms
get tp. blocked users:
 2ms
others: 203ms
total:  437ms
созд. / загр.: 437ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]