|
|
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonПонимаю что ты - фанат кодить на сях но в данном исследовании совершенно необязательно себя ограничивать. Возможно имеет смысл откатать модель и тесты на Excel, SQLite, скриптики на Питоне. А когда всё взлетит - портировать. Эксель вообще не вариант, просто не справится. SQLite могу заменить на фокс или MSSQL, его интересно поизучать в плане использования как локальную СУБД, но тут несвойственная SQL'ю задача, теория РСУБД не заточена на работу с диапазонами. Питон и пр. высокоуровневые алгоритмические ЯП просто не знаю, и пока не вижу смысла тратить время на изучение. Интересен С. Как инструмент реализации нестандартых алгоритмов. Причем как быстро работающей реализации. Есть небольшой опыт на С написания длл, обеспечивающих низкоуровневый функционал, недоступный из других языков. Например перехват вызовов WinAPI и шифрование/дешифрование данных на диске. Но что-то высокоуровневое на С я не писал (несколько простых поделок), даже банальных конвертеров как тут не писал, надо понять стоит ли начинать. Эта задача самое то что мне надо. На счет портирования: была обратная мысль, в конце сделать экспорт в разных форматах, от csv до скриптов MSSQL, MySQL и т.п. В-третьих: я уже придумал куда мне пристроить эту наработку :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2015, 21:27 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Dima TВ-третьих: я уже придумал куда мне пристроить эту наработку :) Поставишь на мобилу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2015, 22:04 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Еще мысль. Нужно вести белый список. Например все кто атакуют "по ту сторону proxy" имеют более низкий индекс угрозы. Их трафик искусственно ограничен способностями proxy и выбор протоколов ограничен. Еще мысль по поводу пробелов в базе. Можно создать "протокол обновления" этой базы через доступные http сервисы типа whois, whoip e.t.c. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 08:37 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonЕще мысль. Нужно вести белый список. Например все кто атакуют "по ту сторону proxy" имеют более низкий индекс угрозы. Их трафик искусственно ограничен способностями proxy и выбор протоколов ограничен. Сложно как-то. Тут проблемы решать на прокси надо, т.к. через него в т.ч. нормальные соединения будут проблематичны. А для того куда проксируется будет всего один IP в белом списке - IP прокси. Известен заранее. А для прокси все "по ту сторону", т.е. задача сводится к исходной. maytonЕще мысль по поводу пробелов в базе. Можно создать "протокол обновления" этой базы через доступные http сервисы типа whois, whoip e.t.c. Через вэб-сервисы думаю не получится. Большое количество обращений они за деньги обслуживают. Обратился несколько тысяч раз - тебя забанили и попросили денег заплатить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 09:02 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonЕще мысль по поводу пробелов в базе. Можно создать "протокол обновления" этой базы через доступные http сервисы типа whois, whoip e.t.c. Через вэб-сервисы думаю не получится. Большое количество обращений они за деньги обслуживают. Обратился несколько тысяч раз - тебя забанили и попросили денег заплатить.[/quot] Да нам много не надо. Завести в системе табличку (ого вот уже БД нужна) где будет очередь реквестов на уточнение данных. И долбить сервис но не чаще чем раз в минуту. Типа: idIPDTRegGeoIPresult0123.34.56.782015/10/02 08:31:00? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 09:32 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonДа нам много не надо. Завести в системе табличку (ого вот уже БД нужна) где будет очередь реквестов на уточнение данных. И долбить сервис но не чаще чем раз в минуту. Тут главная засада что сервисы не сообщают диапазон куда IP попал, т.е. табличка ответов в нашу исходную структуру не очень вписывается. Если хранить отдельно табличку IP с ответами, то в итоге она неслабо распухнет и тут уже точно полноценная БД потребуется :) Для оптимизации потребуется центральное хранилище (большая БД) и дальше двусторонняя репликация. Вот мы и построили полноценную распределенную БД И второй момент: место расположения разные сервисы могут называть по-разному. Я ссылку на список рунета давал, там все замечательно, подробно, но по-русски. Без эвристики его проблематично скрестить со списком из англоязычных источников. Списком с maxmind еще не занялся, мельком глянул, там есть русский справочник, но насколько он совпадает с названиями из списка рунета? Сравнивать ведь по написанию придется. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 10:07 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Вот еще сервис есть. Второй параметр - адрес. Правда он диапазоны не выдает. http://ipinfo.io/89.188.113.72/json ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 16:10 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Еще один с бесплатной базой https://db-ip.com/db/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 16:48 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonВот еще сервис есть. Второй параметр - адрес. Правда он диапазоны не выдает. http://ipinfo.io/89.188.113.72/json У этих ограничение 1000 в сутки. Даже раз в минуту уже часто будет http://ipinfo.io/pricing ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 17:00 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Dima TЕще один с бесплатной базой https://db-ip.com/db/ Круть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 17:58 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Загрузил GeoLite2-City-Blocks-IPv4.csv в качестве основной базы Код: sql 1. В твоем файле было Код: sql 1. Прогнал твой файл как лог: неизвестных 13109 диапазонов Прогнал файл отсюда 18227665 : неизвестных 13094 диапазонов Такая вот статистика. Думаю в принципе неплохо: меньше чем 300 тыс. Но интересно на эти 13 тыс. взглянуть. Скорее всего 13 тыс. еще на два надо поделить, т.к. там два IP - начало и конец. А 300 тыс. было в формате IP/маска. Я загрузчик немного не доделал, там с названием городов непонятка какая-то. Только страна прочиталась. На расчет не повлияло. Закончу, зафиксирую. Тут 18227665 файл вроде как не "lite", но без координат. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 18:10 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Разобрался с названиями городов. И похоже я понял в чем lite заключается. Они сгруппировали рядом стоящие диапазоны до страны.IP countPersentPlaceRange fromRange to131480.1%Unknown0.0.0.00.0.0.090320.1%United States174.192.0.0174.223.255.25585640.1%Italy81.117.0.081.117.255.25570540.1%France91.160.0.091.175.255.25570040.1%Italy81.122.0.081.122.255.25553420.0%Italy81.115.0.081.115.255.25542660.0%Italy81.119.128.081.119.159.25542320.0%United States72.112.0.072.127.255.25540740.0%Germany78.47.128.078.47.255.25536880.0%Germany88.198.128.088.198.255.25534790.0%Italy81.123.128.081.123.255.25534640.0%Italy80.206.0.080.206.127.25531200.0%Italy93.47.0.093.47.127.25530160.0%Germany93.240.0.093.255.255.25529920.0%United States64.195.64.064.195.127.25527080.0%Italy81.114.0.081.114.127.25525950.0%United States.TX.San Antonio98.129.64.098.129.127.25525480.0%Italy81.116.96.081.116.127.25525260.0%Italy217.223.128.0217.223.255.25525220.0%Belgium94.110.0.094.110.255.25523690.0%United Kingdom188.28.0.0188.28.127.25523270.0%United States97.40.0.097.47.255.25523240.0%United States32.168.0.032.175.255.25522760.0%Germany89.56.0.089.63.255.25522450.0%Italy88.41.0.088.41.127.25522380.0%United States97.184.0.097.191.255.25522030.0%Germany78.47.64.078.47.127.25521950.0%Switzerland164.128.128.0164.128.255.25521490.0%France213.56.240.0213.56.247.25521420.0%Germany78.46.192.078.46.255.25521380.0%United States72.254.0.072.255.255.25520880.0%United States97.168.0.097.175.255.25520830.0%Italy217.222.192.0217.222.255.25520700.0%United States.TX.Dallas69.13.0.069.13.255.25520540.0%Japan.13.Tokyo219.166.0.0219.166.255.25520400.0%Germany88.198.64.088.198.127.25520380.0%United States.TX.San Antonio174.143.0.0174.143.63.25520240.0%United States4.160.0.04.175.255.25520220.0%Germany.NW.Host62.138.0.062.138.255.25520160.0%Netherlands213.53.192.0213.53.255.25520140.0%United States69.96.0.069.103.255.25519850.0%Japan114.48.0.0114.48.255.25518760.0%United States97.136.0.097.143.255.25518240.0%Australia112.141.0.0112.141.255.25517950.0%Italy80.207.64.080.207.127.25517860.0%Belgium62.88.0.062.88.127.25517840.0%Netherlands212.153.0.0212.153.255.25517760.0%United States72.96.0.072.103.255.25517700.0%Denmark62.79.0.062.79.255.25517600.0%Germany89.52.0.089.55.255.25517230.0%United States4.128.0.04.143.255.25517210.0%France213.56.48.0213.56.55.25517140.0%United States.WA.Seattle98.96.0.098.97.255.25516980.0%Norway84.49.128.084.49.191.25516860.0%Italy82.189.0.082.189.127.25516560.0%United Kingdom94.2.0.094.2.63.25516280.0%Italy88.37.192.088.37.255.25516240.0%Japan219.163.0.0219.163.255.25515980.0%United States66.58.0.066.58.127.25515560.0%Italy81.124.0.081.127.255.25515500.0%United States97.152.0.097.159.255.25515100.0%United States.VA.Ashburn63.20.0.063.23.255.25514930.0%Norway89.8.0.089.9.255.25514760.0%China.11.Beijing219.238.0.0219.239.255.25514730.0%Italy81.119.0.081.119.127.25514460.0%United States70.220.0.070.223.255.25514300.0%Italy88.39.192.088.39.255.25514270.0%Taiwan211.72.0.0211.72.127.25514120.0%United Kingdom94.196.128.094.196.191.25514020.0%Italy80.207.32.080.207.63.25513980.0%Puerto Rico67.203.192.067.203.255.25513930.0%Brazil200.246.0.0200.247.255.25513900.0%United States97.20.0.097.23.255.25513720.0%United States.WA.Seattle128.95.0.0128.95.255.25513720.0%Taiwan211.20.128.0211.20.255.25513500.0%China.65.├Ьr├╝mqi222.82.0.0222.82.255.25513460.0%United States97.164.0.097.167.255.25513410.0%Italy81.116.128.081.116.191.25513280.0%Italy85.44.128.085.44.191.25513240.0%Australia125.63.128.0125.63.255.25513220.0%United States97.224.0.097.227.255.25513220.0%Puerto Rico67.206.192.067.206.255.25513210.0%Brazil200.212.0.0200.213.255.25513180.0%United Kingdom94.4.128.094.4.191.25513140.0%United States97.244.0.097.247.255.25513120.0%United States97.128.0.097.131.255.25513050.0%Hungary195.199.0.0195.199.127.25513000.0%Japan61.199.128.061.199.255.25512920.0%Italy81.112.192.081.112.255.25512830.0%Italy88.45.64.088.45.127.25512820.0%United States97.200.0.097.203.255.25512740.0%United States.VT.Hinesburg68.142.48.068.142.63.25512700.0%United States174.8.0.0174.15.255.25512580.0%United States97.12.0.097.15.255.25512500.0%United States97.0.0.097.3.255.25512440.0%United States97.220.0.097.223.255.25512430.0%Malaysia121.121.128.0121.121.255.25512340.0%Netherlands.NH.Amsterdam83.119.128.083.119.255.25512300.0%Switzerland164.128.0.0164.128.63.25512290.0%Italy.25.Milan151.23.0.0151.23.255.255 В итоге IP там все, но с названиями все плохо. Сейчас readme пререпишу и зафиксирую. Переделал командную строку полностью. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 19:04 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Зафиксировал. Думаю надо еще пару ключиков сделать: -find <place> будет выводить все строки лога где <place> начало из названия диапазона. Т.е. частный случай Код: sql 1. выведет все строки с неизвестными IP или так Код: sql 1. -export <format> Экспорт в разных форматах, от 1-2 файлового csv до скриптов для заливки на разные SQL сервера. Комбинациями этих двух ключей можно будет резать/клеить файлы из разных источников. Дополнительно еще переделаю загрузку из CSV, чтобы она не была жестко привязана к колонке, а определяла где-какая по заголовку. Получится универсальный конвертер IPGEO баз. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 19:38 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Дим. Я всё таки хотел чтоб были 2 штуки утилиты. Одна - конвертер из ЦСВ в бинарь. А другай - конкретно поиск. Понимаешь этим софтом должны пользоваться админы. Ладно мы разберёмся. А админу как? Ему - некогда. Ему - бегом-бегом. Он едва grep с awk-ом раскурил. И то для узких задач. А тут - уже целый информационный комплекс. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 20:59 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
"Огорчу я тебя до невозможности". Админ не будет использовать эту хрень - он не спецназ, чтобы устраивать маски шоу в пункте-источнике, а без этого знание геоположения интересно только в качестве "послепотомного" развлечения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 21:56 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
OMG! Да гдеж я такое предлагал-то? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2015, 22:12 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonДим. Я всё таки хотел чтоб были 2 штуки утилиты. Одна - конвертер из ЦСВ в бинарь. А другай - конкретно поиск. Понимаешь этим софтом должны пользоваться админы. Ладно мы разберёмся. А админу как? Давай разделю. Вынесу все конвертации в geoipcfg.exe Не сложно. Немного поразмышлял о применимости админами: 1. Админам нужны подсети (1.12.0.0/16), а не наши диапазоны (1.12.0.0-1.12.255.555) т.к. у них все админится в подсетях. Например твой файл в большинстве случаев полное соответствие, но есть записи где в одном диапазоне несколько подсетей. 2. Один город/региод/страна имеет несколько диапазонов, в результате наша группировка по диапазонам и сортировка по убыванию теряет информативность. Думаю надо как-то разделить задачи: админам дать подсети с анализом активности каждой, гео-аналитикам дать города/регионы/страны. Вывод: надо полноценную СУБД, т.е. пора начинать осваивать sqlite и делать версию 2.0. :) PS Только сначала разделю исходники и парсер csv поправлю, он еще пригодится. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2015, 13:13 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Я-бы предложил базы класть в каталог Код: sql 1. 2. 3. 4. 5. и по умолчанию считать что они там всегда лежат. Уберём лишний дефолтный аргумент. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2015, 13:44 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
maytonи по умолчанию считать что они там всегда лежат. Уберём лишний дефолтный аргумент. Аргументы лишние уже убраны, обновись, почитай readme.txt Пути отсутствуют, обращение по имени, жеско вшито имя "geoip.dat", т.е. сначала в текущей папке ищется. Предусмотрю настройку пути, чтобы в коде задать в одном месте. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2015, 14:03 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Что за страна с кодом XK ? Код: sql 1. 2. 3. 4. 5. 6. 7. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 03.10.2015, 21:48 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
https://en.wikipedia.org/wiki/ISO_3166-1_alpha-2#XK The code XK is being used by the European Commission,[19] Switzerland,[20] the Deutsche Bundesbank,[21] SWIFT,[22] and other organizations as a temporary country code for Kosovo.[23] Тут есть справочник городов отдельно. geoname_idlocale_codecontinent_codecontinent_namecountry_iso_codecountry_namesubdivision_1_iso_codesubdivision_1_namesubdivision_2_iso_codesubdivision_2_namecity_namemetro_codetime_zone786714enEUEuropeXKKosovo"Komuna e Prishtines"PristinaEurope/Belgrade Как-то криво все с ними, я для полного наименования взял country_iso_code.subdivision_1_iso_code.city_name если второго нет - третье игнорируется. Надо поправить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2015, 08:09 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Разделил на две софтины. Для админов и продвинутых :) Для продвинутых (geoipcfg) это конвертер c импортом и экспортом. Добавил ключ -unknown для выборки строк с неизвестными IP и круг замкнулся: можно резать/клеить данные из любых источников. Можно тестить. Потестил -unknown и получил интересный результат в одном из источников: "0.0.0.0","0.255.255.255","US","California","Los Angeles" Рушит всю мою схему хранения. "0.0.0.0" у меня Unknown Вроде как "0.0.0.0" не может быть. Курю инет по этому поводу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2015, 18:46 |
|
||
|
Тяпничный анализатор ботнетов
|
|||
|---|---|---|---|
|
#18+
Коллеги, вы очень увлеченно что-то строите. Но можно поинтересоваться целью сего процесса? Пусть даже она заключается в простом интересе, но я и этого не вижу. Попутно интересно, а как предполагается быть с таким - http://geektimes.ru/company/ua-hosting/blog/263398/ ? В данном случае ботнет, как некая единая структура, просто отсутствует. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2015, 10:11 |
|
||
|
|
start [/forum/topic.php?fid=16&msg=39067261&tid=1340915]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
144ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
2ms |
| others: | 200ms |
| total: | 433ms |
| 0 / 0 |
