Пока не летает.

Образец файла я уже где-то приаттачивал. Но ничего. Еще раз положу.

GeoIpCity.csv

Dima T, скайп есть?

Dima TmaytonDima T, скайп есть?
У жены на ноуте есть. Я эту хрень не признаю. Параннойя. Камеры все отключены в биосе. У меня есть аська (на работе) и сотовый на все остальные случаи. Аську форум заменяет, хочешь позвоню, но светить номер тут не буду. Вроде личка тут есть, заглянул в профиль, поставил галку "разрешить личные сообщения", где их читать хз.
Ладно бох с ним. Я хотел БД тебе оправить. В любом случае бенчмаркить надо на чём-то более плотном.
45 мегебайт в формате 7zip. Куда лить?

Dima T, отправил.

Несколько интересных копипаст с хабра. С их позволения. Под катом.



Поведенческий анализ — один из наиболее эффективных методов фильтрации трафика. Мы рассматриваем сайт как дерево переходов. В узлах дерева находятся странички, а в ребра мы закладываем вероятность перехода и задержку при переходе. В основе лежит тот простой факт, что роботы и люди видят веб-страницы по-разному. Когда времени на обучение достаточно, люди «натаптывают» в этих переходах определенные уплотнения — тропинки. Всё посетители, которые из них выпадают, с той или иной вероятностью являются роботами. Вроде бы всё просто. С другой стороны, если прикинуть, какие объемы памяти и вычислительные ресурсы понадобятся для обработки, ты поймешь, что, наверное, при текущих вычислительных мощностях это не так-то просто.


Я перечислил свойства ботнета на слайде для одной достаточно старой презентации. Когда я делал тот слайд, он казался мне абсолютно правильным:
Жадность. Ботнет старается нанести приложениям как можно больше вреда за единицу времени.
Ущербность. Ботнет не являет браузером. Это некий HTTP-стек, встроенный в червь. Как правило, он не умеет ставить корректные заголовки, не обладает JS-движком или обладает в ограниченном виде.
Самосохранение. Ботнет — ценный ресурс, и любые действия, приводящие к сокращению его размера приносят прямые финансовые убытки атакующим. Ботнет старается не производить действий, которые могли бы его демаскировать и отразиться на материнской системе.
Транснациональность. Ботнеты раскиданы по всему «шарику».
Конечность.

Дима проясни плиз. Я не совсем понял назначение последнего аргумента.

Вот к примеру я хочу найти сведения по IP = 223.133.70.1 (Токио).


Непонятненько... Я вроде ничо не нашёл.

Dima TПоизучал набор городов. Названия некоторых городов длинные. 46 знаков, например "Pakistan Employees Cooperative Housing Society", Думаю надо вынести строками в отдельный кусок памяти и указатели давать. Так 4-5 Мб памяти сэкономится.

Я-бы хотел сохранить достоверную информацию. И думаю что нам 4-5 Мб памяти погоды не делают.
На крайняк можно создать бинарный индекс по CSV-файлу. Тоесть ключевая информация это
{ beginIp (uint32), endIp(uint32), offset } а всё остальное - просто атрибуты.

Регионы нумеруются внутри каждой страны. Правда некоторые города попадают в несколько регионов. Таких 1543 в первых 65 тыс.городов (всего 129 тыс.).
Также там бардак с названиями городов, есть "RU#48 Moscow" и "RU#48 Moskva"

Да. Бардак имеется. Впрочем эта БД всё равно устарела. Но важна правильная концепция.

latitude;longitude я так понимаю это геогр. широта/долгота. Восновном они одинаковые для каждого (country,region,city), но есть исключения, немного отличаются для разных диапазонов одного города, думаю для них проще среднее посчитать и привязать к (country,region,city).
Нужны они?

Сохранить их стоит. Я планировал отображать атакующих на карте. В крайнем случае давать ссылки на
гугл-мап или яндекс-карты.

dmaCode;areaCode какие-то почтовые коды, мало где заполнениы, думаю не надо их.
Здесь не знаю. Не готов что-либо сказать. 5-разрядные почтовые zip-коды имеют смысл для США.
Для других стран - сильно сомневаюсь.

По скорости не быстро получается, у меня парсится 4,2 сек., надо бинарник делать.
ОК. Делай бинарник. Обрати внимание на BerkeleyDB. Возможно поможет. Полезная штука.

1) Да. Дело было в рантайме.

2) Можно координаты добавлять в виде ссылки на какой-нить гео-локатор.

Для Токио. (Масштаб=5, широта и долгота (35.6850,139.7514))

https://www.openstreetmap.org/#map=5/35.6850/139.7514

Dima Tmayton2) Можно координаты добавлять в виде ссылки на какой-нить гео-локатор.

Для Токио. (Масштаб=5, широта и долгота (35.6850,139.7514))

https://www.openstreetmap.org/#map=5/35.6850/139.7514
можно на гугл https://www.google.ru/maps/@35.685,139.7514,10z

Думаю всегда не надо. Добавлю ключик -map. Может еще вывод в html чтобы ссылки были ссылками?
Да это мысль. У нас почти CGI скриптик получился. Вывести структуру GeoIp + фрейм со ссылкой на гуглокарту.

Dima TmaytonОбрати внимание на BerkeleyDB.
Почитал. Так sqlite по сути тоже самое. Можно и то и другое потестить.
Беркли привлекательнее. SQLite обременён SQL-стеком а Беркли - по сути либа.
Хотя у лайта возможно на некоторых запросах будет скорость из за in-memory.
Хотя.. бустрап у Беркли должен быть нулевой.... а хер ево знает надо тестить.

Dima T, попробовал BerkeleyDB (Java-порт). Многабукв вышло. Нет никакого ORM.
Для сериализации объекта нужно написать что-то своё причем возвращающее byte[].

Лет 10 назад я юзал Беркли на С++. Там оно как-то проще было. В плане положить
стурктуру или объект в хранилище.

Чуть позже опубликую код на сорсфорже.

Вовсе не обязательно их размер должен быть гигантским. От юзкейса зависит.