ReSQL.ru
     
powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / C++ [игнор отключен] [закрыт для гостей] / Тяпничная география
25 сообщений из 177, страница 7 из 8
  7  все
Тяпничная география
    #39060827
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonДалее вследствие самопального софта и спешки если снять ограничение в 3_500_000
у меня проблемы с java.lang.OutOfMemoryError: GC overhead limit exceeded.
ЕМНИП у тебя GeoIpCity в оракле живет. Тут 18175138 про Spatial индексы было, в MySQL и MSSQL есть. Наверно и в оракле есть, поизучай да заливай лог туда, а дальше select`ом.
...
Рейтинг: 0 / 0
25.09.2015, 08:22
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060832
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Увы Оракл в дауне. К вечеру подниму. А пока - скриптики и memory.

Кстати есть мысль - создать форк - Тяпничный анализ ботнета и перенести
весь анализ туда чтоб не оффтопить.
...
Рейтинг: 0 / 0
25.09.2015, 08:27
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060837
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
maytonИ кстати - приятная новость. Интервалы изначально были отсортированны и не перекрываются.
Если так, то на Spartial можно не заморачиваться. Ищем первый интервал начало которого >= проверяемому IP.
maytonесли снять ограничение в 3_500_000
Сделай массив структур
Код: plaintext
1.
2.
3.
int start_ip;
int end_ip;
char[4] country;


12 байт на запись, 42 Мб на 3,5 млн.
maytonКстати есть мысль - создать форк - Тяпничный анализ ботнета и перенести
весь анализ туда чтоб не оффтопить.
Правильная мысль
...
Рейтинг: 0 / 0
25.09.2015, 08:41
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060842
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
В настоящий момент адресная сущность выглядит так

Код: java
1.
2.
3.
4.
5.
6.
7.
8.
public final class IpInterval implements Comparable<IpInterval> {

    public final long startIpNum;
    public final long endIpNum;
    public final String country;
    public final String region;
    public final String city;
.....



2) Сегодня подумаю над новым топиком.
...
Рейтинг: 0 / 0
25.09.2015, 08:48
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060846
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
ИМХУ ораклов не надо. Массивов хватит. Думаю надо сначала с твоей GeoIpCity разобраться: сохранить в максимально компактном виде (можно ужать до 8 байт на запись), API сделать (загрузка из файла, поиск и т.д. и т.п.). В принципе это тема данного топика.
...
Рейтинг: 0 / 0
25.09.2015, 08:51
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060854
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Вроде обсуждали. Производитель (MaxMind) раньше предоставлял сжатые бинарники в своём
формате где диапазоны хранились в Radix-Tree в сериализованном виде. Это ИМХО не для экономии
места а для префисного поиска. Предоставлял также csv для загрузок в БД.

Сейчас - услуга платная и реально можно достать бинари где-то до 2013 года. Кроме
того они поменяли формат с GeoLite на GeoLite2 вобщем подкинули головняк. Надо
еще разбираться где есть что.

По поводу массивов. Я не против. Где-то мы запускали бенчмарки и решили
что дихотом-поиск по 1-му адресу рулит.
...
Рейтинг: 0 / 0
25.09.2015, 08:59
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060860
Dima T
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dima T
Участник
csv достаточно. Дальше делаем свою структуру хранения, парсим, сортируем как надо, добавляем индексы, сохраняем в бинарник. В итоге получится микро движок СУБД для конкретной задачи. Т.к. данные не меняются, то задача сильно упрощается. Деревья тоже не нужны.
...
Рейтинг: 0 / 0
25.09.2015, 09:05
| Ответить | Цитировать | Написать  
Тяпничная география
    #39060880
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
IntervalTree жрёт память как обжора. Повысил Xmx до 4Г и закончил отчотик.
Кому интересно - тут 18193163
...
Рейтинг: 0 / 0
25.09.2015, 09:24
| Ответить | Цитировать | Написать  
Тяпничная география
    #39061236
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Создал 18194303
...
Рейтинг: 0 / 0
25.09.2015, 13:30
| Ответить | Цитировать | Написать  
Тяпничная география
    #39061735
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
miksoftDima Tпропущено...

Они куплены/заняты. Другой вопрос как их использует владалец. Например некоторые провайдеры раздают постоянные IP людям которые комп включают раз в месяц, но за интернет платят регулярно.Блоки с 0 по 32 что-то не похожи на выключенные компы дома.

Кстати, а что за серые блоки в углах нулевого блока?

Трудно сказать. Дополню своей старой цитатой.
Код: plsql
1.
2.
3.
4.
5.
SQL> select sum(n_endip-n_startip) from geoipcity;

SUM(N_ENDIP-N_STARTIP)
----------------------
            3155268734


Всего аллоцировано адресов 3 155 268 734.

Квадрат (предположительно) брался из расчёта 64К на 64К пикселов или 2^32 = 4 294 967 296

В процентном соотношении аллоцировано 3 155 268 734 / 4 294 967 296 = 0.7346

Тоесть примерно четверть целых чисел формата uint32 в IP адресах не используется.
...
Рейтинг: 0 / 0
25.09.2015, 23:31
| Ответить | Цитировать | Написать  
Тяпничная география
    #39201467
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
UP. Еще один источник IP-географической инфы.

http://www.nirsoft.net/countryip/
...
Рейтинг: 0 / 0
27.03.2016, 17:02
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
Тяпничная география
    #39634302
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Еще один кабанчик заинтересован https://habrahabr.ru/post/353986/
...
Рейтинг: 0 / 0
22.04.2018, 11:03
| Ответить | Цитировать | Написать  
Тяпничная география
    #39683982
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
maytonmiksoftЕсли это абсолютное требование - то вариант только один - линейное расположение пикселей, т.е. цепочка. А вот укладывать эту цепочку на плоскости можно разными способами - меандром, по спирали и т.п.

Да я щас думаю над этим. Самое сложное - обеспечить кластеризацию или скопление точек в одном месте.
Не хочется диаграмму превращять в полосатый шум. Всё таки визуализация должна быть наглядной.
вообще странам/городам раздаются IP-диапазоны
а IP-адреса в диапазоны легко складываются через CIDR
а просто покрасить 3.5 ярда точек это о чём вообще?

зы: пофиг что старая тема
...
Рейтинг: 0 / 0
06.08.2018, 21:54
| Ответить | Цитировать | Написать  
Тяпничная география
    #39684516
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ну вот. Вбросил и зобанился.

Что за народ!
...
Рейтинг: 0 / 0
07.08.2018, 21:43
| Ответить | Цитировать | Написать  
Тяпничная география
    #39684612
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
maytonЕще один кабанчик заинтересован https://habrahabr.ru/post/353986/ Мне лишь одно непонятно - занафига нужна эта бесполезная визуализация? Что она нам дает?
...
Рейтинг: 0 / 0
08.08.2018, 09:33
| Ответить | Цитировать | Написать  
Тяпничная география
    #39684694
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Зачем нужны графики? Диаграммы? Чертежи?

Не знаю. Я предложил тему. Народ откликнулся.

Вам эта тема скорее всего не нужна.
...
Рейтинг: 0 / 0
08.08.2018, 11:29
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686364
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
maytonНу вот. Вбросил и зобанился.

Что за народ!
тут я
...
Рейтинг: 0 / 0
11.08.2018, 10:57
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686426
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
полудухmaytonНу вот. Вбросил и зобанился.

Что за народ!
тут я
Красавца! :)

Я планировал разработать такой себе ui-чик. Чтоб мышкой диапазоны сеток выбирать. И правила файрвола.
...
Рейтинг: 0 / 0
11.08.2018, 17:53
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686447
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
maytonЧтоб мышкой диапазоны сеток выбирать. И правила файрвола.
диапазоны это CIDR
в правилах он тоже прекрасно живёт
как узнать, принадлежит ли IP к сетке?
Код: plaintext
1.
2.
3.
net & mask == ip & mask
// ИЛИ посложнее:
(net ^ ip) & mask == 0



mayton2.92.0.0,2.95.255.255,"RU","48","Moscow","",55.7522,37.6156,,
это: 2.92/14
кальк

с первоначальной задачей (я поизучал 1, 6 и 7 страницы) не согласен
3.5 ярда разноцветных точек на экране никакой практической пользы не имеют и в обнаружении хоть чего-нибудь никак не помогут
сама покраска - тривиальная задача даже для развития
сервис, которому можно скормить пул адресов и получить страны - тоже
CIDR-конвертеров полно в гугле
...
Рейтинг: 0 / 0
11.08.2018, 22:27
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686448
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
полудух,

Я ещё окончательно не решил нужна мне эта география или нет. Скорее нет чем да. Топик сдох. Поэтому можешь расслабится.

Грубо говоря судьба этой задачи меня не парит. Да и пятница...
...
Рейтинг: 0 / 0
11.08.2018, 22:37
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686461
Фотография полудух
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
полудух
Участник
а чего ещё ждать от такой задачи

зы: вообще суббота
...
Рейтинг: 0 / 0
11.08.2018, 23:43
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686465
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
полудух, это пятничная тема. По стартовому сообщению.
...
Рейтинг: 0 / 0
12.08.2018, 00:33
| Ответить | Цитировать | Написать  
Тяпничная география
    #39686713
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
rdb_dev
Участник
полудух
Код: plaintext
1.
2.
3.
net & mask == ip & mask
// ИЛИ посложнее:
(net ^ ip) & mask == 0

Всё равно как-то сложно...
Код: plaintext
1.
subnet_ip == host_ip & subnet_mask
...
Рейтинг: 0 / 0
13.08.2018, 10:31
| Ответить | Цитировать | Написать  
Тяпничная география
    #39748532
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Прошу прощения за внезапный UP.

Полезная ссылка до кучи http://www.ipdeny.com/ipblocks/
...
Рейтинг: 0 / 0
16.12.2018, 00:33
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
Тяпничная география
    #40034518
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
UP. А разве такие маски бывают?

Код: plaintext
1.
2.
3.
4.
5.
6.
[ 78.33.196.42 - 78.33.196.63 ] / 27 : GB/Chesterford 

START: 01001110001000011100010000101010
END  : 01001110001000011100010000111111
MASK : 11111111111111111111111111101010
IPv4 mask : 0.0.0.27



С разрывом монотонности внутри? Вроде нет. Тогда как рассматривать диапазон адресов для Честерфорда?
...
Рейтинг: 0 / 0
09.01.2021, 23:52
| Ответить | Цитировать | Написать  
25 сообщений из 177, страница 7 из 8
  7  все
Форумы / C++ [игнор отключен] [закрыт для гостей] / Тяпничная география
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=57&msg=39686465&tid=2017270]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 166ms
get topic data:
 11ms
get forum data:
 3ms
get page messages:
 60ms
get tp. blocked users:
 2ms
others: 15ms
total:  285ms
созд. / загр.: 285ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]