ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Лучшие задачи проекта
25 сообщений из 191, страница 3 из 8
  3  все
Лучшие задачи проекта
    #38099519
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
http://www.sql.ru/blogs/stebelek/1269
...
Рейтинг: 0 / 0
03.01.2013, 19:14
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099520
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
А Оракел смагёт 46 млн строк вставить в таблицу за 2 секунды ?
...
Рейтинг: 0 / 0
03.01.2013, 19:22
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099524
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Ого. А что в этих 34 битах. Этож получается ...ммм

2^34 = 2^32 * 4 = 16 Gb.

Ну нифигассе! Это в старте кампании?
...
Рейтинг: 0 / 0
03.01.2013, 19:25
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099527
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДохтаР
Участник
BAZlSTА Оракел смагёт 46 млн строк вставить в таблицу за 2 секунды ?


А какая система может отдать 46 млн записей для вставки за 2 секунды ?
...
Рейтинг: 0 / 0
03.01.2013, 19:25
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099528
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
BAZlSTА Оракел смагёт 46 млн строк вставить в таблицу за 2 секунды ?
Не знаю. Смотря какие допущения в условии. Если задача кластеризуется
на MapReduce (а такая вставка кластеризуется) то можно. Надо только
количество нодов увеличить.
...
Рейтинг: 0 / 0
03.01.2013, 19:26
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099530
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
BAZlSTmaytonПридумай структуру данных.

Из данных тут только ИНН, гдето хватает 34 бита.
Значит подойдет Barbaris Compressor x86 V34,
Параметры для iCore7 работы - 20-60 млн/сек
Поиск - 30-250 млн / сек.

(режим инмемори)
Да. Совсем забыл. Последние две цифры - не хранят ничего полезного.
Там - контрольная сумма и гендерный признак. Хехе....
...
Рейтинг: 0 / 0
03.01.2013, 19:30
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099532
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДохтаР
Участник
mayton,

по моим подсчетам нужно не более чем 6 байт на одни ИНН.
И не обезательно оперативки.
...
Рейтинг: 0 / 0
03.01.2013, 19:30
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099533
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
maytonОго. А что в этих 34 битах. Этож получается ...ммм

2^34 = 2^32 * 4 = 16 Gb.

Ну нифигассе! Это в старте кампании?

Да, получается дето 8гиг/секунда заливка данных.
Если все в памяти конечно.
...
Рейтинг: 0 / 0
03.01.2013, 19:30
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099534
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
ДохтаРmayton,

по моим подсчетам нужно не более чем 6 байт на одни ИНН.
И не обезательно оперативки.

6 байт = макс 281,474,976,710,656.
Зачем так многа ?
...
Рейтинг: 0 / 0
03.01.2013, 19:31
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099535
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
BAZlSTДохтаРmayton,

по моим подсчетам нужно не более чем 6 байт на одни ИНН.
И не обезательно оперативки.

6 байт = макс 281,474,976,710,656.
Зачем так многа ?

В условии задачи, макс 9 999 999 999.
И кто из нас битовую арифметику не освоил ?

Даже 33х бит будет достаточно. Стебелек это поддерживает !
...
Рейтинг: 0 / 0
03.01.2013, 19:33
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099536
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДохтаР
Участник
ДохтаРmayton,

по моим подсчетам нужно не более чем 6 байт на одни ИНН.
И не обезательно оперативки.

Это с учем всех указателей и прочей служебной памяти нужной программе ,
без учета обьема выполняемого кода .
...
Рейтинг: 0 / 0
03.01.2013, 19:33
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099538
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Рассуждаю так. В диапазоне с 16 до 100 лет - 84 целых года.
Это примерно 84 * 365 = 30660 дней.

Какой-бы ни был ИНН - в банковской БД если она чистится каждый
день от умерших - интервал между самым стариком и самым молодым
составляет 30660###XX.

Решётка это номер серии. X - игнорируется.
...
Рейтинг: 0 / 0
03.01.2013, 19:35
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099540
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
BAZlSTДаже 33х бит будет достаточно.

Не, 33 это я загнул. 34 бита как раз, немножко с запасом.
...
Рейтинг: 0 / 0
03.01.2013, 19:35
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099541
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДохтаР
Участник
BAZlSTBAZlSTпропущено...


6 байт = макс 281,474,976,710,656.
Зачем так многа ?

В условии задачи, макс 9 999 999 999.
И кто из нас битовую арифметику не освоил ?

Даже 33х бит будет достаточно. Стебелек это поддерживает !

Потом тебе постаят задачу за наносекунды
найти клентов от 20 до 30 лет не вылезая за пределы отведенной уже памяти,
и посмеемся )
...
Рейтинг: 0 / 0
03.01.2013, 19:37
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099543
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
ДохтаРBAZlSTпропущено...


В условии задачи, макс 9 999 999 999.
И кто из нас битовую арифметику не освоил ?

Даже 33х бит будет достаточно. Стебелек это поддерживает !

Потом тебе постаят задачу за наносекунды
найти клентов от 20 до 30 лет не вылезая за пределы отведенной уже памяти,
и посмеемся )

Так там есть метод getValuesByRange().
В чем проблема найти всех клиентов в диапазоне ?
...
Рейтинг: 0 / 0
03.01.2013, 19:39
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099545
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Хех... кто о чём. А Баз о своих растениях.

Я вообще задачку в разрезе теории спросил.
...
Рейтинг: 0 / 0
03.01.2013, 19:40
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099548
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
А шо тут теорезировать ? если уже давно все протестировано и работает
...
Рейтинг: 0 / 0
03.01.2013, 19:42
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099553
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
У меня была мысль вообще вынести это в offline. Клиенты регаются редко.
В течение дня можно спокойно кешировать набор ID-шников.
...
Рейтинг: 0 / 0
03.01.2013, 19:49
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099556
ДохтаР
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ДохтаР
Участник
maytonХех... кто о чём. А Баз о своих растениях.

Я вообще задачку в разрезе теории спросил.

Если ИНН разложить в дерево
ветка годы
ветка месяцы
листья дни
То в листях можно хранить только остаток от ИНН .


Еще приблизительно пол байта на ИНН займет отдельный
битмап индекс для вычисления листьев и позицию для клиентов внутри дерева.
...
Рейтинг: 0 / 0
03.01.2013, 19:55
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099559
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
ДохтаРmaytonХех... кто о чём. А Баз о своих растениях.

Я вообще задачку в разрезе теории спросил.

Если ИНН разложить в дерево
ветка годы
ветка месяцы
листья дни
То в листях можно хранить только остаток от ИНН .


Еще приблизительно пол байта на ИНН займет отдельный
битмап индекс для вычисления листьев и позицию для клиентов внутри дерева.

хардкор
...
Рейтинг: 0 / 0
03.01.2013, 19:59
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099561
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
Кстате можете меня поздравить, сегодня наконец отлажена версия
самая первая, недооптимизированая Barbaris Compressor x86 VX.

Вставляет 128 битные ключи со скоростью
10млн/1,2 сек = 8,3 млн / сек

Итого 8,3 * 20 = 166 мб/сек
...
Рейтинг: 0 / 0
03.01.2013, 20:03
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099562
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
ДохтаР, я тоже думал о дереве остатков.

Еще дополнение. Три цифры ### - это порядковый номер зарегистрированного
человека в этот день. Учитывая статистику рождаемости/регистрации
налогоплательщиков вряд-ли это будет достигать 999.

Цифра будет гораздо более скромная.
...
Рейтинг: 0 / 0
03.01.2013, 20:03
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099563
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
BAZlSTmaytonОго. А что в этих 34 битах. Этож получается ...ммм

2^34 = 2^32 * 4 = 16 Gb.

Ну нифигассе! Это в старте кампании?

Да, получается дето 8гиг/секунда заливка данных.
Если все в памяти конечно.

Чето вы мне тут все карты спутали

46 млн * 32 бит = 184 мб / сек =)
...
Рейтинг: 0 / 0
03.01.2013, 20:04
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099564
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
BAZlSTКстате можете меня поздравить, сегодня наконец отлажена версия
самая первая, недооптимизированая Barbaris Compressor x86 VX.

Вставляет 128 битные ключи со скоростью
10млн/1,2 сек = 8,3 млн / сек

Итого 8,3 * 20 = 166 мб/сек
Cool. А как у тебя с сериализацией? Даже TimesTen может сохранять своё
состояние в файл. Хотя-бы для перегрузки сервера или ремонта железа.
...
Рейтинг: 0 / 0
03.01.2013, 20:05
| Ответить | Цитировать | Написать  
Лучшие задачи проекта
    #38099566
BAZlST
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BAZlST
Участник
maytonBAZlSTКстате можете меня поздравить, сегодня наконец отлажена версия
самая первая, недооптимизированая Barbaris Compressor x86 VX.

Вставляет 128 битные ключи со скоростью
10млн/1,2 сек = 8,3 млн / сек

Итого 8,3 * 20 = 166 мб/сек
Cool. А как у тебя с сериализацией? Даже TimesTen может сохранять своё
состояние в файл. Хотя-бы для перегрузки сервера или ремонта железа.

Ну какая сериализация ?
Я месяц только код отлаживал .............
...
Рейтинг: 0 / 0
03.01.2013, 20:06
| Ответить | Цитировать | Написать  
25 сообщений из 191, страница 3 из 8
  3  все
Форумы / Другие СУБД [игнор отключен] [закрыт для гостей] / Лучшие задачи проекта
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=56&msg=38099524&tid=2015281]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 66ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 51ms
get tp. blocked users:
 1ms
others: 230ms
total:  388ms
созд. / загр.: 388ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]