|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Есть у меня еще мысль. Хочу файловый API проверить. Есть подозрение что если явно не требовать DIRECT от операционки то мне опять-же предоставят memory-mapping. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 11:45 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020, То есть ОЧЕРЕДИ как например fifo lifo это юзверя в масках в очереди стоят? ))) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 17:28 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Теперь выделим триллион целых чисел с использованием вектора. А то эксперимент какой-то неполный. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13.
Пока - провал. Неповезло. Код: plaintext 1. 2. 3. 4. 5.
Что в этот момент видел strace. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14.
Он пытался аллоцировать 4 000 000 004 096 байт или один триллион целых чисел с хвостиком. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 17:40 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Моя конфигурация по памяти. Обычно плавает. Но после старта ОС она такая (размерность цифр - в Мегабайтах) Код: plaintext 1. 2. 3. 4.
... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 17:45 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей. Попробуй это в своей конфигурации и скажи что у тебя получилось. Какой код ошибки? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 17:56 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton, откуда у тебя 4 терабайта, ты што?! написано же 14 гегофф... и у меня их тоже нет, прикинь! ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 18:04 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 mayton, откуда у тебя 4 терабайта, ты што?! написано же 14 гегофф... и у меня их тоже нет, прикинь! Купишь себе Seagate на 16 терабайт (ST16000VE000) и нормально выделишь. Или ты уже сдался? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 18:08 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Алексей Роза 2020, То есть ОЧЕРЕДИ как например fifo lifo это юзверя в масках в очереди стоят? ))) да не знаю я кто на ком стоит там у тебя Я работаю с живыми юзерами mayton Купишь себе Seagate на 16 терабайт (ST16000VE000) и нормально выделишь. я чё псих?! ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 19:03 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020я чё псих?! Да. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 19:11 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 mayton Купишь себе Seagate на 16 терабайт (ST16000VE000) и нормально выделишь. я чё псих?! Ну твой топик? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 19:11 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020, Все понятно. Менеджер. Работает с живыми людьми. Слово очередь вызывает панику. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 20:09 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Для Алексеевских 100-байтных объектов в количестве триллиона нам понадобиться места Код: plaintext 1.
В базу данных - нормально влезет. А вот в memory-mapping. Надо подумать. Для сборки таково файла поверх файловых систем я-бы предложил использовать файловый пул zfs на Segate-овских дисках по 16 Гб в количестве 6 штук. Из них можно собрать 1 volume. И на него отобразить выделяемый вектор. Ну или в btfrs. Модная нынче и более быстрая чем zfs. Субъективно. Правда действующие ограничения остаются под вопросом. Мои 43 бит адресной шины. На что повлияют? Будут ли мешать работе с маппингом? Так по формуле вроде могу адресовать 8 терабайт оперативы. Код: plaintext 1. 2. 3.
Слотов конечно не хватит но тут дело принципиальное. Почему задача Алексея меня заинтересовала? И казалось бы ему самому она уже сто лет в буй не впилась. Но я вижу в этом во первых - технический челлендж. А во вторых обзор программно-аппаратных возможностей нашего железа и софта. А технические вызовы мне всегда были интересны. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 21:12 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
maytonМои 43 бит адресной шины. На что повлияют? На предельный размер физического ОЗУ. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 21:16 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Алексей Роза 2020, Все понятно. Менеджер. Работает с живыми людьми. Слово очередь вызывает панику. да нихера тебе не понятно чё ты пристал со своими очередями на я те по другому скажу PetroNotC Sharp В очередь не можешь поставить? нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 21:26 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton Ну твой топик? ну он не про то, как на диске 16 терабайт памяти делать даже от SSD отговорили, а ты тут вообще блины советуешь. mayton Для сборки таково файла поверх файловых систем я-бы предложил использовать файловый пул zfs на Segate-овских дисках по 16 Гб в количестве 6 штук. Из них можно собрать 1 volume. И на него отобразить выделяемый вектор. всё, стоп, астанавись! Я не про это тему делал. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 21:30 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mayton И казалось бы ему самому она уже сто лет в буй не впилась. Задача всё так же актуальна. Только вектор чуть поменьше стал (на 1000 порядков). И его частично можно хранить на диске (тех кто не нужен). ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 21:33 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov Алексей Роза 2020я чё псих?! Да. Да, но не настолько. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 21:37 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 PetroNotC Sharp Алексей Роза 2020, Все понятно. Менеджер. Работает с живыми людьми. Слово очередь вызывает панику. да нихера тебе не понятно чё ты пристал со своими очередями на я те по другому скажу PetroNotC Sharp В очередь не можешь поставить? нет. Другое дело. А то включил дурака, что сбрасываем на диск, но нужны одновременно все))) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 22:07 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Код: plaintext 1.
а я думаю, если не ограничиваться одной машиной и вместо вектора использовать структуру, которая не требует выделения памяти одним непрерывным куском, то я думаю на Unix/Linux вполне можно решить задачу Алексея, и вообще все сделать на уровне оперативная память + swap ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 23:25 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Естессно можно. Распределённое хранение и обработка не этим ли занимается? Как всегда нужно сначала озвучить желаемые обоснованные ТТХ. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.08.2020, 23:33 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
mini.weblab вместо вектора использовать структуру это как? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 06:57 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Алексей Роза 2020 пропущено... да нихера тебе не понятно чё ты пристал со своими очередями на я те по другому скажу пропущено... нет. Другое дело. А то включил дурака, что сбрасываем на диск, но нужны одновременно все))) Если юзер пользуется твоим сервисом, в какую ты его очередь собрался пихать? В БД миллиард юзеров и всегда есть шанс, что они все одновременно зайдут попользоваться. Но чаще конечно будут провалы от суток и более - вот таких можно на диск скинуть. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 11:56 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020 В БД миллиард юзеров и всегда есть шанс, что они все одновременно зайдут попользоваться. Цукерберг, Вы уже спалились!!! Никогда не знал, что на этом форуме такие люди тусуются. Поговори за меня с отделом кадров, я в Файсбуке работать хочу, please ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 12:15 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Триллион сущностей (даже целых числел) очень трудно обработать на классической архитектуре где есть 1 вычислительный узел (8-12 CPU). Даже при максимальном числе потоков и при двух-канальной памяти они начнут неизбежно конкурировать за память и большую часть времени мы будем стоять в ожиданиях доступа к каналу памяти. Частично это решается через map-reduce при условии что данные уже стали историческими и у нас есть хороший прогноз по разделению всего объема по нодам. Для OLTP транзакций подобная система - вообще не мыслима. Если допустим что каждая сущность это физ-лицо. А всех людей на планете Земля не больше 8 миллиардов. То эта база будет все равно на два порядка меньше чем то что хотел в началае Алексей. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 12:51 |
|
vector на триллион объектов
|
|||
---|---|---|---|
#18+
Алексей Роза 2020, Триллион,.... Миллиард.... А на самом деле даже записную книжку не писал? Термины то все не инженерные). автори всегда есть шанс, что они все одновременно зайдут попользоваться Неужели в ТЗ бизнес аналитик так слово в слово и написал?))) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.08.2020, 12:53 |
|
|
start [/forum/topic.php?fid=57&msg=39991778&tid=2017354]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
148ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
70ms |
get tp. blocked users: |
2ms |
others: | 12ms |
total: | 276ms |
0 / 0 |