|
|
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov Чисто из любопытства: неужели у тебя в самом деле есть 10 миллиардов образцов и ты принятый пакет среди них ищешь?.. 10 точно нет, но до 1 млрд в пике может дойти ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 15:47 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
в среднем 100 млн, но пиковая нагрузка сжирает вся ОП ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 15:55 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
X11 каналы должны быть перманентно стабильными. Сколько будет стоить такой канал или несколько? Цену оборудования 10GBit ты и сам можешь посмотреть (есть и бюджетные решения и дорогие), а вопрос стабильности в интранете, обычно, не стоит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 16:09 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
cptngrbдо 1 млрд в пике может дойти И ты собрал статистику попадания чтобы утверждать, что распределение по этому миллиарду равномерно? Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 17:29 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov И ты собрал статистику попадания чтобы утверждать, что распределение по этому миллиарду равномерно? Вопрос равномерного распределения - это не более чем вопрос выбранной хэш-функции. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 17:31 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
Dimitry Sibiryakov, +/- равномерно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 17:47 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
rgreatЭто важно в контексте его вопроса? Да. Ему уже предлагали неиспользуемую часть словаря сбрасывать на диск. cptngrb+/- равномерно Какого размера ключ и какой процент пришедших фреймов удовлетворяет поиску? Если процент мал, а ключ велик, то можно в памяти держать только первые два-три уровня дерева, а остатки уже на диске. Это удержит высокую скорость переработки пакетов без пакости за счёт торможения подозрительных. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 18:36 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
cptngrb до 1 млрд в пике может дойти cptngrb в среднем 100 млн, но пиковая нагрузка сжирает вся ОП Что-то не сходится. У тебя ОЗУ должно закончится уже на ~310 млн (а то и раньше). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 18:40 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
из 56 135 545 элементов найдено соответствий 51 745 976. Значит 92% используются сразу. Что сбрасывать на диск? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 18:40 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
cptngrbЧто сбрасывать на диск? Всё. Оставить только то, что позволяет сразу сказать "пакет ок". Это в случае если "ок" пакетов процентов 98. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 18:53 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
Kazantsev Alexey, 394 млн элементов в 50 ГБ укладывается, если без фантиков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.02.2020, 19:40 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
В любом случае вне зависимости от инструмента можно также попробовать TValue подсократить. Например, две TDateTime занимают 16 байт, но какой диапазон из них нужен? Если его можно уложить в 4 байта, можно сэкономить 8 байт. А если объявить запись packed, то также сэкономить на выравнивании. В сумме вместо 40 байт TValue съеживается до 26, что при миллиарде значений дает экономию в 14 Гб. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2020, 10:38 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
Василий 2, TDateTime можно и сократить до 4 байт, а вот о packet говорят производительность страдает, но можно потестить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2020, 11:27 |
|
||
|
Очень большой TDictionary
|
|||
|---|---|---|---|
|
#18+
cptngrb Василий 2, TDateTime можно и сократить до 4 байт, а вот о packet говорят производительность страдает, но можно потестить Отсюда не видно, как там у вас сравнение происходит, тч тестить не просто можно, а даже нужно. Тем более что это наипростейшая оптимизация (добавить всего одно слово + ребилд) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.02.2020, 14:28 |
|
||
|
|
start [/forum/topic.php?fid=58&msg=39930267&tid=2038553]: |
0ms |
get settings: |
11ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
54ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
47ms |
get tp. blocked users: |
1ms |
| others: | 269ms |
| total: | 413ms |
| 0 / 0 |
