|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
Привет, В целях оптимизации запросов к таблице с 5B записей думаю разбить её на 512 партиций по хэш-функции от числового pk-поля (выполняются исключительно поиск по pk). В таблице 3 поля типа varchar2(50) и number. Помогите пож-та понять: вообще 512 партиций - это норм или дба придёт отрывать руки? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 16:19 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
За преждевременную оптимизацию - по-любому придёт. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 16:36 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
giigro, И зачем? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 16:36 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
giigro, Поиск по ПК, и я неуверен что есть смысл разбивать ..... stax ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 16:38 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
Stax giigro, Поиск по ПК, и я неуверен что есть смысл разбивать ..... stax Ай, блин, неверно сформулировал. Там некое число, не pk. Из 5млрд записей уникальных чисел там примерно 10млн ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 16:50 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
а сейчас вы таблицу фуллсканите, или что? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 17:42 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
giigro Там некое число, не pk. Из 5млрд записей уникальных чисел там примерно 10млн 500 на строку. Индекс такое вытянет запросто. Или там значительные перекосы? ... |
|||
:
Нравится:
Не нравится:
|
|||
05.08.2021, 19:06 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
MazoHist 500 на строку. Индекс такое вытянет запросто. Или там значительные перекосы? Нет, значительных перекосов нет, зато есть интенсивный insert/delete. SLA по времени выдачи - пару десятков мс. Думаете, вытянет? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.08.2021, 00:19 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
giigro Stax giigro, Поиск по ПК, и я неуверен что есть смысл разбивать ..... stax Ай, блин, неверно сформулировал. Там некое число, не pk. Из 5млрд записей уникальных чисел там примерно 10млн Сделайте PARTITION BY RANGE. Для начала 20 штук по 500 тысяч. По мере накопления опыта будете их дробить-сливать. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.08.2021, 12:42 |
|
512 партиций по хэшу - много или мало?
|
|||
---|---|---|---|
#18+
giigro Помогите пож-та понять: вообще 512 партиций по хэш-функции от числового pk-поля - это норм или дба придёт отрывать руки? Для разных сочетаний сценариев показаны различные стратегии секционирования. Потому, прежде чем "резать к чёртой матери не дожидаясь перитонита" (с) - определитесь вместе с dba какие конкретно преимущества собираетесь получить и не сломаете ли какой-нибудь относительно редко используемый функционал (пример: иногда забывают про годовую отчётность). Само по себе уменьшение размера отдельного сегмента путем дробления одного большого на 512 помельче принципиальной разницы с точки зрения отбора данных по ключу не даст, если только не используется FTS. А если есть запросы "по pk" вида between ... and ... - то для таких положение ухудшится. Кроме того, для неудачных с т.з. размещения данных запросов (не по pk=:x) субд будет склонна генерировать планы с параллельным исполнением - убедитесь, что имеете достаточный запас CPU и умеете с такими планами работать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.08.2021, 13:06 |
|
|
start [/forum/topic.php?fid=52&msg=40090875&tid=1879976]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
158ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
others: | 16ms |
total: | 260ms |
0 / 0 |