Гость
Форумы / Oracle [игнор отключен] [закрыт для гостей] / 512 партиций по хэшу - много или мало? / 10 сообщений из 10, страница 1 из 1
05.08.2021, 16:19
    #40088949
giigro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
Привет,

В целях оптимизации запросов к таблице с 5B записей думаю разбить её на 512 партиций по хэш-функции от числового pk-поля (выполняются исключительно поиск по pk). В таблице 3 поля типа varchar2(50) и number.

Помогите пож-та понять: вообще 512 партиций - это норм или дба придёт отрывать руки?
...
Рейтинг: 0 / 0
05.08.2021, 16:36
    #40088957
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
За преждевременную оптимизацию - по-любому придёт.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
05.08.2021, 16:36
    #40088958
PuM256
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
giigro,

И зачем?
...
Рейтинг: 0 / 0
05.08.2021, 16:38
    #40088962
Stax
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
giigro,

Поиск по ПК, и я неуверен что есть смысл разбивать

.....
stax
...
Рейтинг: 0 / 0
05.08.2021, 16:50
    #40088965
giigro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
Stax
giigro,

Поиск по ПК, и я неуверен что есть смысл разбивать

.....
stax

Ай, блин, неверно сформулировал.
Там некое число, не pk. Из 5млрд записей уникальных чисел там примерно 10млн
...
Рейтинг: 0 / 0
05.08.2021, 17:42
    #40088978
кит северных морей
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
а сейчас вы таблицу фуллсканите, или что?
...
Рейтинг: 0 / 0
05.08.2021, 19:06
    #40089000
MazoHist
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
giigro

Там некое число, не pk. Из 5млрд записей уникальных чисел там примерно 10млн

500 на строку. Индекс такое вытянет запросто. Или там значительные перекосы?
...
Рейтинг: 0 / 0
06.08.2021, 00:19
    #40089039
giigro
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
MazoHist

500 на строку. Индекс такое вытянет запросто. Или там значительные перекосы?

Нет, значительных перекосов нет, зато есть интенсивный insert/delete. SLA по времени выдачи - пару десятков мс. Думаете, вытянет?
...
Рейтинг: 0 / 0
09.08.2021, 12:42
    #40089679
SQL*Plus
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
giigro
Stax
giigro,

Поиск по ПК, и я неуверен что есть смысл разбивать

.....
stax

Ай, блин, неверно сформулировал.
Там некое число, не pk. Из 5млрд записей уникальных чисел там примерно 10млн

Сделайте PARTITION BY RANGE.
Для начала 20 штук по 500 тысяч.
По мере накопления опыта будете их дробить-сливать.
...
Рейтинг: 0 / 0
15.08.2021, 13:06
    #40090875
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
512 партиций по хэшу - много или мало?
giigro
Помогите пож-та понять: вообще 512 партиций по хэш-функции от числового pk-поля - это норм или дба придёт отрывать руки?
Вообще всё зависит от сценариев использования - как типовых при работе приложения, так и административных (размещение на носителях, зачистка устаревших данных и т.д. и т.п.).
Для разных сочетаний сценариев показаны различные стратегии секционирования.
Потому, прежде чем "резать к чёртой матери не дожидаясь перитонита" (с) - определитесь вместе с dba какие конкретно преимущества собираетесь получить и не сломаете ли какой-нибудь относительно редко используемый функционал (пример: иногда забывают про годовую отчётность).
Само по себе уменьшение размера отдельного сегмента путем дробления одного большого на 512 помельче принципиальной разницы с точки зрения отбора данных по ключу не даст, если только не используется FTS.
А если есть запросы "по pk" вида between ... and ... - то для таких положение ухудшится.
Кроме того, для неудачных с т.з. размещения данных запросов (не по pk=:x) субд будет склонна генерировать планы с параллельным исполнением - убедитесь, что имеете достаточный запас CPU и умеете с такими планами работать.
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / 512 партиций по хэшу - много или мало? / 10 сообщений из 10, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]