|
Действия ...
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
13.07.2021, 00:33
|
|||
|---|---|---|---|
|
|||
columnstore |
|||
|
#18+
Добрый день, коллеги! У меня у базы имеются columnstore индексы, каждый день добавляю новые запили или обновляю их путем удалением и записью новых данных (именно сначала удалю, а потом вставлю новые). Нужно мне каждый раз пересоздавать индексы или же их как то обновлять, что бы производительность не падала, до этого я не когда не использовал columnstore поэтому как правильно сделать ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.07.2021, 03:29
|
|||
|---|---|---|---|
columnstore |
|||
|
#18+
Начните сначала - на что жалуетесь? (Производительность обновления или запросов) Можете измерить? Далее поподробнее о вашей базе - версия сервера, колумнстор кластерный или нет, секционирован или нет. Я знаю только один способ обслуживания кластерного колумнстора: у каждой роугруппы в каждом столбце хранится минимум и максимум значения, стало быть сервер может пропускать данную группу Rowgroup Elimination если она заведомо не удовлетворяет запросу. К сожалению эта фишка зависит от физического расположения записей, перестройка индекса, удаление и пересоздание никак не помогают. Помогает только превращение колумнстора в обычный роустор (без замечательной компрессии), построение кластерного индекса и превращение в колумнстор обратно. Для большой таблицы это требует много места для данных и логов и времени. Поэтому гораздо лучше это проделывать для секций (партиций). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.07.2021, 13:18
|
|||
|---|---|---|---|
|
|||
columnstore |
|||
|
#18+
t00 Добрый день, коллеги! У меня у базы имеются columnstore индексы, каждый день добавляю новые запили или обновляю их путем удалением и записью новых данных (именно сначала удалю, а потом вставлю новые). Нужно мне каждый раз пересоздавать индексы или же их как то обновлять, что бы производительность не падала, до этого я не когда не использовал columnstore поэтому как правильно сделать ? Вы пишете "до этого я не когда не использовал ", загадочная фраза. Формально получается, что вы все-таки использовали их, но опасаетесь в этом признаться? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.07.2021, 13:37
|
|||
|---|---|---|---|
columnstore |
|||
|
#18+
t00, рекомендую ресурс Niko Neugebauer https://www.nikoport.com/2013/07/05/clustered-columnstore-indexes-part-1-intro/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.07.2021, 17:11
|
|||
|---|---|---|---|
columnstore |
|||
|
#18+
t00 Добрый день, коллеги! У меня у базы имеются columnstore индексы, каждый день добавляю новые запили или обновляю их путем удалением и записью новых данных (именно сначала удалю, а потом вставлю новые). Нужно мне каждый раз пересоздавать индексы или же их как то обновлять, что бы производительность не падала, до этого я не когда не использовал columnstore поэтому как правильно сделать ? Вопрос первый: какая версия ms sql? Вопрос второй: а сколько строк? 1) Удалять индексы не надо при небольшом числе строк. Это стоит делать если меняется большой процент данных. 2) Сначала удалить, потом вставить -- это хуже чем обновить, особенно если меняется лишь часть полей 3) Если строк много, то лучше таблицу партиционировать (по какому принципу и сколько строк в партиции решить надо вам) Колоночные индексы плохо обновляются при большом числе строк в партиции, но в 2016 это стало лучше ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.07.2021, 21:26
|
|||
|---|---|---|---|
columnstore |
|||
|
#18+
a_voronin 2) Сначала удалить, потом вставить -- это хуже чем обновить, особенно если меняется лишь часть полей чем хуже? https://www.nikoport.com/2014/03/17/clustered-columnstore-indexes-part-28-update-vs-delete-insert/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
15.07.2021, 13:41
|
|||
|---|---|---|---|
columnstore |
|||
|
#18+
komrad a_voronin 2) Сначала удалить, потом вставить -- это хуже чем обновить, особенно если меняется лишь часть полей чем хуже? https://www.nikoport.com/2014/03/17/clustered-columnstore-indexes-part-28-update-vs-delete-insert/ Специфический кейс -- обновление большей порции данных. Плюс у них delete + bulk insert , а не insert. И я бы попробовал повторить тот тест на 2016+ . Есть ещё обновление всей партиции, но тогда truncate partition / insert или insert / switch partition ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=46&mobile=1&tid=1684513]: |
0ms |
get settings: |
10ms |
get forum list: |
11ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
38ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
42ms |
get tp. blocked users: |
2ms |
| others: | 301ms |
| total: | 423ms |
| 0 / 0 |
