Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Владислав Колосовего назначение MS как раз и определяет как "средство, позволяющее ускорить выполнения запросов при больших размерах таблиц" Поздравляю вас, соврамши. Нигде, никогда MS такого не обещала. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2019, 15:59 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
aleks222Владислав Колосовего назначение MS как раз и определяет как "средство, позволяющее ускорить выполнения запросов при больших размерах таблиц" Поздравляю вас, соврамши. Нигде, никогда MS такого не обещала.На некоторых сценариях, связанных со сканами, выигрыш все-таки есть. И этот выигрыш особенно ощутим, если можно при этом сэкономить на индексе. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2019, 16:06 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
автор ускорить выполнения запросов при больших размерах таблиц удалять хорошо, обслуживать индексы, иногда вставкоу разруливают.. В общем как и сказали это чисто административная штука, не для селектов :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2019, 16:07 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
aleks222, Вы сочиняете, а MS пишет в справке раздел Секционированные таблицы и индексы: Можно повысить скорость выполнения запросов в зависимости от запросов, которые часто выполняются в вашей конфигурации оборудования. Например, оптимизатор запросов может быстрее выполнять запросы на эквисоединение двух и более секционированных таблиц, если в этих таблицах одни и те же столбцы секционирования, потому что можно соединить сами секции. Замечу, что в другом случае, выигрыш производительности получаем при HASH JOIN соединении, т.к. запрос может просмотреть не весь объём данных, а только одну секцию при подборе строк для сравнения. В случае выбора SEEK стратегии разделение на секции не дает преимуществ. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2019, 17:45 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Владислав Колосовaleks222, Вы сочиняете, а MS пишет в справке раздел Секционированные таблицы и индексы: Можно повысить скорость выполнения запросов в зависимости от запросов, которые часто выполняются в вашей конфигурации оборудования. Например, оптимизатор запросов может быстрее выполнять запросы на эквисоединение двух и более секционированных таблиц, если в этих таблицах одни и те же столбцы секционирования, потому что можно соединить сами секции. Замечу, что в другом случае, выигрыш производительности получаем при HASH JOIN соединении, т.к. запрос может просмотреть не весь объём данных, а только одну секцию при подборе строк для сравнения. В случае выбора SEEK стратегии разделение на секции не дает преимуществ.По моему, диапазон кластерного индекса даст то же самое. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2019, 22:13 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
alexeyvgПо моему, диапазон кластерного индекса даст то же самое.Тут рассказывают про то, что в некоторых случаях можно секционированием избежать создания дополнительного индекса. Есть ситуации, когда сканить пару необольших секций терпимо, а делать индекс ради ускорения этого дофига накладно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 04.10.2019, 22:38 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Гавриленко Сергей АлексеевичalexeyvgПо моему, диапазон кластерного индекса даст то же самое.Тут рассказывают про то, что в некоторых случаях можно секционированием избежать создания дополнительного индекса. Есть ситуации, когда сканить пару необольших секций терпимо, а делать индекс ради ускорения этого дофига накладно.Так секционирование концептуально то же самое, что и кластерный индекс по тому же полю, что и поле секционирования. Индекс не дополнительный, а один, заменяющий секционирование. Для постоянной вставки в секции ещё можно увидеть преимущества секционирования, но для стабильных данных я их не вижу, будет такой же "скан пары небольших секций". Конечно, есть какие то совсем особые случаи, как описал Владислав Колосов, но это всё таки совсем редкость, на практике... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 05.10.2019, 00:48 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
invmRoust_mВот зашифрованный план по партицированной таблицеПокажите план для Код: sql 1. 2. 3. ЗЫ: Анонимайзер планов есть в SentryOne Plan Explorer Спасибо за подсказку, я предыдущий руками анонимизровал, прилагаю план. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 04:17 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
А вот такой же план по не партицированной таблице. Стоимость дерева похожа, а время выполнения все равно быстрее в не партицированной таблице. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 04:25 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Не знаю, как там у антиподов, в австралии. А в посконной завсегда поиск по ДВУМ полям ключа дольше, чем по одномую ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 06:27 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Roust_mСтоимость дерева похожа, а время выполнения все равно быстрее в не партицированной таблице.Стоимость - это большая условность, вычисляется исходя из, например, определённой скорости HDD. А время выполнения разных запросов может быть разная, что тут удивительного? Они даже разное количество строк возвращают. Хотя вроде бы смотрим разницу одинаковых запросов на одинаковых данных, и разница должна быть только в партицировании. Далее, если вы ищете по sid: Roust_minvmПокажите план для Код: sql 1. 2. 3. ЗЫ: Анонимайзер планов есть в SentryOne Plan Explorer Спасибо за подсказку, я предыдущий руками анонимизровал, прилагаю план.В плане написано INDEX(Column1) ... WHERE Column2=... AND Column3=... Это ошибка анонимайзера, или ваша? Вроде индекс должен быть по той же колонке, по которой вы ищите (то есть по sid)? И третье, вам уже писали, повторю ещё раз - если у вас есть индекс по полю, сервер идёт по этому дереву, достаёт записи, какое преимущество будет, если ему указать партицию? Он всё равно считает те страницы данных, которые нашёл. Если бы сервер понял, что выгоднее скан, поскольку селективность индекса низкая, то понятно, можно отсканить одну партицию, но если делается поиск, то почему вы ожидаете ускорение? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 08:15 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
alexeyvgRoust_mСтоимость дерева похожа, а время выполнения все равно быстрее в не партицированной таблице.Стоимость - это большая условность, вычисляется исходя из, например, определённой скорости HDD. А время выполнения разных запросов может быть разная, что тут удивительного? Они даже разное количество строк возвращают. Хотя вроде бы смотрим разницу одинаковых запросов на одинаковых данных, и разница должна быть только в партицировании. Далее, если вы ищете по sid: Roust_mпропущено... Спасибо за подсказку, я предыдущий руками анонимизровал, прилагаю план.В плане написано INDEX(Column1) ... WHERE Column2=... AND Column3=... Это ошибка анонимайзера, или ваша? Вроде индекс должен быть по той же колонке, по которой вы ищите (то есть по sid)? И третье, вам уже писали, повторю ещё раз - если у вас есть индекс по полю, сервер идёт по этому дереву, достаёт записи, какое преимущество будет, если ему указать партицию? Он всё равно считает те страницы данных, которые нашёл. Если бы сервер понял, что выгоднее скан, поскольку селективность индекса низкая, то понятно, можно отсканить одну партицию, но если делается поиск, то почему вы ожидаете ускорение? Это ошибка анонимайзера, на самом деле там и индекс и один из столбцов по sid. Я пытаюсь понять как можно сервер заставить сканировать одну партицию, или другим способом заставить запрос работать быстрее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 08:36 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Roust_mЯ пытаюсь понять как можно сервер заставить сканировать одну партицию, или другим способом заставить запрос работать быстрее.Что бы заставить сервер сканировать одну партицию, нужно убрать те индексы, которые позволяют серверу быстро получить данные. тогда сервер свалится в скан. Попробую объяснить ещё раз. Вот у вас есть индекс, там указано, что ваши данные находятся на диске в секторе № 123321 Сервер читает сектор 123321, готово! Далее, вы задаёте вопрос: "как можно сервер заставить сканировать одну партицию" Вы понимаете, что такой вопрос абсурден, в контексте задачи "прочитать сектор 123321"? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 08:57 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Roust_m, План со сканом секции банально дешевле плана с поиском в секции индекса. Стоимость плана с несекционированным индексом аналогична плану с секционированным. Можете ради интереса попробовать Код: sql 1. 2. 3. Учитывая, что у вас бета 2019-го сервера, не вижу смысла в дальнейших разбирательствах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 09:23 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
alexeyvgRoust_mЯ пытаюсь понять как можно сервер заставить сканировать одну партицию, или другим способом заставить запрос работать быстрее.Что бы заставить сервер сканировать одну партицию, нужно убрать те индексы, которые позволяют серверу быстро получить данные. тогда сервер свалится в скан. Попробую объяснить ещё раз. Вот у вас есть индекс, там указано, что ваши данные находятся на диске в секторе № 123321 Сервер читает сектор 123321, готово! Далее, вы задаёте вопрос: "как можно сервер заставить сканировать одну партицию" Вы понимаете, что такой вопрос абсурден, в контексте задачи "прочитать сектор 123321"? Ну контекст задачи немного шире. Еще одной целью партицирования было собрать все записи по одному и тому же студенту в одной партиции, вместо того, чтобы им быть разбросанными по всей таблице. У одного студента может быть несколько sid. Но pkey есть функция от id студента (st_id). В приложении этот запрос не единственный, поэтому задача заставить это запрос работать на секционированной таблице как можно быстрее. Это на не секционрованной таблице по этому запросу есть индекс где указано, что данные находятся в секторе № 123321. А на секционированной так не получется. Но поскольку секционирование в нашем случае нужно (IMHO), то приодится искать компромисы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 10:14 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
[quot Roust_m]alexeyvgЕще одной целью партицирования было собрать все записи по одному и тому же студенту в одной партиции, вместо того, чтобы им быть разбросанными по всей таблице. У одного студента может быть несколько sid. Но pkey есть функция от id студента (st_id). В приложении этот запрос не единственный, поэтому задача заставить это запрос работать на секционированной таблице как можно быстрее. ну так соберите их в индексе по pkey, если запросам это надо. одно ваше " Всего партиций 15000" заставляется задуматься о неоправданном оверхеде. вы же своей таблице добавили метаданных больше некуда, вместо 3 строк allocation units на таблицу типа inrow,row overflow, lob у вас их 45000. это не считая индексов, каждый из них еще столько же добавляет. все это добро надо каждый раз просматривать и оно отгрызет место в buffer pool. какое уж тут ускорение процесса... --- ну и у вас что, на каждого студента своя партиция? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 10:53 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
[quot Yasha123]Roust_mпропущено... ну так соберите их в индексе по pkey, если запросам это надо. одно ваше " Всего партиций 15000" заставляется задуматься о неоправданном оверхеде. вы же своей таблице добавили метаданных больше некуда, вместо 3 строк allocation units на таблицу типа inrow,row overflow, lob у вас их 45000. это не считая индексов, каждый из них еще столько же добавляет. все это добро надо каждый раз просматривать и оно отгрызет место в buffer pool. какое уж тут ускорение процесса... --- ну и у вас что, на каждого студента своя партиция? Нет, студентов всего около миллиона. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 14:09 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
а какой у вас объем таблицы в гигабайтах? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 14:50 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Roust_m Но поскольку секционирование в нашем случае нужно (IMHO), то приодится искать компромисы. Бред. Сам себе не может объяснить: нахера ему секционирование. А туда же. Создает трудности и героически их преодолевает. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 08.10.2019, 18:08 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Yasha123а какой у вас объем таблицы в гигабайтах? На данный момент, пока все еще в зачатаочном состоянии 10ГБ, но в среднесрочтной перспективе 1.5ТБ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 01:55 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
invmRoust_m, План со сканом секции банально дешевле плана с поиском в секции индекса. Стоимость плана с несекционированным индексом аналогична плану с секционированным. Можете ради интереса попробовать Код: sql 1. 2. 3. Учитывая, что у вас бета 2019-го сервера, не вижу смысла в дальнейших разбирательствах. Это Azure, я так понимаю, что Майкрософт тестирует на своих клиентах новые версии сиквела. У мне контроля над версией нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 01:57 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Roust_m, "Все татары кроме я." (с) Вы можете понятнее выражаться? Особенно на тему у кого там Azure случился? И очень интересно, когда вы сообщаете, что у вас контроля над версией нет. Вы уже готовитесь к тому, что вам MS SQL 4.2 раскатают? Или 7.0? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 02:13 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
aleks222Не знаю, как там у антиподов, в австралии. А в посконной завсегда поиск по ДВУМ полям ключа дольше, чем по одномуюAleks, я вот даже не знаю. Поиск по двум полям ключа индекса тупо быстрее, потому что поиск по одному, первому, полю ключа того того же индекса в лучшем случае будет плюс-минус так же, а в худшем приведет к Range-скану. А уж если мы говорим про разные индексы, то по тормознутости будет весьма сложно уделать поиск по индексу с одним ключом в 900 байт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 02:26 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
aleks222Roust_m Но поскольку секционирование в нашем случае нужно (IMHO), то приодится искать компромисы. Бред. Сам себе не может объяснить: нахера ему секционирование. А туда же. Создает трудности и героически их преодолевает. Ну хорошо, как тогда в терабайтной таблице данные искать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 02:34 |
|
||
|
Запрос к партицированной таблице и к обычной таблице
|
|||
|---|---|---|---|
|
#18+
Roust_mНу хорошо, как тогда в терабайтной таблице данные искать?Физическим оператором Index Seek. Для одного поиска вы запаритесь делать таблицу, для которой понадобится больше 7-8 чтений. Упомянутые мною выше индексы с 900-байтовыми ключами оставим за скобками. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 09.10.2019, 02:36 |
|
||
|
|

start [/forum/topic.php?fid=46&msg=39873694&tid=1687154]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
59ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
74ms |
get tp. blocked users: |
2ms |
| others: | 226ms |
| total: | 405ms |

| 0 / 0 |
