powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Запрос к партицированной таблице и к обычной таблице
25 сообщений из 54, страница 2 из 3
Запрос к партицированной таблице и к обычной таблице
    #39871738
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владислав Колосовего назначение MS как раз и определяет как "средство, позволяющее ускорить выполнения запросов при больших размерах таблиц"
Поздравляю вас, соврамши.
Нигде, никогда MS такого не обещала.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39871741
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
aleks222Владислав Колосовего назначение MS как раз и определяет как "средство, позволяющее ускорить выполнения запросов при больших размерах таблиц"
Поздравляю вас, соврамши.
Нигде, никогда MS такого не обещала.На некоторых сценариях, связанных со сканами, выигрыш все-таки есть. И этот выигрыш особенно ощутим, если можно при этом сэкономить на индексе.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39871742
TaPaK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автор ускорить выполнения запросов при больших размерах таблиц

удалять хорошо, обслуживать индексы, иногда вставкоу разруливают.. В общем как и сказали это чисто административная штука, не для селектов :)
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39871815
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
aleks222,

Вы сочиняете, а MS пишет в справке раздел Секционированные таблицы и индексы: Можно повысить скорость выполнения запросов в зависимости от запросов, которые часто выполняются в вашей конфигурации оборудования. Например, оптимизатор запросов может быстрее выполнять запросы на эквисоединение двух и более секционированных таблиц, если в этих таблицах одни и те же столбцы секционирования, потому что можно соединить сами секции.

Замечу, что в другом случае, выигрыш производительности получаем при HASH JOIN соединении, т.к. запрос может просмотреть не весь объём данных, а только одну секцию при подборе строк для сравнения.

В случае выбора SEEK стратегии разделение на секции не дает преимуществ.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39871920
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владислав Колосовaleks222,

Вы сочиняете, а MS пишет в справке раздел Секционированные таблицы и индексы: Можно повысить скорость выполнения запросов в зависимости от запросов, которые часто выполняются в вашей конфигурации оборудования. Например, оптимизатор запросов может быстрее выполнять запросы на эквисоединение двух и более секционированных таблиц, если в этих таблицах одни и те же столбцы секционирования, потому что можно соединить сами секции.

Замечу, что в другом случае, выигрыш производительности получаем при HASH JOIN соединении, т.к. запрос может просмотреть не весь объём данных, а только одну секцию при подборе строк для сравнения.

В случае выбора SEEK стратегии разделение на секции не дает преимуществ.По моему, диапазон кластерного индекса даст то же самое.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39871933
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgПо моему, диапазон кластерного индекса даст то же самое.Тут рассказывают про то, что в некоторых случаях можно секционированием избежать создания дополнительного индекса. Есть ситуации, когда сканить пару необольших секций терпимо, а делать индекс ради ускорения этого дофига накладно.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39871956
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гавриленко Сергей АлексеевичalexeyvgПо моему, диапазон кластерного индекса даст то же самое.Тут рассказывают про то, что в некоторых случаях можно секционированием избежать создания дополнительного индекса. Есть ситуации, когда сканить пару необольших секций терпимо, а делать индекс ради ускорения этого дофига накладно.Так секционирование концептуально то же самое, что и кластерный индекс по тому же полю, что и поле секционирования. Индекс не дополнительный, а один, заменяющий секционирование.
Для постоянной вставки в секции ещё можно увидеть преимущества секционирования, но для стабильных данных я их не вижу, будет такой же "скан пары небольших секций".

Конечно, есть какие то совсем особые случаи, как описал Владислав Колосов, но это всё таки совсем редкость, на практике...
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873091
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
invmRoust_mВот зашифрованный план по партицированной таблицеПокажите план для
Код: sql
1.
2.
3.
select * from mypartitionedtable with (index = IX_mypartitionedtable_sid)
where sid = ... and pkey = ...
option (maxdop 1)



ЗЫ: Анонимайзер планов есть в SentryOne Plan Explorer

Спасибо за подсказку, я предыдущий руками анонимизровал, прилагаю план.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873092
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А вот такой же план по не партицированной таблице. Стоимость дерева похожа, а время выполнения все равно быстрее в не партицированной таблице.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873098
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не знаю, как там у антиподов, в австралии.
А в посконной завсегда поиск по ДВУМ полям ключа дольше, чем по одномую
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873122
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roust_mСтоимость дерева похожа, а время выполнения все равно быстрее в не партицированной таблице.Стоимость - это большая условность, вычисляется исходя из, например, определённой скорости HDD.

А время выполнения разных запросов может быть разная, что тут удивительного?
Они даже разное количество строк возвращают. Хотя вроде бы смотрим разницу одинаковых запросов на одинаковых данных, и разница должна быть только в партицировании.

Далее, если вы ищете по sid:
Roust_minvmПокажите план для
Код: sql
1.
2.
3.
select * from mypartitionedtable with (index = IX_mypartitionedtable_sid)
where sid = ... and pkey = ...
option (maxdop 1)


ЗЫ: Анонимайзер планов есть в SentryOne Plan Explorer
Спасибо за подсказку, я предыдущий руками анонимизровал, прилагаю план.В плане написано INDEX(Column1) ... WHERE Column2=... AND Column3=...
Это ошибка анонимайзера, или ваша? Вроде индекс должен быть по той же колонке, по которой вы ищите (то есть по sid)?



И третье, вам уже писали, повторю ещё раз - если у вас есть индекс по полю, сервер идёт по этому дереву, достаёт записи, какое преимущество будет, если ему указать партицию?

Он всё равно считает те страницы данных, которые нашёл.

Если бы сервер понял, что выгоднее скан, поскольку селективность индекса низкая, то понятно, можно отсканить одну партицию, но если делается поиск, то почему вы ожидаете ускорение?
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873131
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgRoust_mСтоимость дерева похожа, а время выполнения все равно быстрее в не партицированной таблице.Стоимость - это большая условность, вычисляется исходя из, например, определённой скорости HDD.

А время выполнения разных запросов может быть разная, что тут удивительного?
Они даже разное количество строк возвращают. Хотя вроде бы смотрим разницу одинаковых запросов на одинаковых данных, и разница должна быть только в партицировании.

Далее, если вы ищете по sid:
Roust_mпропущено...

Спасибо за подсказку, я предыдущий руками анонимизровал, прилагаю план.В плане написано INDEX(Column1) ... WHERE Column2=... AND Column3=...
Это ошибка анонимайзера, или ваша? Вроде индекс должен быть по той же колонке, по которой вы ищите (то есть по sid)?



И третье, вам уже писали, повторю ещё раз - если у вас есть индекс по полю, сервер идёт по этому дереву, достаёт записи, какое преимущество будет, если ему указать партицию?

Он всё равно считает те страницы данных, которые нашёл.

Если бы сервер понял, что выгоднее скан, поскольку селективность индекса низкая, то понятно, можно отсканить одну партицию, но если делается поиск, то почему вы ожидаете ускорение?

Это ошибка анонимайзера, на самом деле там и индекс и один из столбцов по sid.

Я пытаюсь понять как можно сервер заставить сканировать одну партицию, или другим способом заставить запрос работать быстрее.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873146
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roust_mЯ пытаюсь понять как можно сервер заставить сканировать одну партицию, или другим способом заставить запрос работать быстрее.Что бы заставить сервер сканировать одну партицию, нужно убрать те индексы, которые позволяют серверу быстро получить данные. тогда сервер свалится в скан.

Попробую объяснить ещё раз.

Вот у вас есть индекс, там указано, что ваши данные находятся на диске в секторе № 123321
Сервер читает сектор 123321, готово!

Далее, вы задаёте вопрос: "как можно сервер заставить сканировать одну партицию"

Вы понимаете, что такой вопрос абсурден, в контексте задачи "прочитать сектор 123321"?
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873160
invm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roust_m,

План со сканом секции банально дешевле плана с поиском в секции индекса.
Стоимость плана с несекционированным индексом аналогична плану с секционированным.

Можете ради интереса попробовать
Код: sql
1.
2.
3.
select * from mypartitionedtable 
where sid = ... and pkey = ...
option (maxdop 1, use hint('FORCE_LEGACY_CARDINALITY_ESTIMATION'))



Учитывая, что у вас бета 2019-го сервера, не вижу смысла в дальнейших разбирательствах.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873178
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexeyvgRoust_mЯ пытаюсь понять как можно сервер заставить сканировать одну партицию, или другим способом заставить запрос работать быстрее.Что бы заставить сервер сканировать одну партицию, нужно убрать те индексы, которые позволяют серверу быстро получить данные. тогда сервер свалится в скан.

Попробую объяснить ещё раз.

Вот у вас есть индекс, там указано, что ваши данные находятся на диске в секторе № 123321
Сервер читает сектор 123321, готово!

Далее, вы задаёте вопрос: "как можно сервер заставить сканировать одну партицию"

Вы понимаете, что такой вопрос абсурден, в контексте задачи "прочитать сектор 123321"?

Ну контекст задачи немного шире. Еще одной целью партицирования было собрать все записи по одному и тому же студенту в одной партиции, вместо того, чтобы им быть разбросанными по всей таблице. У одного студента может быть несколько sid. Но pkey есть функция от id студента (st_id). В приложении этот запрос не единственный, поэтому задача заставить это запрос работать на секционированной таблице как можно быстрее. Это на не секционрованной таблице по этому запросу есть индекс где указано, что данные находятся в секторе № 123321. А на секционированной так не получется. Но поскольку секционирование в нашем случае нужно (IMHO), то приодится искать компромисы.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873211
Фотография Yasha123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Roust_m]alexeyvgЕще одной целью партицирования было собрать все записи по одному и тому же студенту в одной партиции, вместо того, чтобы им быть разбросанными по всей таблице. У одного студента может быть несколько sid. Но pkey есть функция от id студента (st_id). В приложении этот запрос не единственный, поэтому задача заставить это запрос работать на секционированной таблице как можно быстрее.
ну так соберите их в индексе по pkey,
если запросам это надо.

одно ваше " Всего партиций 15000" заставляется задуматься о неоправданном оверхеде.
вы же своей таблице добавили метаданных больше некуда,
вместо 3 строк allocation units на таблицу типа inrow,row overflow, lob
у вас их 45000.
это не считая индексов, каждый из них еще столько же добавляет.
все это добро надо каждый раз просматривать и оно отгрызет место в buffer pool.
какое уж тут ускорение процесса...
---
ну и у вас что, на каждого студента своя партиция?
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873355
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Yasha123]Roust_mпропущено...

ну так соберите их в индексе по pkey,
если запросам это надо.

одно ваше " Всего партиций 15000" заставляется задуматься о неоправданном оверхеде.
вы же своей таблице добавили метаданных больше некуда,
вместо 3 строк allocation units на таблицу типа inrow,row overflow, lob
у вас их 45000.
это не считая индексов, каждый из них еще столько же добавляет.
все это добро надо каждый раз просматривать и оно отгрызет место в buffer pool.
какое уж тут ускорение процесса...
---
ну и у вас что, на каждого студента своя партиция?

Нет, студентов всего около миллиона.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873399
Фотография Yasha123
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а какой у вас объем таблицы в гигабайтах?
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873550
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roust_m Но поскольку секционирование в нашем случае нужно (IMHO), то приодится искать компромисы.
Бред.
Сам себе не может объяснить: нахера ему секционирование.
А туда же.
Создает трудности и героически их преодолевает.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873691
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Yasha123а какой у вас объем таблицы в гигабайтах?

На данный момент, пока все еще в зачатаочном состоянии 10ГБ, но в среднесрочтной перспективе 1.5ТБ
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873693
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
invmRoust_m,

План со сканом секции банально дешевле плана с поиском в секции индекса.
Стоимость плана с несекционированным индексом аналогична плану с секционированным.

Можете ради интереса попробовать
Код: sql
1.
2.
3.
select * from mypartitionedtable 
where sid = ... and pkey = ...
option (maxdop 1, use hint('FORCE_LEGACY_CARDINALITY_ESTIMATION'))



Учитывая, что у вас бета 2019-го сервера, не вижу смысла в дальнейших разбирательствах.

Это Azure, я так понимаю, что Майкрософт тестирует на своих клиентах новые версии сиквела. У мне контроля над версией нет.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873694
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roust_m,

"Все татары кроме я." (с)

Вы можете понятнее выражаться?
Особенно на тему у кого там Azure случился?
И очень интересно, когда вы сообщаете, что у вас контроля над версией нет. Вы уже готовитесь к тому, что вам MS SQL 4.2 раскатают? Или 7.0?
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873695
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
aleks222Не знаю, как там у антиподов, в австралии.
А в посконной завсегда поиск по ДВУМ полям ключа дольше, чем по одномуюAleks, я вот даже не знаю. Поиск по двум полям ключа индекса тупо быстрее, потому что поиск по одному, первому, полю ключа того того же индекса в лучшем случае будет плюс-минус так же, а в худшем приведет к Range-скану. А уж если мы говорим про разные индексы, то по тормознутости будет весьма сложно уделать поиск по индексу с одним ключом в 900 байт.
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873696
Фотография Roust_m
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
aleks222Roust_m Но поскольку секционирование в нашем случае нужно (IMHO), то приодится искать компромисы.
Бред.
Сам себе не может объяснить: нахера ему секционирование.
А туда же.
Создает трудности и героически их преодолевает.

Ну хорошо, как тогда в терабайтной таблице данные искать?
...
Рейтинг: 0 / 0
Запрос к партицированной таблице и к обычной таблице
    #39873698
Гавриленко Сергей Алексеевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Roust_mНу хорошо, как тогда в терабайтной таблице данные искать?Физическим оператором Index Seek. Для одного поиска вы запаритесь делать таблицу, для которой понадобится больше 7-8 чтений. Упомянутые мною выше индексы с 900-байтовыми ключами оставим за скобками.
...
Рейтинг: 0 / 0
25 сообщений из 54, страница 2 из 3
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Запрос к партицированной таблице и к обычной таблице
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]