ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Сравнение loop join с hasj join
25 сообщений из 38, страница 1 из 2
  1  все
Сравнение loop join с hasj join
    #39576565
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
запрос с loop join
Код: sql
1.
2.
3.
4.
5.
select i.name,t.name from instruments i left loop join assettypes t on t.assettype_id = i.assettype_id option (force order,maxdop 1)/SRC]

результат statistics io:
[src]Table 'AssetTypes'.  Scan count 1, logical reads 101519, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'Instruments'. Scan count 1, logical reads    536, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.


3 последовательных результата statistics time:
Код: sql
1.
2.
3.
   CPU time = 297 ms,  elapsed time = 871 ms.
   CPU time = 422 ms,  elapsed time = 894 ms.
   CPU time = 391 ms,  elapsed time = 1030 ms.


запрос с hash join
Код: sql
1.
select i.name,t.name from instruments i left hash join assettypes t on t.assettype_id = i.assettype_id option (force order,maxdop 1)


результат statistics io:
Код: sql
1.
2.
3.
4.
Table 'Workfile'.    Scan count 0, logical reads 0,   physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'Worktable'.   Scan count 0, logical reads 0,   physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'AssetTypes'.  Scan count 1, logical reads 2,   physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
Table 'Instruments'. Scan count 1, logical reads 536, physical reads 0, read-ahead reads 0, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.


3 последовательных результата statistics time:
Код: sql
1.
2.
3.
   CPU time = 109 ms,  elapsed time = 1117 ms.
   CPU time = 109 ms,  elapsed time = 943 ms.
   CPU time = 109 ms,  elapsed time = 959 ms.



В таблице instruments 50759 строк.
В таблице assettypes 11 строк, столбец assettype_id - primary key clustered.

При loop join сканируется таблица instruments и для каждой ее строки считываются по две страницы таблицы assettypes - итого 101519 страницы.
Т.е. для loop join характерно малое значение CPU и большое значение Reads.
При hash join один раз считывается вся таблица assettypes (две страницы), создаетcя hash таблица, в которой прописывается hash ключ и RID строки.
Далее поиск в assettypes производится путем вычисления hash ключа, поиска в RID в hash таблице, и чтения нужной записи.
Т.е. для hash join характерно большее значение значение CPU по сравнению с loop, но меньшее значение Reads.

Однако приведенный пример свидетельстует об обратном: hash join выполняется медленнее и это при том, что кол-во чтений на порядки меньше чем при loop. И, как ни страано, использование CPU при hash три раза меньше, чем при loop.
Почему в этом случае hash медленне чем loop? И почему CPU при hash меньше чем при loop?
...
Рейтинг: 0 / 0
27.12.2017, 10:02
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576573
dao
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dao
Участник
вопрос чисто теоретический или таки какое-то реальное применение есть? ))
...
Рейтинг: 0 / 0
27.12.2017, 10:10
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576581
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
Вопрос возник из-за того, что теория расходится с практикой: кол-во чтений меньше, CPU меньше, а общее время выполнения больше.
Это я замерил и привел пример для опытного запроса на небольших таблицах. В реальных запросах, на больших таблицах - отличия очень существенны. Причем сам оптимизатор выбирает hash join, но при принудительном переводе на loop join время исполнения уменьшается, при том что Read (особенно) и CPU больше.
...
Рейтинг: 0 / 0
27.12.2017, 10:19
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576587
dao
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dao
Участник
таки вы запускали тесты друг за другом? ))
...
Рейтинг: 0 / 0
27.12.2017, 10:23
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576590
dao
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dao
Участник
и да вы уверены в своих хинтах?))
а то, то что у вас написано очень смахивает на попытку подогнать оптимизатор под, то что вы хотите от него получить, а не то он должен сделать.
...
Рейтинг: 0 / 0
27.12.2017, 10:26
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576621
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
Да, запускал друг за другом так, чтобы все данные были закешированы и исключить чтение с диска.
daoи да вы уверены в своих хинтах?))
а то, то что у вас написано очень смахивает на попытку подогнать оптимизатор под, то что вы хотите от него получить, а не то он должен сделать.
Абослютно верно. То, что "должен сделать" оптимизатор, на практике работает медленнее, чем "попытка подогнать оптимизатор под, то что я хоту от него получить".
Так почему при меньшем количестве Reads и CPU соединение с hash выполняется медленнее, чем loop?
...
Рейтинг: 0 / 0
27.12.2017, 10:56
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576629
Гигабайт Мегабайтович Килобайтов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гигабайт Мегабайтович Килобайтов
Участник
PrologДа, запускал друг за другом так, чтобы все данные были закешированы и исключить чтение с диска.
daoи да вы уверены в своих хинтах?))
а то, то что у вас написано очень смахивает на попытку подогнать оптимизатор под, то что вы хотите от него получить, а не то он должен сделать.
Абослютно верно. То, что "должен сделать" оптимизатор, на практике работает медленнее, чем "попытка подогнать оптимизатор под, то что я хоту от него получить".
Так почему при меньшем количестве Reads и CPU соединение с hash выполняется медленнее, чем loop?

знавал я одного товарисча - он нафигачит хинтов, а потом разбирайся почему банальнейший запрос вешает нехилый такой сервак ))
"А чо? сейчас то работает быстро! а если станет медленно я другие хинты понаставлю" ))

а теперь повангую - есть некий запрос ( несколько запросов такого типа) в большой процедуре , в котором в where есть условия типа ""(@var1 is null or fields1=@var1) and (@var2 is null or fields2=@var2) and ... и т.д." и вот вы хинтами пытаетесь данный запрос ускорить? ))
...
Рейтинг: 0 / 0
27.12.2017, 11:06
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576648
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
Гигабайт Мегабайтович Килобайтова теперь повангую - есть некий запрос ( несколько запросов такого типа) в большой процедуре , в котором в where есть условия типа ""(@var1 is null or fields1=@var1) and (@var2 is null or fields2=@var2) and ... и т.д." и вот вы хинтами пытаетесь данный запрос ускорить? ))
Такого нет.
Давайте не будем что-то предполагать, а обсуждать в рамках того запроса, который приведён в первом моем посте.
...
Рейтинг: 0 / 0
27.12.2017, 11:21
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576677
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
PrologГигабайт Мегабайтович Килобайтова теперь повангую - есть некий запрос ( несколько запросов такого типа) в большой процедуре , в котором в where есть условия типа ""(@var1 is null or fields1=@var1) and (@var2 is null or fields2=@var2) and ... и т.д." и вот вы хинтами пытаетесь данный запрос ускорить? ))
Такого нет.
Давайте не будем что-то предполагать, а обсуждать в рамках того запроса, который приведён в первом моем посте.

Дык, "для hash join характерно большее значение значение CPU по сравнению с loop, но меньшее значение Reads" - это сферическая истина в вакууме при размере таблиц, стремящемся к бесконечности.

У вас мелкие таблички в памяти.
Со всеми вытекающими.
...
Рейтинг: 0 / 0
27.12.2017, 11:45
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576684
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
Prolog hash join выполняется медленнее и это при том, что кол-во чтений на порядки меньше чем при loop. И, как ни страано, использование CPU при hash три раза меньше, чем при loop.
Почему в этом случае hash медленне чем loop? И почему CPU при hash меньше чем при loop?
Потому что CPU работает не с диском, а с оперативной памятью и с кэшем L3.
Посмотрите под отладчиком процесс MSSQL Server - и Вы увидите, как нерационально в данном конкретном случае идет работа с L3.
Вот почему.
...
Рейтинг: 0 / 0
27.12.2017, 11:49
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576699
dao
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dao
Участник
я не зря спросил в начале - это больше теоретический вопрос или практический.
Потому что с теоретической составляющей - такой вопрос можно повертеть. а с практической вопрос написан не правильно. Отсюда и сомнение в том вы понимаете все хинты которые стоят в данном запросе.
...
Рейтинг: 0 / 0
27.12.2017, 12:00
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576721
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
daoя не зря спросил в начале - это больше теоретический вопрос или практический.
Потому что с теоретической составляющей - такой вопрос можно повертеть. а с практической вопрос написан не правильно. Отсюда и сомнение в том вы понимаете все хинты которые стоят в данном запросе.
Напишите, как должен звучать правильно вопрос с практической стороны?
Хорошо, согласен, что не понимаю хинты, которые стоят в запросе. Объясните в чём моя ошибка? Что я не так понимаю?
...
Рейтинг: 0 / 0
27.12.2017, 12:35
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576725
aleks222
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
aleks222
Участник
Prolog Что я не так понимаю?
Самое главное: ХИНТЫ - АБСОЛЮТНОЕ ЗЛО.

ЗЫ.
Если вы можете не ставить хинты - не ставьте.
Если вы НЕ можете не ставить хинты - не ставьте, все равно.
...
Рейтинг: 0 / 0
27.12.2017, 12:39
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576736
dao
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dao
Участник
вам прям так надо вывести овер 50 к строк? чет очень сомневаюсь
скорей всего есть ещё какие-то условия.

но пускай запрос в лоб - обычный left join и без всяких option, ибо то что написано в option применительно для для данного запроса - чушь.
...
Рейтинг: 0 / 0
27.12.2017, 12:53
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576741
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
aleks222,
Из области: "Жизнь - абсолютное зло: в её результате наступает смерть".
Зачем-то хинты придумали, и с их помощью запросы работают быстрее. И это факт. Без хинтов и медленно - это абсолютное добро, с хинтами и быстро - это абсолютное зло. Может быть вы просто не умеете ими пользоваться?

Вопрос не про хинты. Вопрос про соединения: "Почему при меньшем количестве Reads и CPU соединение с hash выполняется медленнее, чем loop"? Хинты для того, чтобы получить статистику при разных типах соединений.
...
Рейтинг: 0 / 0
27.12.2017, 12:58
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576744
Cammomile
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cammomile
Участник
Код: sql
1.
2.
В таблице instruments 50759 строк.
В таблице assettypes 11 строк


авторinstruments i left loop join assettypes t
0_o
Если ты хинтуешь луп джойн, будь добр слева указать маленькую таблицу, а справа большую. Ну и заодно FORCE ORDER для надежности.
...
Рейтинг: 0 / 0
27.12.2017, 13:01
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576747
Добрый Э - Эх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Добрый Э - Эх
Гость
Prolog,

счас придет местный адепт сбора статистики и ребилда индексов и расскажет тебе, где ты неправ и как ускорить твой запрос....

З.Ы.
И тут я буду с ним согласен.... Ты уже статистику пересобрал? Индексы, адексатные твоим условиям отбора и соединения построил? Ничего не помогло? Пошел на крайние меры - использование хинтов?
...
Рейтинг: 0 / 0
27.12.2017, 13:03
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576753
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
daoвам прям так надо вывести овер 50 к строк ? чет очень сомневаюсь
скорей всего есть ещё какие-то условия.

но пускай запрос в лоб - обычный left join и без всяких option, ибо то что написано в option применительно для для данного запроса - чушь .

Теперь я понял: это вы не поняли о чём мой вопрос и всё время пытаетесь ответить на какой-то другой.

Тему закрываем. Считаю, что просто loop и hash
...
Рейтинг: 0 / 0
27.12.2017, 13:06
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576754
Prolog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Prolog
Участник
Тему закрываем. Считаю, что просто loop и hash работают как-то не так, как я предполагаю.
...
Рейтинг: 0 / 0
27.12.2017, 13:07
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576760
Добрый Э - Эх
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Добрый Э - Эх
Гость
Prolog,

давай тогда зайдем с другого конца.... покажи первоисточники, на основании которых ты сделал выводы об алгоритмах работы NL и HJ
...
Рейтинг: 0 / 0
27.12.2017, 13:14
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576766
Cammomile
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cammomile
Участник
Провел эксперимент.

Код: sql
1.
SELECT .. FROM Users #joint Tickets


в #USERS 4 записи
в Tickets 250 тысяч

users inner LOOP join 6 % от батча
users inner HASH join 94% от батча

HASH : Scan count 5, logical reads 6565 248 ms
LOOP: Scan count 4, logical reads 609 5ms

Чуда, к счастью, не произошло, всё работает как запланировано.
...
Рейтинг: 0 / 0
27.12.2017, 13:17
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576767
Cammomile
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Cammomile
Участник
aleks222Prolog Что я не так понимаю?
Самое главное: ХИНТЫ - АБСОЛЮТНОЕ ЗЛО.

Абсолютное зло не думать над тем, что делаешь. Хинты полезный, нужный, удобный инструмент, если применять с головой.
...
Рейтинг: 0 / 0
27.12.2017, 13:19
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576790
Гигабайт Мегабайтович Килобайтов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гигабайт Мегабайтович Килобайтов
Участник
Cammomilealeks222пропущено...

Самое главное: ХИНТЫ - АБСОЛЮТНОЕ ЗЛО.

Абсолютное зло не думать над тем, что делаешь. Хинты полезный, нужный, удобный инструмент, если применять с головой.
после лет 20 программирования - ты присоединишься к темной стороне )))
...
Рейтинг: 0 / 0
27.12.2017, 13:34
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576806
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
Гигабайт Мегабайтович КилобайтовCammomileпропущено...

Абсолютное зло не думать над тем, что делаешь. Хинты полезный, нужный, удобный инструмент, если применять с головой.
после лет 20 программирования - ты присоединишься к темной стороне )))
После того, как какой-нибудь падаван сделает with index, а затем магистр Йода у индекса таблицы disable сделает.
И выдаст сервер сообщение 315 , и не сделает ничего, руками в стороны разведя и вздохнув всеми CPU.
И присоединится наш коллега к ситхам, и пошлет Дарта Вейдера с отборным легионом вырезать все хинты из кода...
...
Рейтинг: 0 / 0
27.12.2017, 13:43
| Ответить | Цитировать | Написать  
Сравнение loop join с hasj join
    #39576812
dao
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dao
Участник
Prologdaoвам прям так надо вывести овер 50 к строк ? чет очень сомневаюсь
скорей всего есть ещё какие-то условия.

но пускай запрос в лоб - обычный left join и без всяких option, ибо то что написано в option применительно для для данного запроса - чушь .

Теперь я понял: это вы не поняли о чём мой вопрос и всё время пытаетесь ответить на какой-то другой.

Тему закрываем. Считаю, что просто loop и hash
я не пытаюсь ответить на другой вопрос - я пытаюсь понять зачем вы используете хинты .
...
Рейтинг: 0 / 0
27.12.2017, 13:47
| Ответить | Цитировать | Написать  
25 сообщений из 38, страница 1 из 2
  1  все
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Сравнение loop join с hasj join
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]