ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ускорить 20 однотипных запросов к одному источнику
14 сообщений из 14, страница 1 из 1
Ускорить 20 однотипных запросов к одному источнику
    #39840630
seperblunt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
seperblunt
Гость
Всем добрый день.

Есть большая таблица из которой в визуализацию (типа дашборда) вытаскиваются около 20 показателей. По сути это 20 маленьких запросов типа таких:

Код: sql
1.
2.
3.
4.
5.
SELECT И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Контрагент AS Контрагент,
SUM(И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Сумма) AS Сумма_SUM
FROM И_0c0d3b63_12b1_4d13_a603_8994723e47fe_5bd0f485_6a87_4b5b_9ca4_6bc0fae48b59_v2 AS И_0c0d3b63_12b1_4d13_a603_8994723e47fe
 WHERE (И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Номенклатура = 'Номенклатура.3a6b0749-9cd9-11e5-8a2f-005056c00008                                                                                                     ')
 GROUP BY И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Контрагент





Код: sql
1.
2.
3.
4.
SELECT И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Год AS Год
FROM И_0c0d3b63_12b1_4d13_a603_8994723e47fe_5bd0f485_6a87_4b5b_9ca4_6bc0fae48b59_v2 AS И_0c0d3b63_12b1_4d13_a603_8994723e47fe
 WHERE (И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Номенклатура = 'Номенклатура.3a6b0749-9cd9-11e5-8a2f-005056c00008                                                                                                     ')
 GROUP BY И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Год




Код: sql
1.
2.
3.
4.
SELECT И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Месяц AS Месяц
FROM И_0c0d3b63_12b1_4d13_a603_8994723e47fe_5bd0f485_6a87_4b5b_9ca4_6bc0fae48b59_v2 AS И_0c0d3b63_12b1_4d13_a603_8994723e47fe
 WHERE (И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Номенклатура = 'Номенклатура.3a6b0749-9cd9-11e5-8a2f-005056c00008                                                                                                     ')
 GROUP BY И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Месяц




Особенность в том что у них у всех одинаковый отбор. Т.е. юзер выбрал что то (наложил отбор) - все 20 визуализаций пересчитываются с учетом этого отбора.

клиент работает с ms sql через ADODB и на текущий момент это около 10 секунд (по 0.5 на каждую визуализацию).

Хотелось бы ускорить. прошу совета в какую сторону искать.

Пробовал:
1. разбить на несколько потоков выполнение этих запросиков - работает не понятно, то быстрее, то сервер "зависает" на догое время
2. выбрать сначала из большой таблицы данные во временную с учетом отбора и затем уже делать эти 20 запросов к этой временной. выигрыша по времени не дало.
...
Рейтинг: 0 / 0
23.07.2019, 16:47
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840661
PizzaPizza
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PizzaPizza
Участник
seperblunt
Код: sql
1.
2.
 WHERE (И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Номенклатура = 'Номенклатура.3a6b0749-9cd9-11e5-8a2f-005056c00008                                                                                                     ')
 GROUP BY И_0c0d3b63_12b1_4d13_a603_8994723e47fe.Год




[sarcasm]Очень приятно с рандомом разбираться....[/sarcasm]

Как минимум вам никто не запрещает объединить все эти запросы с помощью СТЕ/подзапросов. Там сервер сам разберется, нужно ли ему сканировать 20 раз вашу таблицу И_0c0d3b63_12b1_4d13_a603_8994723e47fe_5bd0f485_6a87_4b5b_9ca4_6bc0fae48b59_v2 AS И_0c0d3b63_12b1_4d13_a603_8994723e47fe

типа

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
with И_0c0d3b63_12b1_4d13_a603_8994723e47fe_5bd0f485_6a87_4b5b_9ca4_6bc0fae48b59_v_0c0d3b63_12b1_4d13_a603_8994723e47fe3_a603_8994723e47fe as a
(
SELECT что то там FROM b Where Номенклатура = Номенклатура
)

Select GROUP BY 
Select GROUP BY 
Select GROUP BY
...
Рейтинг: 0 / 0
23.07.2019, 18:11
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840666
Владислав Колосов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Владислав Колосов
Участник
seperblunt,

Одновременное выполнение будет зависеть от количества незадействованных ядер на момент выполнения запросов. Если каждый запрос распараллелится, то это тоже надо учитывать.

Кроме того, Вы номенклатурами заставляете формировать новый план для каждой номенклатуры, помещать его в кеш и так далее. Тоже накладные расходы. Поможет или план выполнения запросов, или, радикально, настроить для базы принудительное прослушивание, но это может иметь последствия.

Могут помочь колоночные индексы, поскольку используется группировка. Также оптимизация tempdb.
...
Рейтинг: 0 / 0
23.07.2019, 18:18
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840692
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
зависит от того где появится новое узкое горло в системе,
т.к. агрегация видна только в первом запросе то месяц и год похоже вообще
можно забрать без напряга если проиндексировано нормально (как уже указали выше)
или даже одним запросом а потом на клиенте разбить distinct из каждой колонны
(или получать вместе: год-месяц а потом бить на части)
или вообще вытащить грануляцию клиент/месяц/год - и всё на клиенте/приложении/сервисе
(SSRS/PowerBI/Excel/Access и т.д.) разделять если resultset не тяжелый..
или как советуют выше - получать несколько resultset-ов если клиент позволяет (а это не все)
т.е. зависит от возможностей приложения и прочих факторов (напр. вес разных комбинаций результата).

в общем балансировать к оптимальности в зависимости от нюансов
(которые читателям пока неизвестны)
так-то вариантов ещё несколько можно сгенерировать до кучи.
...
Рейтинг: 0 / 0
23.07.2019, 18:51
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840752
Фотография Mind
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mind
Участник
seperblunt,

Индексы есть? Планы смотрели?
...
Рейтинг: 0 / 0
23.07.2019, 23:34
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840795
uaggster
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
uaggster
Гость
А насколько быстро устаревают данные?
Может быть, проще сразу пересчитать все возможные варианты вывода (каждый час, при старте системы, раз в N минут), а пользователю выдавать данные из кэша?
Ну, или, например, сформировать некий долгоживущий полуагрегированный кэш, и данные таскать уже из него.

Пользователь большую часть времени - ничего не делает. Пока он ничего не делает - можно пересчитывать устаревшие варианты из списка выбора. Можно даже не для всех это делать, а для тех данных, для которых можно. Данные наверняка полустатичны.
...
Рейтинг: 0 / 0
24.07.2019, 09:59
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840798
Фотография Konst_One
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Konst_One
Участник
для дашборда, если только читаете из этой таблицы, может имеет смысл сделать нормальную таблицу с нужными индексами и человеческими названиями полей. заполняйте эту таблицу по мере добавления данных в основную (триггер, репликация, джоб и тд и тп) и пусть ваш клиент с ненагруженной оптимизированной для чтений таблицей работает
...
Рейтинг: 0 / 0
24.07.2019, 10:09
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39840810
iap
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iap
Участник
Что вам мешает использовать короткие алиасы?
Если есть открывающая скобка, то должна где-то быть закрывающая? Где закрывающая кавычка у строки?
Ерунда, мелочь, да?
...
Рейтинг: 0 / 0
24.07.2019, 10:26
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39841256
seperblunt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
seperblunt
Гость
iap, переместите горизонтальный скролл вправо - и там все будет
...
Рейтинг: 0 / 0
25.07.2019, 10:36
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39841339
seperblunt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
seperblunt
Гость
vikkivили как советуют выше - получать несколько resultset-ов если клиент позволяет (а это не все).

можно пжл подробнее? Клиент у меня 1С. подключаюсь к серверу через Adodb.connection.


Поставил PowerBI - засосал в него туже табличцу, настроил такие же визуализации - и стал смотреть через профайлер что будет делать при отборах - так вот он в принципе делает теже самые простые запросы, только распараллельвает их по 2 и более, в зависимости от кол-ва ядер (видимо?(
...
Рейтинг: 0 / 0
25.07.2019, 12:40
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39841355
iiyama
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iiyama
Участник
seperblunt,
Если Вы поставили PowerBi, то зачем делаете 20 запросов к одной и той же таблице и по одной и той же номенклатуре ?
Получите данные из таблицы и агрегируете в нужных Вам изменениях в PowerBI
...
Рейтинг: 0 / 0
25.07.2019, 13:06
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39841435
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
L_argo
Участник
Кто-то ярко постебался с такими именами объектов.

Я бы отказался работать с такой БД.
...
Рейтинг: 0 / 0
25.07.2019, 14:52
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39841487
seperblunt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
seperblunt
Гость
[quot L_argo]Кто-то ярко постебался с такими именами объектов.

это все генериться на лету автоматом, в т.ч. и создаются таблицы, поэтому имена имеют гуид
...
Рейтинг: 0 / 0
25.07.2019, 16:02
| Ответить | Цитировать | Написать  
Ускорить 20 однотипных запросов к одному источнику
    #39841581
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
seperbluntможно пжл подробнее? Клиент у меня 1С. подключаюсь к серверу через Adodb.connection.

как обеспечить выборку из основной таблицы за один проход уже советовали выше
(хоть из временной через # или @) в зависимости от объёмов
там-же и кэширование срабатывает..
получить несколько resultset по быстрому (без проверок/валидаций) в ADO можно например так: C#
Код: c#
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
using System;using ADO=System.Data.SqlClient;
class Test{static void Main(){
            string sv="Data Source=my_SQL_Server;Integrated Security=true";
            string qr="select top 5 name,column_id from sys.all_columns;select @@version as x";
            using (ADO.SqlConnection s=new ADO.SqlConnection(sv))
            {   ADO.SqlCommand c=new ADO.SqlCommand(qr,s);s.Open();
                ADO.SqlDataReader d=c.ExecuteReader();Console.WriteLine(s.State);
                Console.WriteLine("                   First result");
                while(d.Read()){Console.WriteLine("{0} {1}",d[1],d[0]);}
                d.NextResult();Console.WriteLine("                  Second result");
                while (d.Read()){Console.WriteLine(d[0]);}
                d.Close();s.Close();Console.ReadKey();}}}

или в PowerShell
Код: powershell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
using assembly System.Data;using namespace System.Data.SqlClient
$sv="Data Source=my_SQL_Server;Integrated Security=true";
$qr="select top 5 name,column_id from sys.all_columns;select @@version as x";
cls;$s=new-object SqlConnection($sv);$s.Open()
$c=new-object SQLCommand($qr,$s);$d=$c.ExecuteReader()
Write-host "        First Result" -BackgroundColor DarkGreen
while($d.Read()){write-host $d.GetValue(1) $d.GetValue(0)}
$d.NextResult();Write-host "        Second Result" -BackgroundColor DarkGreen
while($d.Read()){write-host $d.GetValue(0)};$d.Close();$s.Close();
Remove-Variable * -ea 0;$error.clear()
...
Рейтинг: 0 / 0
25.07.2019, 18:44
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Ускорить 20 однотипных запросов к одному источнику
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]