ReSQL.ru
     
powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / PDQ (паралелльные) запросы в Informix
15 сообщений из 15, страница 1 из 1
PDQ (паралелльные) запросы в Informix
    #35769893
savswsoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
savswsoft
Гость
Добрый день,
Есть запрос, который длится несколько часов и совершенно не жрет системных ресурсов. Его надо распораллелить.

Прочитал про PDQ: http://docs.rinet.ru/InforSmes/ch19/ch19.htm

Фактически, если я правильно понимаю, достаточно, добавить statement:

SET PDQPRIORITY 90;

Перед запросом, чтобы он стал параллельным.
Создал две процедуры для тестирования, одну как обычный запрос:


create procedure lsav.testquery()
UPDATE voucher SET voucherscenarioid =
( SELECT voucher.vouchercategoryid * 6 + subsprofile FROM actorRecharge
WHERE voucher.aliasname = actorRecharge.aliasname)
WHERE voucher.state = 61;
END PROCEDURE;



второй как запрос типа PDQ:

create procedure lsav.testpdq()
SET PDQPRIORITY 90;
UPDATE voucher SET voucherscenarioid =
( SELECT voucher.vouchercategoryid * 6 + subsprofile FROM actorRecharge
WHERE voucher.aliasname = actorRecharge.aliasname)
WHERE voucher.state = 61;
END PROCEDURE;



При запуске обоих процедур время тратится одинаковое. Во время запуска "testpdq" запустил монитор MGM:

onstat -g mgm



и вижу:

Queries: Active Ready Maximum
0 0 8
Т.е. фактически, мой запрос не выполняется как PDQ. Плиииз, подскажите почему. Что делаю не так?
...
Рейтинг: 0 / 0
21.01.2009, 16:30
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35770133
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Ваша процедура будет выполнятся с тем pdq который был установлен перед update statistics for procedure procname ;
...
Рейтинг: 0 / 0
21.01.2009, 17:32
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35770462
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
AndronВаша процедура будет выполнятся с тем pdq который был установлен перед update statistics for procedure procname ;
Но НЕ вздумайте установить PDQ во время выполнения update statistics for procedure (т.е. для ВСЕХ процедур)
...
Рейтинг: 0 / 0
21.01.2009, 20:08
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35770471
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
savswsoftДобрый день,
Есть запрос, который длится несколько часов и совершенно не жрет системных ресурсов. Его надо распораллелить.
Прочитал про PDQ: http://docs.rinet.ru/InforSmes/ch19/ch19.htm
Фактически, если я правильно понимаю, достаточно, добавить statement:
SET PDQPRIORITY 90;
...

А вы внимательно прочитали всю статью (по приведенной ссылке, хотя лучше читать непосредственно документацию по своей версии) ?
Там множество условий ЭФФЕКТИВНОЙ работы запросов в режиме PDQ.
И вовсе не факт, что ВСЕ или ЛЮБЫЕ запросы (или процедуры) станут работать быстрее....
...
Рейтинг: 0 / 0
21.01.2009, 20:11
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35771025
savswsoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
savswsoft
Гость
Пожалуйста, поправьте меня, если я понял не правильно:

Мне необходимо выполнить следующую последовательность действий:

1. Пересоздать заново процедуру
2. Установить SET PDQPRIORITY 90;
3. update statistics for procedure testquery;
4. Запустить процеду.

И если я правилно понял, то SET PDQPRIORITY 90; внутри процедуры не оказывает влияние на запрос... верно?
...
Рейтинг: 0 / 0
22.01.2009, 09:24
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35771033
savswsoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
savswsoft
Гость
Видимо что то понял не правильно, т.к. последовательность не изменила.
Я контролирую, что запрос - не является PDQ запросом - не потому, что он стал быстрее или медленнее работать, а потому, есть ли о нем информация, когда я запускаю:

onstat -g mgm
...
Рейтинг: 0 / 0
22.01.2009, 09:28
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35771040
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
savswsoftПожалуйста, поправьте меня, если я понял не правильно:

Мне необходимо выполнить следующую последовательность действий:

1. Пересоздать заново процедуру
2. Установить SET PDQPRIORITY 90;
3. update statistics for procedure testquery;
4. Запустить процеду.

И если я правилно понял, то SET PDQPRIORITY 90; внутри процедуры не оказывает влияние на запрос... верно?

1. PDQ настраивается в onconfig
2. Параллелятся операции seq-scan, чтение из нескольких фрагментов , sort, hash-join. Смотрите план вашего запроса, скорее всего там распараллеливать нечего.
...
Рейтинг: 0 / 0
22.01.2009, 09:31
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35771431
savswsoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
savswsoft
Гость
Журавлев ДенисsavswsoftПожалуйста, поправьте меня, если я понял не правильно:

Мне необходимо выполнить следующую последовательность действий:

1. Пересоздать заново процедуру
2. Установить SET PDQPRIORITY 90;
3. update statistics for procedure testquery;
4. Запустить процеду.

И если я правилно понял, то SET PDQPRIORITY 90; внутри процедуры не оказывает влияние на запрос... верно?

1. PDQ настраивается в onconfig
2. Параллелятся операции seq-scan, чтение из нескольких фрагментов , sort, hash-join. Смотрите план вашего запроса, скорее всего там распараллеливать нечего.

1. Ваши данные устарели.

Using Environment Variables and SQL Statements to Configure PDQ

An application can claim a PDQ priority by executing the SET PDQPRIORITY SQL statement, which supersedes the environment variable. Pre-7.0 versions of Informix DSA used the PDQPRIORITY configuration parameter. This was helpful when you wanted a global behavior of the PDQ priority parameter in your system. You can have the same functionality with the most recent versions of Informix DSA by setting the environment variable in a common resource file such as informix.rc or even in the system profile.

2. Что такое план запроса?? Что значит просмотреть его?
...
Рейтинг: 0 / 0
22.01.2009, 11:48
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35771501
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
В onconfig есть параметры (их можно покрутить динамически с помощью onmode)

Ставим например так
MAX_PDQPRIORITY 100 # Maximum allowed pdqpriority
DS_MAX_QUERIES 1 # Maximum number of decision support queries
DS_TOTAL_MEMORY 51200 # Decision support memory (Kbytes)
DS_MAX_SCANS 1048576 # Maximum number of decision support scans

Одновременно cможет выполняться 1 pdq запрос отожрет 100% pdqсилы, 50 метров озу


hintДля того чтобы запрос выполнялся с использованием PDQ необходимо выполнить SQL запрос "set pdqpriority 100". После этого выполняем наш DSS запрос и выключаем PDQ "set pdqpriority 1". Выключение необходимо т.к. для PDQ запроса сервер отводит специальные ограниченные ресурсы которые могут быть использованы в чужих DSS запросах, вот почему не следует использовать PDQ для OLTP запросов.
...
Рейтинг: 0 / 0
22.01.2009, 12:10
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35772058
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
Журавлев ДенисhintПосле этого выполняем наш DSS запрос и выключаем PDQ "set pdqpriority 1 ".

Может " 0 "?
...
Рейтинг: 0 / 0
22.01.2009, 15:46
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35772092
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
АнатоЛойЖуравлев ДенисhintПосле этого выполняем наш DSS запрос и выключаем PDQ "set pdqpriority 1 ".

Может " 0 "?может и 0, а может и 1. Раньше 1 имело какое-то магическое значение, типа pdq выключено, но индексы строим в параллели.

Я 8 лет назад писал доку для собственных программеров и эта вырезка из нее. И при 1 pdq выключалось.
В общем рекомендация моя была
Код: plaintext
1.
2.
3.
set pdqpriority 100
выполняем dss запрос
тут же выключаем set pdqpriority 1
выполняем oltp запросы


Теперь судя по докам там вообще

DEFAULT Uses the setting of the PDQPRIORITY environment variable
LOW Data values are fetched from fragmented tables in parallel. (In Dynamic Server, when you specify LOW, the database server uses no other forms of parallelism.)
OFF PDQ is turned off (Dynamic Server only). The database server uses no parallelism. OFF is the default if you use neither the PDQPRIORITY environment variable nor the SET PDQPRIORITY statement.
HIGH The database server determines an appropriate PDQPRIORITY value, based on factors that include the number of available processors, the fragmentation of the tables being queried, the complexity of the query, and others. IBM reserves the right to change the performance behavior of queries when HIGH is specified in future releases.
MUTABLE PDQPRIORITY can be changed in a user session by the user.
IMMUTABLE PDQPRIORITY cannot be changed in a user session.
...
Рейтинг: 0 / 0
22.01.2009, 15:59
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35773346
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
Журавлев Денисможет и 0, а может и 1. Раньше 1 имело какое-то магическое значение, типа pdq выключено, но индексы строим в параллели.
Индексы всегда строятся в параллели независимо ни от чего.
Вот из доки еще на 7-ку 10-и летней давности

Сортировка и PDQ
Если PSORT_NPROCS больше 1, сортировка выполняется в параллельном режиме независимо от значения, установленного переменной PDQPRIORITY. Однако, если PDQPRIORITY больше нуля, параллельные сортировки выполняются эффективнее, так как для этого отводится больше памяти и дополнительные сканирующие потоки могут потенциально также использоваться сортировкой.

Построение индексов и PDQ
П остроение индексов выполняется параллельно, независимо от того, какое значение присвоено переменной PDQPRIORITY. Однако построение индекса может выиграть от установки значения PDQPRIORITY больше нуля. PDQPRIORITY используется для определения максимального количества памяти, которое может быть использовано для сортировочной части построения индекса, наряду с определением максимального количества сканирующих потоков.

Построение индексов и PSORT_NPROCS
Сортировочная часть построения индекса будет распараллелена независимо от значения, присвоенного переменной PSORT_NPROCS. Если переменная PSORT_NPROCS не установлена, будет инициировано два сортирующих потока. Дополнительные сортирующие потоки, вплоть до максимума, равного 10, могут быть запущены в зависимости от значения PSORT_NPROCS.

А относительно "магической" 1, то и раньше и сейчас это просто включает параллельное сканирование фрагментов (если они есть, конечно :)
И последнее - The value 1 is the same as LOW, and 100 is the same as HIGH .
...
Рейтинг: 0 / 0
23.01.2009, 11:37
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35794908
savswsoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
savswsoft
Гость
Я уточню, главная моя задача была убедиться, что запрос стал параллельным. Инструмент, предназначенный для этого: "onstat -g mgm"
Так вот мой псевдо-PDQ запрос не видится этой тулзой.

Почему?
...
Рейтинг: 0 / 0
03.02.2009, 19:19
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35795017
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vasilis
Участник
savswsoftЯ уточню, главная моя задача была убедиться, что запрос стал параллельным. Инструмент, предназначенный для этого: "onstat -g mgm"
Так вот мой псевдо-PDQ запрос не видится этой тулзой.
Почему?
Потому что он таковым не является.
Причины ? - внимательно читайте предыдущие посты выше и рекомендованные материалы.
...
Рейтинг: 0 / 0
03.02.2009, 20:48
| Ответить | Цитировать | Написать  
PDQ (паралелльные) запросы в Informix
    #35795375
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журавлев Денис
Участник
savswsoftЯ уточню, главная моя задача была убедиться, что запрос стал параллельным. Инструмент, предназначенный для этого: "onstat -g mgm"
Так вот мой псевдо-PDQ запрос не видится этой тулзой.

Почему?покажите вывод команды onstat -c
...
Рейтинг: 0 / 0
04.02.2009, 08:45
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / PDQ (паралелльные) запросы в Informix
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=44&msg=35771431&tid=1607898]:
 0ms
get settings:
 9ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 39ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 311ms
total:  443ms
созд. / загр.: 443ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]