ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / IQ performance
6 сообщений из 6, страница 1 из 1
IQ performance
    #37827657
iq_test
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iq_test
Гость
Добрый день.

Делаю небольшой бенчмарк на сравнение производительности DB2 10.1 и Sybase IQ 15.4
Тестовая система SLES11 SP1 VM на VMWare vSphere 4.1 (8 vCPU + 24GB RAM), vmdk-файлы на одном датасторе
Тестовая таблица из 21-поля и 80 миллионов записей (4ГБ с компрессией) загружена в обе тестовые базы.

Простой теcтовый запрос на симуляцию фулскана :
Код: sql
1.
2.
3.
select CALMONTH, ZCITY, ZPRODUCT, ZSU_SDC, sum(SALES)
from dba.azsu3
group by CALMONTH, ZCITY, ZPRODUCT, ZSU_SDC



в IQ выполняется 40-42 секунды при большой нагрузке на CPU (я так понимаю, что много паралельных потоков).

стартап параметры IQ-сервера :
Код: html
1.
2.
User Parameters     : '-n' 'xxxx_testdb' 'testdb.db' '-iqmc' '2000' '-iqtc' '2000' '-iqnumbercpus' '2'
Default Parameters  : -c 48m -gc 20 -gd all -gl all -gm 10 -gp 4096 -ti 4400 -gn 25



При увеличении '-iqnumbercpus' сильно возрастает wait i/o вплоть до 90% при 8сpu (время выполнения при этом 71-73 сек.)

Тот же запрос в DB2 выполняется 31-32 сек. в один поток и 17-18 сек. в 2 потока при буферпуле в 320Мб.

Подскажите, плз, что и где еще можно подкрутить, чтобы улучшить результат IQ ?

C IQ знакомится только начал. Сейчас читаю Performance and Tuning Guide. Может есть какие-нибудь дополнительные особо полезные линки на эту тему ?
...
Рейтинг: 0 / 0
06.06.2012, 14:16
| Ответить | Цитировать | Написать  
IQ performance
    #37828427
moris
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
moris
Участник
Индексы. Индексы и еще раз индексы. Надо правильно их расставить.
Для начала используйте Index_Advisor для конкретного запроса


set temporary option Query_Name='query_plan';
set temporary option Query_Plan='ON';
set temporary option Query_Detail='ON';
set temporary option Query_Plan_After_Run='ON';
set temporary option Query_Plan_As_HTML='ON';
set temporary option Query_Plan_As_HTML_Directory=<ПУТЬ ДЛЯ полученных html планов, на машине где IQ работает>;
set temporary option Query_Timing='ON';
set temporary option Index_Advisor='ON';

после выполнения запроса, используйте рекомендации, а лучше документацию прочитать.
Если будут проблемы, выложите сюда полученный план (в html)
...
Рейтинг: 0 / 0
06.06.2012, 21:02
| Ответить | Цитировать | Написать  
IQ performance
    #37831071
iq_test
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
iq_test
Гость
morisИндексы. Индексы и еще раз индексы. Надо правильно их расставить.
Для начала используйте Index_Advisor для конкретного запроса (в html)
Спасибо. Index_Advisor сказал сделать LF или HG-индексы по всем полям в группировке и поребилдить колонки с опцией MINIMISE_STORAGE='ON'. После оных мероприятий запрос стал выполняться 13-14 сек. при -iqnumbercpu=2 и 5 сек. при -iqnumbercpu=8. При этом по мониторингу такое впечатление, что к дискам вообще не обращается :)
...
Рейтинг: 0 / 0
08.06.2012, 13:50
| Ответить | Цитировать | Написать  
IQ performance
    #37832353
Nashville
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nashville
Участник
Попробуйте создать индекс HNG на поле SALES.
...
Рейтинг: 0 / 0
09.06.2012, 10:32
| Ответить | Цитировать | Написать  
IQ performance
    #37833462
moris
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
moris
Участник
iq_test,
опция Minimize storage / свойство поля Unique - это оптимизация хранения - например когда поле City длиной char 20 - будет храниться в 1 байте или 2х байтах(в зависимости от кардинальности). Тем самым значительно уменьшая объем хранимых данных.
LF / HG индексы (в зависимости от кардинальности) рекомендуется для оптимизации Group by (и не только)

HNG- оптимизирует агрегации типа SUM (AVG ). Действительно попробуйте его для SALES. Может и подхватиться.. Если индекс HG/LF для Group by - не окажется дешевле в целом для запроса.
...
Рейтинг: 0 / 0
10.06.2012, 01:29
| Ответить | Цитировать | Написать  
IQ performance
    #37839981
_Dog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
_Dog
Участник
iq_test-iqmc' '2000' '-iqtc' '2000'
[/src]


С такими параметрами Вы используете только 4гб памяти из всех 24гб. Попробуйте -iqmc' '10000' '-iqtc' '12000'
...
Рейтинг: 0 / 0
15.06.2012, 16:45
| Ответить | Цитировать | Написать  
6 сообщений из 6, страница 1 из 1
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / IQ performance
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=55&msg=37839981&tid=2010113]:
 0ms
get settings:
 8ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 128ms
get topic data:
 8ms
get forum data:
 1ms
get page messages:
 41ms
get tp. blocked users:
 1ms
others: 13ms
total:  217ms
созд. / загр.: 217ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]