ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Сбор статистики и реорганизация
40 сообщений из 40, показаны все 2 страниц
  все  
Сбор статистики и реорганизация
    #38026862
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Доброго времени суток.

Подскажите, есть ли способ ускорить процесс сбора статистики и реорганизацию таблиц?
...
Рейтинг: 0 / 0
06.11.2012, 14:50
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38027111
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mark Barinstein
Гость
Loofi,

Здравствуйте.

По статистике:
Можно использовать (особенно для больших таблиц) в RUNSTATS предложения TABLESAMPLE для таблиц и SAMPLED DETAILED для индексов. См. описания этих опций по ссылке.

По реорганизации:
Можно использовать в REORG предложение CLEANUP ONLY. См. описание опции по ссылке.
Если версия ESE, можете рассмотреть возможность использования MDC или table partitioning и реорганизовывать раздел таблицы, а не всю таблицу целиком.
...
Рейтинг: 0 / 0
06.11.2012, 16:31
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38027133
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Спасибо, попробую
...
Рейтинг: 0 / 0
06.11.2012, 16:42
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38027907
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Loofi,

Можно также запускать обновление статистики и реорганизацию в окна минимальной активности пользователей.
...
Рейтинг: 0 / 0
07.11.2012, 09:45
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028006
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Andron,

не выйдет. Наши маньяки в субботу в 21:00 работать пытаются, не говоря уже про будние дни.
...
Рейтинг: 0 / 0
07.11.2012, 10:43
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028338
slix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
slix
Гость
LoofiAndron,

не выйдет. Наши маньяки в субботу в 21:00 работать пытаются, не говоря уже про будние дни.

Можно создать скрипты по реорганизации и сбору статистики. Запускать через планировщик задач в ночное время.
...
Рейтинг: 0 / 0
07.11.2012, 12:29
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028359
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
slix,

так и делаю. Но таблицы большие, много времени уходит, в ночное время не укладываюсь.
...
Рейтинг: 0 / 0
07.11.2012, 12:36
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028394
slix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
slix
Гость
Loofi,

К ПО не относится, но если есть возможность, закупите более быстрое дисковое пространство.
Ну и при таких раскладах, наверное, стоит подумать о разбиении базы.
Тоже проблемы с растущими базами имеются. Хотим разделить на архивную и оперативную БД.
...
Рейтинг: 0 / 0
07.11.2012, 12:48
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028548
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
slix,

дисковое пространство используем довольно-таки производительное, от netApp.

А в чём суть технологии разделения на архивную и оперативную БД, если не затруднит?
...
Рейтинг: 0 / 0
07.11.2012, 13:41
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028564
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Можно обойтись без скриптов: сделать AUTO_MAINT ON и AUTO_TBL_MAINT ON затем включить AUTO_RUNSTATS и AUTO_REORG. После этого достаточно будет определить окно самообслуживания в которое будут запускаться автоматические операции. Окно автоматического обслуживания проще всего определить в Центре управления > подкл к базе > контекстное меню на базе в левом окне > Конфигурировать автоматическое обслуживание > запускается мастер где устанавливаем необходимые параметры обслуживания.

Подробнее см. Автоматическое обслуживание таблиц в DB2
...
Рейтинг: 0 / 0
07.11.2012, 13:47
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38028791
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Andron,

я понял. Но система - продакшн, почти 24*7.
Автостатистика и автореорганизация в указаные промежутки времени игнорируют критичные таблицы.
...
Рейтинг: 0 / 0
07.11.2012, 15:19
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38029965
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CawaSPb
Участник
Loofi,

А какая редакция DB2?
На ESE можно подумать о разбиении таблицы на partition'ы и reorg'и по ним проводить индивидуально (на WSE можно до некоторой степени сэмулировать).
Также (если доступна фича) добавить сжатие. Многие большие таблицы жмутся очень хорошо. Реоргам, как и сбору статистики, это сильно поможет (если в CPU не упрётся).

Можно также поиграться с размерами страниц и тем, как записи в них пакуются (сжатие тут тоже сыграет свою положительную роль).


BTW А как данные вообще меняются? Наверное вообще с этого надо начинать.
Преимущественно добавляются или и добавляются, и удаляются (если да, то как, большими "блоками" или поодиночке); как часто апдейтятся (меняет ли это длину записи); как меняются индексируемые поля; можно ли выделить часть данных в таблице, используемую чаще других (отсюда вариант разбиения "текущие" данные - "архив"), и т.п.
...
Рейтинг: 0 / 0
08.11.2012, 12:11
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38030240
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
CawaSPb,

использую ese 9.7.4. В CPU не упрётся, ибо запас "прочности" имеется. Чтения больше чем записи, но и записи не мало. База сама не большая, 90 Гб. Есть проблемы с одной таблицей 13ГБ. Реорганизуется идёт 14 часов, потом столько же времени индексы реорганизует. В принципе, за выходные можно успеть все операции, но ползатели своей работой создают тупиковую ситуацию в ответственный момент. Соответственно, в понедельник вся база сияет лок вэйтами. Работа стоит — таблица реорганизуется.
...
Рейтинг: 0 / 0
08.11.2012, 14:05
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38030433
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CawaSPb
Участник
Loofi,

Ну, варианты тогда:
а) разбить на партишены и реорганизовывать их по отдельности.
Весьма вероятно, что и реорга при таком раскладе потребуют не все.

б) можно использовать такой хак как залоадить всю эту таблицу нафиг в другую, потом их подменить (есть ньюансы).


В обоих случаях сжатие может сильно пойти на пользу. Я бы рекомендовал где-либо проверить, насколько таблица жмётся, и при необходимости опцию сжатия докупить.
...
Рейтинг: 0 / 0
08.11.2012, 15:25
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38030591
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
CawaSPb,

вариант а) - мне не разрешат, вариант б) - как-то боязно.
...
Рейтинг: 0 / 0
08.11.2012, 16:34
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38030663
sysdummy1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sysdummy1
Гость
LoofiЕсть проблемы с одной таблицей 13ГБ. Реорганизуется идёт 14 часов, потом столько же времени индексы реорганизует.
Как-то мягко говоря не быстро для 13-ти ГБ.
А с нетапом точно все нормально ? На том же рейде, где база лежит паралельно никакой тяжелой нагрузки нет ?
...
Рейтинг: 0 / 0
08.11.2012, 16:55
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38030815
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
sysdummy1,

дык в этой же системе ещё 3 базы:256Мб,100ГБ и 210Гб. С нэтаппом всё хорошо. Если остальную нагрузку снять, то таблица реорганизуется за 7 часов.
...
Рейтинг: 0 / 0
08.11.2012, 18:06
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031048
const64+
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
const64+
Гость
LoofiCawaSPb,

использую ese 9.7.4. В CPU не упрётся, ибо запас "прочности" имеется. Чтения больше чем записи, но и записи не мало. База сама не большая, 90 Гб. Есть проблемы с одной таблицей 13ГБ. Реорганизуется идёт 14 часов, потом столько же времени индексы реорганизует. В принципе, за выходные можно успеть все операции, но ползатели своей работой создают тупиковую ситуацию в ответственный момент. Соответственно, в понедельник вся база сияет лок вэйтами. Работа стоит — таблица реорганизуется.
Насколько я понимаю, если табл. работает на select и insert реорганизация не есть жизненно необходимая операция, статистика важнее. А сколько выполняется обновление статистики? Может имеет смысл ограничиться только ею, а реорг оставить на новогодние праздники?
...
Рейтинг: 0 / 0
08.11.2012, 21:22
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031075
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
const64+,

суть такова: есть упомянутая таблица и ещё 2 маленькие связанные с ней (на этих двух процесс реорганизации таблицы, реорганизации индексов и сбор статистики проходит за 30 минут. Если в выходные их не реорганизовать, то в понедельник лучше вообще на работу не приходить.
Если таблица реорганизована - статистика собирается 9 минут, если нет - не знаю, ждал больше часа, не дождался вырубил.

P.S. найдётся чудо, которое под бой курантов залепит тупиковую ситуацию при реорге. Не на этой базе, так на другой. У меня баз мнооого.
...
Рейтинг: 0 / 0
08.11.2012, 22:39
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031106
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Интересная ситуация. Что 13, что 7 часов мне кажется многовато. Насколько я помню, у меня на SATA-дисках сопоставимое много быстрее.

Недостаточно информации, чтобы понять, почему потребовался reorg. В зависимости от ситуации можно было бы подумать о
* подборе правильных pctincrease и pctfree
* кластерном индексе, чтобы по возможности поддерживать порядок
* каком-то дополнительном индексе/индексах, с целью добиться index only access на критических запросах.

Компрессия - это хорошо.
...
Рейтинг: 0 / 0
09.11.2012, 00:13
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031181
const64
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
const64
Участник
Действительно, как-то странно... у меня есть табл. примерно такого объема - но для нее что реорг, что рунстатс выполняются минуты...
Вы можете провести эксперимент: сделайте копию БД где-нибудь в другом месте (на других дисках) и посмотрите сколько там займет это времени.

P.S. чтобы не мешали, можно перед реоргом либо QUIESCE сделать, ну, или, права отобрать у пользователей...
...
Рейтинг: 0 / 0
09.11.2012, 08:37
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031517
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Loofi,

Можете показать для вашей проблемной таблицы вывод команды db2pd -db имя_базы -tcbstats |grep имя_таблицы ?
...
Рейтинг: 0 / 0
09.11.2012, 12:17
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031598
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Andron,

0x000007F31FC130F8 2 6 n/a 2 6 R_COMPONENTS_VALUE DB2ADMIN Perm 3455523 0 0 0
0x000007F31FC130F8 R_COMPONENTS_VALUE DB2ADMIN 0 2053490 2053490 310 0 15291131 5599 355519 753 2816 391 41 0 0 0 - -

как-то так
...
Рейтинг: 0 / 0
09.11.2012, 12:55
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031766
Фотография Andron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andron
Участник
Inserts Updates Deletes
355519 753 2816

А сколько uptime базы с момента пред активации? Если достаточно большой то приведенная статистика по обновлениям данных говорит в пользу того что частая реорганизация таблицы не является сильно необходимой (кол-во insert по сравнению с update и delete достаточно большое). Насколько я понимаю именно большое число update и delete должно являтся поводом к частой реорганизации таблицы, а здесь не так.
...
Рейтинг: 0 / 0
09.11.2012, 13:55
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031810
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Andron,

uptime БД 3 часа
...
Рейтинг: 0 / 0
09.11.2012, 14:21
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38031861
slix
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
slix
Гость
http://pic.dhe.ibm.com/infocenter/db2luw/v9r7/index.jsp?topic=%2Fcom.ibm.db2.luw.admin.perf.doc%2Fdoc%2Fc0005406.html
 

The following factors can indicate a need for table reorganization:
There has been a high volume of insert, update, and delete activity against tables that are accessed by queries.
There have been significant changes in the performance of queries that use an index with a high cluster ratio.
Executing the RUNSTATS command to refresh table statistics does not improve performance.
Output from the REORGCHK command indicates a need for table reorganization.

Большое количество insert также будет приводить к необходимости реорганизации. Проще всего проверить нужна ли реорганизация командой REORGCHK в конце дня. На наших базах необходимость реорганизации показывает уже через пару часов работы.
...
Рейтинг: 0 / 0
09.11.2012, 14:46
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38032138
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
slixБольшое количество insert также будет приводить к необходимости реорганизации.
А почему (заодно заменим, кстати, "необходимость" на "пожелание")? Я знаю (в предположении, что количество удалений незначительно) только один вариант - желание поддерживать физический порядок.
...
Рейтинг: 0 / 0
09.11.2012, 16:44
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38033171
Semen Popov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Semen Popov
Участник
LoofiP.S. найдётся чудо, которое под бой курантов залепит тупиковую ситуацию при реорге. Не на этой базе, так на другой. У меня баз мнооого.
Loofi, я глушу WSAS на период проведения регламентных работ как раз на тот случай, чтобы не нашлось "чуда". Сначала выполнял реорганизацию и сбор статистики без остановки профилей WSAS, но затем по логам заметил, что при попытке работы пользователей создаются тупиковые ситуации. Мы даже закрепили время проведения регламентных работ с 20:00 до 06:00 официальным письмом, в котором запретили работать с приложением в указанное время. Но как последовало из практики находятся пользователи, которые работают и в 22:00 и до 6 утра. Поэтому не стал испытывать судьбу и просто останавливаю приложение.
...
Рейтинг: 0 / 0
10.11.2012, 21:16
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38033441
const64+
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
const64+
Гость
Все-таки, чтобы наверняка исключить железо (или наоборот) сделайте копию БД нf другом компьютере, и проверьте время выполнения reorg...
...
Рейтинг: 0 / 0
11.11.2012, 03:05
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38033509
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Semen Popov,

у нас тоже письмом закреплено с 17:00 субботы до 08:00 понедельника. Раньше все помнили, сейчас внезапно забыли. Прикручиваю stopServer по расписанию.
...
Рейтинг: 0 / 0
11.11.2012, 11:51
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38033511
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
const64+,

это - обязательно. Но сначала производительность на сервере приложений выровняю
...
Рейтинг: 0 / 0
11.11.2012, 11:55
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38034211
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CawaSPb
Участник
Loofi,

BTW А сколько идёт полный export таблицы в /dev/null на системе не под нагрузкой?
...
Рейтинг: 0 / 0
12.11.2012, 11:08
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38034477
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
CawaSPb,
эээ, там вындовс. Как на вындовсе в null перенаправлять?
...
Рейтинг: 0 / 0
12.11.2012, 13:12
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38034965
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
LoofiКак на вындовсе в null перенаправлять?Точно так же, как и юниксах:
Код: sql
1.
somecmd some args >nul 2>&1

Если не интересует вообще никакой вывод.
...
Рейтинг: 0 / 0
12.11.2012, 16:42
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38035447
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Basil A. Sidorov,
спасибо, не знал. Похоже на unix версию, но мало.

Как толькао появится возможность - сразу проведу опыт.
...
Рейтинг: 0 / 0
12.11.2012, 23:11
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38036197
CawaSPb
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
CawaSPb
Участник
Loofi,

Как уже было сказано - nul:

Код: sql
1.
export to nul of ixf select * from mytable;
...
Рейтинг: 0 / 0
13.11.2012, 13:37
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38046638
jna1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
jna1
Гость
Народ, а как насчет параметры db cfg подергать?
STAT_HEAP_SZ - размер кучи статистики
UTIL_HEAP_SZ - размер кучи утилит, если мне не изменяет память она влияет на производительность не только backup, load но и на перестроение индексов.
Эти параметры можно менять динамически.

т.е. выгоняем юзеров, меняем параметры - большие кучи для таблиц с большим количеством столбцов
db2 update db cfg for база using STAT_HEAP_SZ значение
собираем статистику, возвращаем все как было
...
Рейтинг: 0 / 0
21.11.2012, 11:51
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38050965
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
Вчера понадобилось экстренно перенести одну из баз на отдельную систему. параметры системы остались теже, но меньше ОЗУ(там где много БД 72ГБ, на ановой системе 32Гб). Параметры db и dbm одинаковые, за исключением instance_memory у dbm. Решил запустить свои скрипты reorg, stat, rbind. И заметил что самая первая таблица в скрипте реорганизовалась больше часа, и то на 50%, а раньше эта же таблица реорганизовалась за 20 минут.
Снял задачу, добавил ОЗУ, увеличил instance_memory до 64Гб. Реорганизация прошла за 20 минут. Видимо, всё таки, какой-то параметр в db или dbm, который стоит в автомате.
...
Рейтинг: 0 / 0
23.11.2012, 16:52
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38052438
Loofi
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Loofi
Гость
CawaSPb,

экспорт выполнялся 9 минут.
...
Рейтинг: 0 / 0
25.11.2012, 22:10
| Ответить | Цитировать | Написать  
Сбор статистики и реорганизация
    #38091583
m72
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
m72
Гость
db2 luw v9.5 fp4.
В этой версии должна выполняться
Код: sql
1.
db2pd -runstats

или нет ?
У меня опция runstats валидна только на 9.7, но в справке приводится как пример для 9.5.
...
Рейтинг: 0 / 0
25.12.2012, 11:13
| Ответить | Цитировать | Написать  
40 сообщений из 40, показаны все 2 страниц
  все  
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Сбор статистики и реорганизация
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]