ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Очень медленный load
15 сообщений из 15, страница 1 из 1
Очень медленный load
    #37978151
chuk_and_gek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chuk_and_gek
Гость
Добрый день!

Имеем: Sun . Стоит DB2 9.5
На сервере уже работают 2 БД.
Хотим подселить 3-ю БД где-то 20 гиг.
Так как переносим с SLES, то переносим используя db2move.
Так вот db2move load выполняется где-то 1 час 40 мин. Тестовый перенос на старом SLES сервере выполняется за 20 мин.
DB2_STRIPED_CONTAINERS=ON
DB2_PARALLEL_IO=*

Увеличили util_heap до максимума- не помогло.

Что может убыстрить выполнение LOAD?
...
Рейтинг: 0 / 0
01.10.2012, 11:47
| Ответить | Цитировать | Написать  
Очень медленный load
    #37978937
mustaccio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustaccio
Участник
"DB2_PARALLEL_IO=*" предполагает, что операции ввода/вывода распараллеливаются одновременно на шесть дисков, т.е. все контейнеры распределены по шести дискам (не считая диска четности). Это соответствует действительному положению вещей?
...
Рейтинг: 0 / 0
01.10.2012, 16:46
| Ответить | Цитировать | Написать  
Очень медленный load
    #37979543
chuk_and_gek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chuk_and_gek
Гость
Вот что у нас есть:
Есть дисковый массив EMC DMX800. В нем 30 дисков, на этих дисках страйпом по 512 килобайт создан том, на котором все и лежит. То есть все распределено по 30 дискам. Все диски в зеркале, никаких RAID 5 нет, соответственно и дисков четности нет. Всё в зеркале, то есть физических дисков 60. В массиве 4 гигабайта кэш-памяти которая включена и работает. Файлы базы данных находятся на файловой системе, файловая система находится на том самом томе, который размазан (stripe) по 30 дискам.
...
Рейтинг: 0 / 0
02.10.2012, 08:38
| Ответить | Цитировать | Написать  
Очень медленный load
    #37980110
mitek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mitek
Участник
LOAD читает с того же диска куда и пишет ?
Что показывают vmstat и iostat на солярке во время load ?
Если процы и диск не перегружены попробуйте увеличить параметры утилиты LOAD CPU_PARALLELISM и DISK_PARALLELISM

DB2_STRIPED_CONTAINERS вроде бы как давно unsupported.
...
Рейтинг: 0 / 0
02.10.2012, 13:33
| Ответить | Цитировать | Написать  
Очень медленный load
    #37980507
chuk_and_gek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chuk_and_gek
Гость
Все выполняем на одном диске.
iostat и vmstat - значения были нормальные(если нужны конкретные цифры- то в четверг выложу), DATA_BUFFER увеличивали.
Ничего не помогло.
И еще провели тест- просто скопировали файл 12 гиг .
На сервере с SLES - 6 мин
На Sun - 9 мин.
Ну т.е. диски помедленней, ну не в 3 раза же.
Во время лоада увеличили util-heap
Sles- сокращение время лоада в 2 раза
Sun- ничего не изменилось.
...
Рейтинг: 0 / 0
02.10.2012, 16:17
| Ответить | Цитировать | Написать  
Очень медленный load
    #37980517
mustaccio
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mustaccio
Участник
chuk_and_gekФайлы базы данных находятся на файловой системе, файловая система находится на том самом томе, который размазан (stripe) по 30 дискам.

Можно попробовать DB2_PARALLEL_IO=*:30 в такой ситуации, как мне кажется. Это повлияет на все БД. Также стоит установить extentsize для всех табличных пространств так, чтобы pagesize * extentsize было кратным размеру страйпа (512 КБ).
...
Рейтинг: 0 / 0
02.10.2012, 16:20
| Ответить | Цитировать | Написать  
Очень медленный load
    #37980781
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Как я помню, бывает ещё путаница в терминологии. В одних местах stripe - это "базовый" кусочек (на одном физическом диске), в другом это называется strip, а stripe состоит из нескольких strip'ов. Такие вещи приходится сверять. Положим второе - stripe состоит из strip'ов. Тогда в best practice'ах советовали один из двух подходов - либо не использовать db2_parallel_io, а делать extens size достаточно большой, чтобы он был равен одному или нескольким stripe, либо делать extent size равным strip'у и использовать-таки parallel_io. Для первого случая 30*512K кажется великоватым. Ещё интересно выравнивание, ведь, если файл (по-видимому, вместе с разделом) не окажется выровненным по strip'у (или stripe), это может серьёзно ухудшить I/O. Интересно было бы также понять, есть ли польза от blocked buffer pool'ов.
...
Рейтинг: 0 / 0
02.10.2012, 18:16
| Ответить | Цитировать | Написать  
Очень медленный load
    #37981014
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Ещё load нехило грузит процессор, и якобы слово anyorder в modified by может помочь распараллелить.
...
Рейтинг: 0 / 0
02.10.2012, 22:41
| Ответить | Цитировать | Написать  
Очень медленный load
    #37981963
Mark Barinstein
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Mark Barinstein
Гость
chuk_and_gek,

Здравствуйте.
Индексы есть на таблицу?
Если есть, сколько времени уходит на загрузку данных, сколько на построение индексов?
...
Рейтинг: 0 / 0
03.10.2012, 14:22
| Ответить | Цитировать | Написать  
Очень медленный load
    #37982934
chuk_and_gek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chuk_and_gek
Гость
Mark,
вот выдержка из msg самой большой таблицы:

SQL3104N The Export utility is beginning to export data to file "tab123.ixf".
SQL3105N The Export utility has finished exporting "22389967" rows.
SQL3501W The table space(s) in which the table resides will not be placed in
backup pending state since forward recovery is disabled for the database.
SQL3109N The utility is beginning to load data from file
"/common/database/db2/exp/igpg_exp/tab123.ixf".
SQL3500W The utility is beginning the "LOAD" phase at time "12.09.2012
12:53:39.833151".
SQL3150N The H record in the PC/IXF file has product "DB2 02.00", date
"20120906", and time "104504".
SQL3050W Conversions on the data will be made between the IXF file code page
"1251" and the application code page "915".
SQL3153N The T record in the PC/IXF file has name "tab123.ixf", qualifier "",
and source " ".
SQL3519W Begin Load Consistency Point. Input record count = "0".
SQL3520W Load Consistency Point was successful.
SQL3519W Begin Load Consistency Point. Input record count = "300041".
SQL3520W Load Consistency Point was successful.
SQL3519W Begin Load Consistency Point. Input record count = "600073".
SQL3520W Load Consistency Point was successful.

.........
SQL3519W Begin Load Consistency Point. Input record count = "22204766".
SQL3520W Load Consistency Point was successful.
SQL3110N The utility has completed processing. "22389967" rows were read
from the input file.
SQL3519W Begin Load Consistency Point. Input record count = "22389967".
SQL3520W Load Consistency Point was successful.
SQL3515W The utility has finished the "LOAD" phase at time "20.09.2012
12:23:08.975532".
SQL3500W The utility is beginning the "BUILD" phase at time "20.09.2012
12:23:08.976325".
SQL3213I The indexing mode is "REBUILD".
SQL3515W The utility has finished the "BUILD" phase at time "20.09.2012
12:31:53.448112".
...
Рейтинг: 0 / 0
04.10.2012, 08:58
| Ответить | Цитировать | Написать  
Очень медленный load
    #37983046
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
chuk_and_gek,

SQL3500W The utility is beginning the "LOAD" phase at time "12.09.2012 12:53:39.833151".
SQL3515W The utility has finished the "LOAD" phase at time "20.09.2012 12:23:08.975532".
SQL3500W The utility is beginning the "BUILD" phase at time "20.09.2012 12:23:08.976325".
SQL3515W The utility has finished the "BUILD" phase at time "20.09.2012 12:31:53.448112".

Это сильно.

SQL3050W Conversions on the data will be made between the IXF file code page "1251" and the application code page "915".

Это надо? Клиенты, подозреваю, были и остаются виндовые.
...
Рейтинг: 0 / 0
04.10.2012, 10:12
| Ответить | Цитировать | Написать  
Очень медленный load
    #37983057
chuk_and_gek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chuk_and_gek
Гость
На тестовом сервере (SLES11) идет та же конвертация- на скорости загрузки это не отражается.
...
Рейтинг: 0 / 0
04.10.2012, 10:18
| Ответить | Цитировать | Написать  
Очень медленный load
    #37983078
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Многие "открыли" для себя важность выравнивания, когда Western Digital выпустил первые диски с 4K-секторами. Старо-размеченные разделы, то есть по границам "цилиндрам", приводят на таких дисках к огромному падению производительности (по сравнению с правильно-размеченными, по границам 4K). "Выяснилось" также, что для флешек и SSD тоже надо учитывать эту проблему, только единицы размещения могут быть другого размера. Но ведь и с RAID'ом может быть то же самое (ибо нам полезно добиться, чтобы диски могли работать одновременно, что означает желательность чтения/записи кусков определённого размера с определённых смещений).
...
Рейтинг: 0 / 0
04.10.2012, 10:26
| Ответить | Цитировать | Написать  
Очень медленный load
    #37983083
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
SQL3500W The utility is beginning the "LOAD" phase at time "12.09.2012 12:53:39.833151".
SQL3515W The utility has finished the "LOAD" phase at time "20.09.2012 12:23:08.975532".
это не 1 час 40 минут.

Я не представляю, с какого железа и на какое вы переносите, но, хотя бы из общих соображений, загрузкой процессора тоже стоит поинтересоваться.
...
Рейтинг: 0 / 0
04.10.2012, 10:30
| Ответить | Цитировать | Написать  
Очень медленный load
    #37983171
chuk_and_gek
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
chuk_and_gek
Гость
SQL3500W The utility is beginning the "LOAD" phase at time "20.09.2012
11:09:20.383203".

SQL3515W The utility has finished the "BUILD" phase at time "20.09.2012
12:31:53.448112

поторопилась:) он же дописывает файл:)
...
Рейтинг: 0 / 0
04.10.2012, 11:15
| Ответить | Цитировать | Написать  
15 сообщений из 15, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Очень медленный load
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]