powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Informix [игнор отключен] [закрыт для гостей] / Актуальность рекомендаций о разделении пространств по разным дискам.
25 сообщений из 63, страница 1 из 3
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36166696
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день. Хотелось бы обсудить такую тему - насколько актуальны рекомендации по разнесению отдельных пространств Informix по разным жестким дискам компьютера в аспекте того что современные рейд-контроллеры значительно лучше обеспечивают работу в рамках рейд-массивов чем с отдельными дисками?
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36166752
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Все относительно.
Если есть конкретные рекомендации и конкретные условия (железо и характеристики нагрузки системы) то их можно обсудить.
А если абстрактно - особого смысла нет. И рекомендации разные (даны в разное время и для различных систем) и рейд-массивы разные...
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36166771
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Например если имеется 8 портовый рейд-контроллер SRCSASBB8I и 8 дисков, основная активность на чтение распределена примерно поровну между рабочими пространствами и временными, но на временные в отличие от рабочих громадная нагрузка на запись. Есть ли смысл терять производительность 10 рейда из 8 дисков, выделяя несколько дисков под темповые пространства и доверяя их управление Информиксу? Informix 9.3
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36166947
onstat-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rent_yНапример если имеется 8 портовый рейд-контроллер SRCSASBB8I и 8 дисков, основная активность на чтение распределена примерно поровну между рабочими пространствами и временными, но на временные в отличие от рабочих громадная нагрузка на запись. Есть ли смысл терять производительность 10 рейда из 8 дисков, выделяя несколько дисков под темповые пространства и доверяя их управление Информиксу? Informix 9.3

ИМХО да, темпаки лучше вынести на отдельные дисковые тома.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36166962
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rent_yНапример если имеется 8 портовый рейд-контроллер SRCSASBB8I и 8 дисков, основная активность на чтение распределена примерно поровну между рабочими пространствами и временными, но на временные в отличие от рабочих громадная нагрузка на запись. Есть ли смысл терять производительность 10 рейда из 8 дисков, выделяя несколько дисков под темповые пространства и доверяя их управление Информиксу? Informix 9.3
Можно обдумать (и при возможности протестировать) несколько вариантов:
1) разделить один 10-й рейд на два по 4 диска и, соответственно, разделить темповые пространства на две части. Особенно , если включено кеширование контроллера на запись с автономным питанием. Появится реальное распараллеливание работы с tempdbs у самого Информикса.
2) выделить из рейда пару отдельных дисков, на которые и разместить временные пространства. Дублирование их работы не нужно - ничего смертельного не случиться при выходе такого диска из строя. При этом рейд не будет загружен многочисленными операциями записи временных данных, кэш контроллера используется, в основном, для чтения, работа с временными пространствами распараллеливается. Эти отдельные диски можно использовать и для бекапов.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167402
zaiets
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Rent_yНапример если имеется 8 портовый рейд-контроллер SRCSASBB8I и 8 дисков, основная активность на чтение распределена примерно поровну между рабочими пространствами и временными, но на временные в отличие от рабочих громадная нагрузка на запись. Есть ли смысл терять производительность 10 рейда из 8 дисков, выделяя несколько дисков под темповые пространства и доверяя их управление Информиксу? Informix 9.3

Думаю, ключевая фраза здесь - есть ли смысл терять производительность.

Как говорил Вася - все относительно.
10 дисков это не так уж и много.

Что понимаестя под
Rent_yгромадная нагрузка на запись.
?

вы смотрели только onstat -D или смотрели и onstta -g iof ?
Думаю, если io/s у вас действительно меньше чем у других пространств - тогда м.б. и имеет смісл віносить а может и нет, а если такое же и больше то здесь еще нужно больше подумать.

У каждого своя специфика - у меня около 30 дисков, я сделал 2 колбасы(1 не получается).
У Дао своя специфика - он несколько лет назад поразбрасывал все по разным дискам.
Поэтому сходу вам никто не ответит - у каждого свое мнение.

Но, я придерживаюсь того мнения, что на нынешнем оборудовании (хотя же - у каждого оно разное) особого смысла в раскидании чанков по отдельным дискам в пределах одной полки при наличии только этой полки - нет.

Относительно не нужно дублирования - тут Вася не совсем прав. Все определяется положениями компании о допустимом времени простоя. Для целостности данных - не нужно. Для обеспечения допустимого времени простоя - нужен.

Все в этой жизни относительно как и сама наша жизнь в этой оболочке.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167465
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Вот статистика за 40 минут работы с утра, никакой специфической нагрузки не было - обычная работа пользователей. Сейчаc 6 дисков собраны в 10 raid.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
Informix Dynamic Server Version 9.30.TC2     -- On-Line -- Up 00:38:24 -- 2020992 Kbytes

AIO global files:
gfd pathname                                    totalops  dskread dskwrite  io/s
  3 **D:\IFMXDATA\ol_employment\rootdbs_dat.000      139      113       26   0.1
  4 **d:\ifmxdata\ol_employment\blobdbs_dat.000    12932    12932        0   5.6
  5 **D:\IFMXDATA\ol_employment\sbspace_dat.000       10       10        0   0.0
  6 **d:\ifmxdata\ol_employment\blobdbs_dat.001        0        0        0   0.0
  7 **d:\ifmxdata\ol_employment\tempdbs_log_dat.000      427      339       88   0.2
  8 **d:\ifmxdata\ol_employment\logdbs_dat.000      121        5      116   0.1
  9 **d:\ifmxdata\ol_employment\logdbs_dat.001        1        1        0   0.0
 10 **d:\ifmxdata\ol_employment\phisdbs_dat.000      527       11      516   0.2
 11 **d:\ifmxdata\ol_employment\workdbs_dat.000   169742   169391      351  73.6
 12 **d:\ifmxdata\ol_employment\workdbs_dat.001    44566    44517       49  19.3
 13 **d:\ifmxdata\ol_employment\workdbs_dat.002      187      181        6   0.1
 14 **d:\ifmxdata\ol_employment\workdbs_dat.003     8631     8495      136   3.7
 15 **d:\ifmxdata\ol_employment\workdbs_dat.004        3        3        0   0.0
 16 **d:\ifmxdata\ol_employment\tempdbs_dat.000  5242855  2830079  2412776 2274.6
 17 **d:\ifmxdata\ol_employment\tempdbs_dat.001        2        1        1   0.0
 18 **d:\ifmxdata\ol_employment\tempdbs_dat.002        2        1        1   0.0
 19 **d:\ifmxdata\ol_employment\workdbs_dat.005    12039    11999       40   5.2
 20 **d:\ifmxdata\ol_employment\workdbs_dat.006    28082    28031       51  12.2
 21 **d:\ifmxdata\ol_employment\workdbs_dat.007   179545   179533       12  77.9
 22 **d:\ifmxdata\ol_employment\workdbs_dat.008    71796    71668      128  31.1
 23 **d:\ifmxdata\ol_employment\workdbs_dat.009       71       63        8   0.0
 24 **d:\ifmxdata\ol_employment\workdbs_dat.010    14974    14780      194   6.5
 25 **d:\ifmxdata\ol_employment\workdbs_dat.011    31429    29685     1744  13.6
 26 **d:\ifmxdata\ol_employment\workdbs_dat.012     3532     3071      461   1.5
 27 **d:\ifmxdata\ol_employment\workdbs_dat.013     2816     2145      671   1.2
 28 **d:\ifmxdata\ol_employment\workdbs_dat.014        1        1        0   0.0
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167529
zaiets
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну дак, так бі и сразу.
У вас вся работа судя по всему идет с темповім пространством.
Если єто статистика характерна и для всего рабочего времени, то получается
что вінеся временное пространство на отдельніе диски у вас может сильно упасть
бістродействие системі.

Судя по статистике вам нужно как раз наибольшее бістродействие для темпового пространства.
Исходя из той статистики что ві привели, я бі не віносил темповое пространство на отдельніе диски.
Как по мне, в данном случае лучше сделать большую колбасу как говоривал(про колбасу) один представитель Оракл а ніне IBM.

Но, это мое мнение и оно основано на предоставленной статистике.
Можно конечно для темпового построить 0ку на 5-6 дисках, но это для вас же лишний геморрой в случае выхода из строя диска. Если вас устраивает этот геморрой - можно попробовать.
Я человек ленивый, поэтому я б себе такого геморроя не строил - лучше спится.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167582
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rent_yВот статистика за 40 минут работы с утра, никакой специфической нагрузки не было - обычная работа пользователей. Сейчаc 6 дисков собраны в 10 raid.

А в чем проблема то? Куда целимся?

Оффтопик: если i/o на темп создается sort/hash, то рыть надо в сторону 10-ки и параметра DS_NONPDQ_QUERY_MEM
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167597
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Проблема в том что после объединения нескольких отдельных баз в одну и значительного увеличения числа пользователей - начались жалобы на очень медленную работу, особенно при работе с большими реестрами. Помониторив нагрузку на отдельные компоненты сервера обнаружил что график Средней длины очереди дисков практически все рабочее время находится на отметке 100. Есть возможность промодернизировать дисковую подсистему перейдя на диски SAS вместо SATA. В связи с этим возник вопрос и о новом формате дисковой подсистемы...
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167634
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rent_yПроблема в том что после объединения нескольких отдельных баз в одну и значительного увеличения числа пользователей - начались жалобы на очень медленную работу, особенно при работе с большими реестрами. Помониторив нагрузку на отдельные компоненты сервера обнаружил что график Средней длины очереди дисков практически все рабочее время находится на отметке 100. Есть возможность промодернизировать дисковую подсистему перейдя на диски SAS вместо SATA. В связи с этим возник вопрос и о новом формате дисковой подсистемы...Найдите дба, пусть он пять минут посмотрит на запросы и планы.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167676
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
to Журавлев Денис. Смотрели разработчики - сказали что оптимизировать запросы малыми силами не имеет смысла, а глобально переделывать долго и дорого.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167713
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rent_yto Журавлев Денис. Смотрели разработчики - сказали что оптимизировать запросы малыми силами не имеет смысла, а глобально переделывать долго и дорого.Чушь. Я 8-м лет этим занимась с утра до вечера.
хинт: 20% мужиков выпивают 80% пива.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36167957
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Я по своему опыту скажу, также насмотрелся на большую IO нагрузку на временные пространства, и решил таки попробовать их вынести в РАМ.

Вот такой код исполняется у меня перед запуском IDS:

Код: plaintext
1.
2.
3.
4.
	/sbin/mke2fs -q -m  0  /dev/ram0
	/bin/mount /dev/ram0 /mnt/rd
	cat /usr/informix/data/ram0_data.gz | gunzip > /mnt/rd/tempdbs1ram
	chmod  660  /mnt/rd/tempdbs1ram
	chown informix:informix /mnt/rd/tempdbs1ram

Размер файла ram0_data.gz после декомпрессии 2 ГБ. Для нас хватает.
Получилось так, что при работе с временными пространствами IDS вообще не работает с диском. Только с ОП.

Никакого прироста в скорости не получил ))) Хотя, возможно, бенчмарки делал криво.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168206
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Rent_yВот статистика за 40 минут работы с утра, никакой специфической нагрузки не было - обычная работа пользователей.
Код: plaintext
1.
2.
3.
4.
5.
6.
Informix Dynamic Server Version 9.30.TC2     -- On-Line -- Up 00:38:24 -- 2020992 Kbytes
AIO global files:
gfd pathname                                    totalops  dskread dskwrite  io/s
 16 **d:\ifmxdata\ol_employment\tempdbs_dat.000  5242855  2830079  2412776 2274.6
 17 **d:\ifmxdata\ol_employment\tempdbs_dat.001        2        1        1   0.0
 18 **d:\ifmxdata\ol_employment\tempdbs_dat.002        2        1        1   0.0

Вот тут у вас что-то очень странное - совсем нет распараллеливания по темповым пространствам.
А оно там должно быть - я с системой СЗУ был знаком довольно долго :)
Или у вас все эти чанки в одном tempdbs (зачем?, лучше сделать 2-3 разных пространства, тем более и в инструкциях было написано) или ошибки при создании других tempdbs (они на самом деле не темповые) или в onconfig (не все указаны в DBSPACETEMP).
Покажите onstat -d и DBSPACETEMP (и не забудьте о такой же переменной окружения)
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168231
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
zaietsОтносительно не нужно дублирования - тут Вася не совсем прав. Все определяется положениями компании о допустимом времени простоя. Для целостности данных - не нужно. Для обеспечения допустимого времени простоя - нужен.
Если бы ты знал. что у них даже логи не архивируются то согласился бы со мной :)
(или что то изменилось? тогда буду только рад ошибаться)
А так , конечно же, я "не совсем прав" в этом смысле. Все определяется целесообразностью, наличием ресурсов (денежных и человеческих), требованиями к системе и ее надежности и пр.

zaiets Все в этой жизни относительно как и сама наша жизнь в этой оболочке.
В пятницу тянет на философию ? :)
Но тут я опять с тобой согласен - насчет относительности всего и вся.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168293
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
zaiets
У вас вся работа судя по всему идет с темповім пространством.
Если єто статистика характерна и для всего рабочего времени, то получается
что вінеся временное пространство на отдельніе диски у вас может сильно упасть
бістродействие системі.
Судя по статистике вам нужно как раз наибольшее бістродействие для темпового пространства.
Исходя из той статистики что ві привели, я бі не віносил темповое пространство на отдельніе диски.

Ты выходишь из предположения, что отдельные диски будут медленнее работать на запись, чем этот рейд ? На рейде вполне может не работать кеширование на запись - топикстартер пока об этом ничего не говорил. Диски будут те же и на том же контроллере. Зато основной рейд будет освобожден от нагрузки "темпаков" и будет значительно быстрее обрабатывать те же запросы на чтение данных и запись при checkpoint-ах.
zaietsМожно конечно для темпового построить 0ку на 5-6 дисках, но это для вас же лишний геморрой в случае выхода из строя диска. Если вас устраивает этот геморрой - можно попробовать.
Я человек ленивый, поэтому я б себе такого геморроя не строил - лучше спится.
Не все такие ленивые, особенно в течении нескольких первых лет работы :)
Я бы предложил попробовать разные варианты. Особенно если будет новое железо и какое-то время можно всегда выбить на его тестирование и конфигурирование.
Насколько я помню, у разработчиков системы даже были некоторые тесты производительности (набор типовых запросов) именно для таких целей. Правда, они могли уже устареть. Тогда можно попробовать хотя бы примитивные тесты (не OLTP) из DBA_Tools\Benchmark\DSS\dss_v1_2\ - некоторые шаги там активно использовали темповое пространство.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168304
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев Денисрыть надо в сторону 10-ки и параметра DS_NONPDQ_QUERY_MEM
Сменить версию там очень проблематично - сотни инсталляций и ранее закупленных лицензий без текущей поддержки. Даже переход , в свое время, с 7.3 на 9.3 дался с огромным трудом (не для софта системы, а в организационном плане :)
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168329
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Журавлев ДенисRent_yto Журавлев Денис. Смотрели разработчики - сказали что оптимизировать запросы малыми силами не имеет смысла, а глобально переделывать долго и дорого.Чушь. Я 8-м лет этим занимась с утра до вечера.
хинт: 20% мужиков выпивают 80% пива.
Они правы. Можешь мне поверить :)
Ты , возможно, не представляешь себе их систему. Она и большая, и лоскутная (создавалась много лет тому назад, и ПОСТОЯННО модифицировалась из-за изменений в законодательстве и пожеланий заказчика), и бизнес-уровень (Application Server) построен на спецплатформе (полузакрытой, внести изменения в которую уже вряд ли возможно) и сложную структуру БД уже вряд ли кто-то понимает полностью (архитекторы и аналитики менялись) и т.п.
Тем не менее, возможности для повышения производительности системы в целом, конечно же есть, начиная с правильной настройки Информикса и конфигурирования системы (и железа в т.ч.) и заканчивая настройкой фильтров в прикладной системе и правильным масштабированием (система позволяет легко разносить нагрузки).
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168348
vasilis
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Павел. СЯ по своему опыту скажу, также насмотрелся на большую IO нагрузку на временные пространства, и решил таки попробовать их вынести в РАМ.
Размер файла ram0_data.gz после декомпрессии 2 ГБ. Для нас хватает.
Получилось так, что при работе с временными пространствами IDS вообще не работает с диском. Только с ОП.
Никакого прироста в скорости не получил ))) Хотя, возможно, бенчмарки делал криво.
Наконец-то вижу хоть одного, кто "воплотил мечту в реальность". ЗАЧЕТ :)
А итоговый результат странный. Может все таки что-то с бенчмарками ? А чем вы мерили ?
И какие нагрузки и конфигурации были до и после ?
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168404
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
to vasilis: Задача крайне не тривиальная - очень большая база для базового уровня - более 10Гб, 200 одновременных подключений. Стандартные рекомендации по большей части не приемлемы, стандратное железо, которое у нас используется тоже. Уже несколько недель находимся в постоянном поиске и настройки разные пробуем и разработчики помогают, но не хватает знаний и практики в настройке такой системы. Пробовали и два темповых пространства внутри 10 рейда создавать - особой разницы в производительности не наблюдали и второй темп отключили. Теперь решили попробовать по разным дискам темпы разнести, как раз возможность модернизации дисковой подсистемы появилась...
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168408
Rent_y
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Кеширование на запись работает.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168461
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Rent_y,очень большая база для базового уровня - более 10Гб

Хмм. 10 Гб это совсем не много.

Идея, конечно, диковата, но, если будет время, интерес, и хотя бы 4ГБ ОП
- попробуйте поставить 11.50, сделать компрессию, и засунуть БД целиком в бафферз пул.

Конечно от данных зависит, но ужаться может процентов на 70% легко.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168476
Павел. С
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
vasilis,
vasilis
Наконец-то вижу хоть одного, кто "воплотил мечту в реальность". ЗАЧЕТ :)
А итоговый результат странный. Может все таки что-то с бенчмарками ? А чем вы мерили ?
И какие нагрузки и конфигурации были до и после ?
Сказать по правде - не было специальных бенчмарков.

Просто отрабатывали ежедневные задачи на этой системе. И сравнили время работы в 2х конфигурациях
1) временные пространства в том же массиве из 24х дисков в 10ке. используются raw устройства.
2) временные пространства на РАМ диске. Естественно, до своппинга не доводили.
onconfig один и тот же в обоих вариантах.
Время работы одинаковое.

Думаю, на синтетических тестах должна быть видна разница. Если кому-то интересно - дайте запрос, который tempdbs активно использует, я сравню 2 варианта - и напишу сюда результаты.

Просто сам не знаю, какие задачи активно используют tempdbs.
...
Рейтинг: 0 / 0
Актуальность рекомендаций о разделении пространств по разным дискам.
    #36168482
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Павел. С,

/usr/informix/data/ram0_data.gz
а это образ чего ?
...
Рейтинг: 0 / 0
25 сообщений из 63, страница 1 из 3
Форумы / Informix [игнор отключен] [закрыт для гостей] / Актуальность рекомендаций о разделении пространств по разным дискам.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]