powered by simpleCommunicator - 2.0.30     © 2024 Programmizd 02
Map
Форумы / Informix [игнор отключен] [закрыт для гостей] / разная скорость загрузки БД
39 сообщений из 39, показаны все 2 страниц
разная скорость загрузки БД
    #38550330
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день! Подскажите - почему может быть разная скорость импорта БД? Одна и таже БД, около 2Гб, на одном сервере загружается 1,5 часа, а на другом - 3 часа?
На сервере, где быстрее загружается - сервер 2003, информикс 11.50, одноядерный, процессор - Intel(R) Celeron 1.80GHz,ОЗУ - 2 Гб
на другом сервере - линукс 11.3 и информикс 11.50, двухядерный,процессор - Intel(R) Celeron 2.70GHz, ОЗУ - 4Гб
Является ли большая скорость импорта БД показателем того, что пользователи будут быстрее работать с БД?
Поскольку "железо" лучше на втором компе, подозреваю,что нужно смотреть настройки onconfig...
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550363
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
для начало
сравните в разных onconfig циферки
приведите в соответсвие
почитайте например тут
http://publib.boulder.ibm.com/infocenter/idshelp/v111/index.jsp?topic=/com.ibm.sqlt.doc/sqlt267.htm
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550624
victor16
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
sinka2002подозреваю,что нужно смотреть настройки onconfig...
не только onconfig.
Большую роль играет размер страницы по умолчанию, в Windows - 4k, в Linux - 2k.
Кроме того, производительность будет зависеть от выбранного способа импорта (HPL, dbimport, etc)
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550690
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
и от диска
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550701
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И от контролера, и от вида RAID-а, и ....
Вариантов много, кроме того, если загрузка шла dbimport-ом, то шла она в один поток. Совсем не факт, что система, лучше проявившая себя на одном потоке, также окажется лучшей в многопользовательском режиме.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550704
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
для начала сравнить размер буферного пула
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550804
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
victor16sinka2002подозреваю,что нужно смотреть настройки onconfig...
не только onconfig.
Большую роль играет размер страницы по умолчанию, в Windows - 4k, в Linux - 2k.
Кроме того, производительность будет зависеть от выбранного способа импорта (HPL, dbimport, etc)

Импорт происходил одинаково на двух серверах - через dbimport.
Да,размер страницы разный - в Windows - 4k, в Linux - 2k
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550835
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
aist-pskдля начала сравнить размер буферного пула
значение буферпула осталось то,что по умолчанию было установлено
BUFFERPOOL size=4K,buffers=10000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000

на линуксе
BUFFERPOOL size=2K,buffers=1000000,lrus=8,lru_min_dirty=50.000000,lru_max_dirty=60.000000
(buffers брала 25% от ОЗУ)

действительно,у меня картина такая - когда база быстрее импортилась, медленно работали потом с БД пользователи
там, где дольше грузилась БД, пользователи сейчас работают быстрее...
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38550847
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Журавлев Дениси от диска
в линуксе чанки - буферизированные файлы, "сырые" диски я еще не пробовала, если это имелось в виду
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38551447
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в линуксе уходите от файловых чанков (они от безысходности)
сырые разделы нужны
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38551450
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
на серверах дисковая система какая ? рейд (какой и на чём рейд), программных рейд ? просто отдельно стоящие диски (какие диски) ? на производительность влияет очень много факторов

виртуальные машины в эксперименте случайно не используете?
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38551935
Фотография Журавлев Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sinka2002Журавлев Дениси от диска
в линуксе чанки - буферизированные файлы, "сырые" диски я еще не пробовала, если это имелось в видуимелось ввиду количество и скорость дисков.
Можно без сырых, про параметр DIRECT_IO читайте.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38553567
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
aist-pskна серверах дисковая система какая ? рейд (какой и на чём рейд), программных рейд ? просто отдельно стоящие диски (какие диски) ? на производительность влияет очень много факторов

виртуальные машины в эксперименте случайно не используете?
рейдов нет (один сервер тестовый,другой-в процессе настройки),на винде - файловая NTFS.Диск отдельно стоящий, он один, на линуксе - HDD Seagate. С виртуалкой эксперименты были раньше - база импортилась тоже быстрее, но в многопользовательском режиме работали медленее.
А теперь ,стыдно конечно,но признаюсь...Стала внимательно пересматривать параметры онконфига, и нашла один не правильно установленный параметр, а именно - MULTIPROCESSOR. Стояла 1,а нужно было 0.Поскольку "железо"-одна из моих слабых сторон, то при выводе инфо о процессорах в линуксе,я решила,что у меня 2 процессора. На самом деле - двухядерный комп и один процессор.
После смены этого параметра, база импортилась не 3,а 2 часа. Всем большое спасибо за внимание к проблеме, которую, как оказалось,я создала сама себе.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38553849
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в линксе колличество доступных процов смотриться из ком строки cat /proc/cpuinfo | less для листания стрелочки, для выхода q

если больше одного - спросить у админа какие это ядра - hyper threading или реальные физические
если hyper и физически проц один - скорее всего лучше MULTIPROCESSOR = 0
если реал ядра - MULTIPROCESSOR =1

у вас везде одноядерные , но на линуксе включен в биосе режим hyper
скорее всего так
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38553854
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
дальше для увеличения скорости - сравнивать характеристики дисков
интерфейс , скорость вращения , размер кеша
обратить внимание какие названия для дисков дали производители
по названию можно судить к какому классу относиться диск - для дома и семьи или для серверов
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38555141
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
aist-pskв линксе колличество доступных процов смотриться из ком строки cat /proc/cpuinfo | less для листания стрелочки, для выхода q

если больше одного - спросить у админа какие это ядра - hyper threading или реальные физические
если hyper и физически проц один - скорее всего лучше MULTIPROCESSOR = 0
если реал ядра - MULTIPROCESSOR =1

у вас везде одноядерные , но на линуксе включен в биосе режим hyper
скорее всего так
именно этой командой,cpuinfo, я и вывела информацию, увидев два доступных процессора я решила,что их физически два и есть...у электронщика уточню детали. Еще вопрос,может и не корректный - можно однозначно сказать - как лучше устанавливать линукс-информикс - на виртуальной машине или на отдельном железе? Раньше работали на виртуалке, пользователи жаловались на медленную работу (HP ProLiant DL,на самом сервере еще кроме виртуалки с информиксом "висит" 4 виртуалки). Сейчас дали обыкновенный комп, который настроила как сервер (на котором кроме информикса нет ничего) скорость работы пользователей увеличилась.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38555179
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
для виртуалки , надо полноценные дисковые системы на основе 10 , 50 ... рейдов с быстрыми sas дисками ну и далее до бесконечности. - на такой базе будет работать. нужно такое , что бы все хост машины оправляли свои дисковые надобности без задержки и томления.

на практике бывает выделяют обыкновенный сервер (возможно даже писюк) для виртуалок с простеньким sata рейдом , а возможно и без него .
такое желательно не использовать (если сервер в промышленной эксплуатации)
лучше отдельный - пусть даже без рейда - просто sata диск , втыкаете второй диск для архива - настраиваете туда бекапы и спите спокойно.

окончательное решение (вирт or real )принимается исходя из предполагаемой нагрузки сервера с субд - количество юзверей и плотность обрабатываемой информации.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38555181
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
aist-pskдля виртуалки , надо полноценные дисковые системы на основе 10 , 50 ... рейдов с быстрыми sas дисками ну и далее до бесконечности. - на такой базе будет работать. нужно такое , что бы все хост машины оправляли свои дисковые надобности без задержки и томления.

на практике бывает выделяют обыкновенный сервер (возможно даже писюк) для виртуалок с простеньким sata рейдом , а возможно и без него .
такое желательно не использовать (если сервер в промышленной эксплуатации)
лучше отдельный - пусть даже без рейда - просто sata диск , втыкаете второй диск для архива - настраиваете туда бекапы и спите спокойно.

окончательное решение (вирт or real )принимается исходя из предполагаемой нагрузки сервера с субд - количество юзверей и плотность обрабатываемой информации.

если совсем просто - всё зависит от юзверей - ругаются или нет.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38556348
aist-pskлучше отдельный - пусть даже без рейда - просто sata диск , втыкаете второй диск для архива - настраиваете туда бекапы и спите спокойно.
Ещё спокойнее спать если в такой таджик-сервер воткнуть третий диск равный первому и настроить на него зеркало средствами самого Информикса
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38560839
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
я все поняла - спать спокойно у меня не получится:) второй и третий диск мне никто не выделит:)
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38560882
Фотография Daugava
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sinka2002,

могу передать в качестве гуманитарной помощи в Чернигов хоть 20 SCSI дисков по 18Гб
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38561638
Daugavaмогу передать в качестве гуманитарной помощи в Чернигов хоть 20 SCSI дисков по 18Гб
Повышаю ! :)

20 UltraSCSI 320 по 36.6G и 146G + 2 MegaRIAD SCSI + шлёфы + корпус + ... да плюс все прочие потроха.

Но самовывоз из Санкт-Петербурга.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38561640
sinka2002я все поняла - спать спокойно у меня не получится:) второй и третий диск мне никто не выделит:)
Ну хотя бы SATA...
Ну хотя бы бытовые (только не "грин"-версии)...
Ну хотя бы один что бы зеркало сделать....
Они ж стоят по паре тысяч всего....
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38561795
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
это бютжетники , они на целеронах сидят
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38561796
Фотография aist-psk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
это моё предположение
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38561946
sinka2002я все поняла - спать спокойно у меня не получится:) второй и третий диск мне никто не выделит:)
Кстати !

Хоть какой-нить компик есть ещё ?

Поднимите RSS. Такая вот не-от-хорошей-жизни-замена зеркалу и бэкапу.

Лицензию не нарушите если не будете там выполниять ни какие запросы. Только репликацию туда и всё.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38562481
bk0010
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы когда-нибудь поднимали RSS? Он работает?
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38562821
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день!:)
Не ожидала такого участия к своим проблемам,всем огромное спасибо! Приятно тронута!
Да,у нас госпредпрятие,само собой все закупки идут из Киева.В Киеве регулярно меняются директора и соответственно -приоритеты.На сегодня информикс пытаются отодвинуть подальше и зеленый свет включен для САПа(естественно,вся техника идет адресно под эти задачи)...сервера, которые шли под информикс лет 10 назад, если еще и остались живы, то не совсем справляются... не буду дальше развивать тему,поскольку она, правда, больная и не только для меня...нач. сказала, чтобы я почитала про RSS,комп какой-нить дадут:)
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38563711
bk0010Вы когда-нибудь поднимали RSS? Он работает?
Раз в месяц для проверки бэкапов и сценариев восстановления.
И работает в полный рост - RSSсится себе и rssсесится.

И HDR работал - RSS лучше.

И SDS был - не прижился за ненадобностью.

А чё ? "Ждали котёнка Гава неприятности" ? Как-то не там ждали значит.

При развёрнутом дистрибутиве и нарезаных чанках поднимаю RSS одной командной строкой bash-а.
Кто угадает поднимет с пол-строки ?
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38563714
sinka2002нач. сказала, чтобы я почитала про RSS,комп какой-нить дадут:)
Есть такое правило - RSS должен быть пошустрее Primary что бы успевал накатывать логи оперативно.

И включите LOG_STAGE_DIR и DELAY_APPLY=1 на RSS
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38563742
bk0010
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Яковлев ПавелА чё ? "Ждали котёнка Гава неприятности" ? Как-то не там ждали значит.

Спасибо за ответ. Неприятности не ждали. Возможности RSS интересные, но о том, что они реально применяются я ни разу не слышал, а на себе проверять стремно - используем HDR по-старинке.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38565258
bk0010Яковлев ПавелА чё ? "Ждали котёнка Гава неприятности" ? Как-то не там ждали значит.

Спасибо за ответ. Неприятности не ждали. Возможности RSS интересные, но о том, что они реально применяются я ни разу не слышал, а на себе проверять стремно - используем HDR по-старинке.
А чего RSS бояться-то ? HDR, но только асинхронный.

А вот HDR фигов как раз синхронным чек-поинтом который может тормозить.

Это со временем сильно утомило и просто переключились на RSS - отличный бэкап-онлайн.

Плюс, когда при больших изменениях логи прут косяком, то HDR опять-таки будет всё тормозить своей синхронностью, а RSS просто примет и сложит в LOG_STAGE_DIR (фича появилась не сразу, не помню с какой версии) что не успевает и спокойно себе накатит ни кого не задерживая.

Вобщем, если ваша кошка боится пылесоса RSS - попробуйте, она втянется :)

Поставьте в пару к HDR сервер для RSS и проверьте месяц-другой парралельно.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38565260
Яковлев Павелsinka2002нач. сказала, чтобы я почитала про RSS,комп какой-нить дадут:)
Есть такое правило - RSS должен быть пошустрее Primary что бы успевал накатывать логи оперативно.

И включите LOG_STAGE_DIR и DELAY_APPLY=1 на RSS

Уточнение - пошустрее он должен быть если вы его ещё и запросами будете грузить.
Для "просто бэкапа" это не обязательно.

А если "случится страшное", то:

- или всех отключите и пусть ждут пока почините примари и восстановите с RSS

- или переключите всех на RSS сделав из него примари (вот тут правда и скажется под нагрузкой если он тормознутие примари) и после этого почините примари и восстановите его.
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38566018
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
[quot Яковлев Павел]Яковлев Павелпропущено...

А если "случится страшное", то:

- или всех отключите и пусть ждут пока почините примари и восстановите с RSS

- или переключите всех на RSS сделав из него примари (вот тут правда и скажется под нагрузкой если он тормознутие примари) и после этого почините примари и восстановите его.
я пока не нашла,где подробненько почитать про RSS.В методичках,которые нам пару лет на курсах давали только пару страниц про HDR.На сайте ibm есть несколько обзацев, но я не совсем поняла пока...Я поняла так:
1.что на комп,который мне дадут нужно поставить линукс и информикс (вместе с чанками?) тех же версий,что и основной (т.е. primary).
2.Добавить в SQLHOSTS подчиненный(как я поняла, точно такая же запись как для примари,только имя хоста подчиненного).
3.В онконфиге LOG_INDEX_BUILDS перевести в 1,т.е. разрешить регистрацию страниц индекса.
4.Зарегистрировать подчиненный на главном (onmode -d add RSS rss1)
5.На примари делаю архив нулевого уровня.
6.На подчиненном этот(?) архив восстанавливаю (ontape -p)
7.Перевожу подчиненный в рабочий режим (onmode -d RSS myprim).
LOG_STAGE_DIR и DELAY_APPLY=1 у себя в онконфиге не нашла, у меня стоит информикс 11,50, может эти параметры в след.версиях?
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38566829
[quot sinka2002]
я пока не нашла,где подробненько почитать про RSS.В методичках,которые нам пару лет на курсах давали только пару страниц про HDR.На сайте ibm есть несколько обзацев, но я не совсем поняла пока...
[/qout]
Какие к бесу методички - читайте оригинал http://pic.dhe.ibm.com/infocenter/informix/v121/index.jsp (найдите свою верксию)

И скачайте себе архив всей документации в виде архива pdf-ок

Читайте Руководство Администратора.

sinka2002Я поняла так:
1.что на комп,который мне дадут нужно поставить линукс и информикс (вместе с чанками?) тех же версий,что и основной (т.е. primary).

Ставите то же что и на примари. Под той же ОС.
(можно просто tar-ом перенести:
Код: plaintext
tar xjf ifx.tbz /opt/informix
и
Код: plaintext
tar xjpf ifx.tbz -C /
и поправить конфиг)
Настраиваете чанки ровно того же размера и по тем же путям что и на примари

sinka20022.Добавить в SQLHOSTS подчиненный(как я поняла, точно такая же запись как для примари,только имя хоста подчиненного).

На примари дабавляете туда рсс, на рсс - примари
Имена по которым они будут общаться должны быть сетевыми (onsoctcp), а не через разделяемую память
Имена прописать в DBSERVERALIAS и HA_ALIAS (каждому свои конечно, а не партнёра)
Ковыряете в файволе дырки для сетевого порта информикса.

sinka20023.В онконфиге LOG_INDEX_BUILDS перевести в 1,т.е. разрешить регистрацию страниц индекса.

на примари (вообще лучше иметь одинаковые конфиги с различием только имён)

намекаю что базы должны быть с логированием, а smartblobspaces-ы не рсс-сятся.

sinka20024.Зарегистрировать подчиненный на главном (onmode -d add RSS rss1)

да

sinka20025.На примари делаю архив нулевого уровня.

да

sinka20026.На подчиненном этот(?) архив восстанавливаю (ontape -p)

да этот, какой же ещё ?

вот как 5, 6 и 7 делается за раз (правда на время надо разрешить руту ходить по ssh)

Код: plaintext
1.
priserver# ontape -s -L 0 -t STDIO | ssh root@rssserver '(. /opt/informix/env.sh; ontape -p -t STDIO -v; onbar -r -p -e; onmode -d RSS sqlprimaryname)'

sinka20027.Перевожу подчиненный в рабочий режим (onmode -d RSS myprim).

да.

sinka2002LOG_STAGE_DIR и DELAY_APPLY=1 у себя в онконфиге не нашла, у меня стоит информикс 11,50, может эти параметры в след.версиях?
в 11.50FC8W2 они работают. Возможно повились после той редакции 11.50 которая у вас - посмотрите доку, скачайте подходящую версию.

Возможно стоит избавить участников форума от таких технических деталей и уедениться в личке :)
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38566835
bk0010
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Яковлев ПавелВозможно стоит избавить участников форума от таких технических деталей и уедениться в личке :)
Не надо избавлять участников форума от таких технических деталей!
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38566860
bk0010Яковлев ПавелВозможно стоит избавить участников форума от таких технических деталей и уедениться в личке :)
Не надо избавлять участников форума от таких технических деталей!
Всё удинение испортили :)
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38566869
sinka2002
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Яковлев ПавелВозможно стоит избавить участников форума от таких технических деталей и уедениться в личке :)
Спасибо за столько подробное описание:) А насчет лички - я сама уже давно хотела набиться, поскольку вижу количество вопросов,возникающих по ходу:) только пока не заметила,в каком месте на форуме этим (личкой) пользуются:)
...
Рейтинг: 0 / 0
разная скорость загрузки БД
    #38568137
sinka2002Яковлев ПавелВозможно стоит избавить участников форума от таких технических деталей и уедениться в личке :)
Спасибо за столько подробное описание:) А насчет лички - я сама уже давно хотела набиться, поскольку вижу количество вопросов,возникающих по ходу:) только пока не заметила,в каком месте на форуме этим (личкой) пользуются:)
Нажмите на моё - там есть некоторые способы связаться со мной
...
Рейтинг: 0 / 0
39 сообщений из 39, показаны все 2 страниц
Форумы / Informix [игнор отключен] [закрыт для гостей] / разная скорость загрузки БД
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]