|
|
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
DaugavaА для процедур статистика собиралась? Да. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.12.2010, 11:54 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
klepaавторonstat -g ath onstat -g lmx onstat -g wmx onstat -g stk all onstat -g nta onstat –g act Эти онстаты не соответствуют вашему онконфигу: #NETTYPE onipcshm,4,3048,CPU #NETTYPE onsoctcp,4,3048,CPU # add 08/11/2010 NETTYPE onipcshm,1,50,CPU NETTYPE onsoctcp,14,250,NET Судя по onstat -g ath настройки таковы: NETTYPE onsoctcp,4,3048,CPU При таких настройках вполне вероятны проблемы с nsf.lock. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 15.12.2010, 15:36 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Вот попытался систематизировать: Имеется 4 сервера БД. 1. Боевой Supermicro. MB X8DTN. 2 CPU Xeon E5530 4 ядра 2.40GHz HT включен. RAM 48GB. 16 HDD 3.5' SAS 15K rpm. RAID контроллер кэш 512МБ, батарейка. БД находится на RAID10 из 12 дисков. ОС RHEL Red Hat Enterprise Linux Server release 5.4 (Tikanga) 64 бит IBM Informix Dynamic Server Version 11.50.FC4 2. Тестовый. Точная копия боевого по железу и софту. 3. Еще один тестовый. Supermicro. MB X8DTU. 2 CPU Xeon X5670 6 ядер @ 2.93GHz HT включен. RAM 48GB. 8 HDD 3.5' SAS 15K rpm. RAID контроллер кэш 512МБ, батарейка. БД находится на RAID0 из 6 дисков. ОС RHEL Red Hat Enterprise Linux Server release 5.4 (Tikanga) 64 бит IBM Informix Dynamic Server Version 11.50.FC4 4. Новый тестовый. IBM x3805 X5 4 CPU Xeon X7550 8 ядер 2.00GHz HT включен. RAM 48GB. 8 HDD 2.5’ SAS 15K rpm RAID контроллер кэш 512МБ, батарейка + хранилище DotHill 2730 12 HDD 3.5' SAS 15K rpm подключенное по FC 4Gb. БД находится в хранилище RAID10 из 12 дисков. ОС RHEL Red Hat Enterprise Linux Server release 5.4 (Tikanga) 64 бит IBM Informix Dynamic Server Version 11.50.FC4 Был создан тестовый стенд на 99% похожий на боевую среду. Запуск тестов на сервере №2 показал полную схожесть поведения боевой и тестовой сред. При увеличении нагрузки сервер №2 обеспечил 30 транзакций в секунду при 95-100% загрузке железа. Запуск тестов на сервере №3 показал полную схожесть поведения боевой и тестовой сред. При увеличении нагрузки сервер №3 обеспечил 46 транзакций в секунду при 95-100% загрузке железа. В данном случае мы видим, что увеличение числа процессорных ядер на 50% дает прирост производительности на 50%. При проведении тестов на сервере №4 оказалось, что данный сервер обеспечивает только 9 транзакций в секунду. При увеличении нагрузки до 10 транзакций в секунду происходит увеличение параллельных активных сессий, которые ожидают мьютекса. Непонятно, почему супер-сервер от IBM не хочет работать. Что это: Гримасы архитектуры или я что-то недонастроил? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2010, 14:22 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
klepaГримасы архитектуры или я что-то недонастроил?это легко может быть глюками драйвера или фирмвари сетевой карты lspci -k и гуглить ядро и имя езэрнет адаптера ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2010, 14:26 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
ну и на таком железе обычно тысячи транзакций в секунду. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2010, 14:42 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
klepaВот попытался систематизировать: Имеется 4 сервера БД. 1. Боевой ОС RHEL Red Hat Enterprise Linux Server release 5.4 (Tikanga) 64 бит IBM Informix Dynamic Server Version 11.50.FC4 4. Новый тестовый. IBM x3805 X5 ОС RHEL Red Hat Enterprise Linux Server release 5.4 (Tikanga) 64 бит IBM Informix Dynamic Server Version 11.50.FC4 Был создан тестовый стенд на 99% похожий на боевую среду. Как-то не клеится с ранее поданной инфой: На старом RHEL 5.4 64бит На новом RHEL 5.5 64бит Успели переставить? klepaПри проведении тестов на сервере №4 оказалось, что данный сервер обеспечивает только 9 транзакций в секунду. При увеличении нагрузки до 10 транзакций в секунду происходит увеличение параллельных активных сессий, которые ожидают мьютекса. Если не ошибаюсь - в транзакцию вы вкладывали операции коннект к БД + выполнение чего-то + дисконнект. Т.е. 10 транзакций в сек это запуск в течение 1 сек 10 процессов? Снова же, если ожидают действительно nsf.lock, значит проблема м.б. в 2х местах: 1. новій коннект 2. миграция нитей между vps Если проблема кроется в 2. миграция нитей между vps то скорее за все проблема в настройке виртуальніх процессоров(Вася писал) и чего-то еще. увеличение кол-ва cpu vps вполне могло как-то на этом отразиться. onconfig и статистику ві приводили с сервера 4. Если все настройки сделать 1 в 1(а не на 99%) как на серверах 1 и 2 проблема таже? Для соединений через IPC... проблема таже? Какое значение стоит для KAIOON на обоих серверах? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2010, 15:59 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
klepaГримасы архитектуры или я что-то недонастроил? есть такое подозрение 4. Новый тестовый. IBM x3805 X5 Наверное x3850 X5. Тут возможно и траблы. Там же NUMA. Читайте доки по конфигурации железки. Может есть вариант как повтыкать туда память, для лучшей производительности. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.12.2010, 17:30 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
123mmmklepaГримасы архитектуры или я что-то недонастроил? есть такое подозрение 4. Новый тестовый. IBM x3805 X5 Наверное x3850 X5. Тут возможно и траблы. Там же NUMA. Читайте доки по конфигурации железки. Может есть вариант как повтыкать туда память, для лучшей производительности. Да, верно. x3850 X5. Я как раз и подозревал, что есть трудности с синхронизацией ОЗУ и кэша между процессорами. Только не знал умных слов про когерентность кэша. Попробую копнуть в этом направлении. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 09:13 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Планировали на следующий год брать два X3850 (основной и горячий резерв). Подкупала возможность их объединения в один при росте нагрузки. Однако сейчас, появились доп.вопросы к поставщику. Если даже без объединения возникают вопросы с кастомизацией, то что будет после. Вот похожая проблема у людей, но без решения: http://communities.vmware.com/message/1126887 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 10:15 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Daugava, Нужно четко понимать для каких целей берется железо. Очевидно, что Informix'у нужен SMP узел с общей памятью. Иначе никакого масштабирования не будет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 15:32 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Справедливости ради, у меня железо будет браться для кого-то из оффтопов. Сейчас у нас идет тендер для новой модной функциональности (с прогнозируемым быстрым скачкообразным ростом нагрузки), но даже в самом широком списке (23 компании со всей восточной Европы) нет ни одного решения на Informix :(. В силу специфики того, что система хранения у меня от IBM уже есть, то собственно при закладке бюджета на вычислительные мощности планируемой системы и заложили x3850. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 16:31 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
123mmmDaugava, Нужно четко понимать для каких целей берется железо. Очевидно, что Informix'у нужен SMP узел с общей памятью. Иначе никакого масштабирования не будет. Память памяти рознь. IBM system P реализует доступ к памяти соседнего процессора по отдельным шинам, соединенным звездой ( каждый с каждым). Дорого , зато масштабируемо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 17:11 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Daugava В силу специфики того, что система хранения у меня от IBM уже есть, то собственно при закладке бюджета на вычислительные мощности планируемой системы и заложили x3850. Если речь о FC то производитель железки тут не основная тонкость. Основная тонкость в функциональности multipathing -а По моим данным IBM может предоставлять 2 протоколола multipathing -а с разными хранилищами. RDAC протокол MPIO протокол. Эти Драйвера никак между собой не совместимы. В первую очередь нужно смотреть на поддержку драйверов multipathing -а в планируемых версиях ОС и в хранилище. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 18:42 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
onstat-Основная тонкость в функциональности multipathing -а По моим данным IBM может предоставлять 2 протоколола multipathing -а с разными хранилищами. RDAC протокол MPIO протокол. Эти Драйвера никак между собой не совместимы. В первую очередь нужно смотреть на поддержку драйверов multipathing -а в планируемых версиях ОС и в хранилище. А где про это почитать можно? И вообще, про подобные серверные заморочки? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.12.2010, 21:15 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
bk0010А где про это почитать можно? И вообще, про подобные серверные заморочки? Это far offtopic. Если к теме подходить правильно , то это один из ключевых моментов планирования инфраструктуры датацентра. В больших конторах ( датацентрах) должна быть отдельная должность storadge administratior , который должен планировать и решать подобного рода вопросы. 1. Учет быстродействия хранилищ, распределения нагрузок настройка хранилищ. 2. Прозрачная миграция данных между хранилищами без даунтайма ( выбор технологии миграции). 3. Оптимальная настрока серверов ( ОС ) . 4. SAN свичи и их настройка ( зонинг) . и т д и т п. Время когда под каждую задачу покупается один сервер со своим хралилищем закончилось. Сейчас модно все виртуализировать. начать можно отсюда http://www.google.com.ua/search?hl=uk&client=firefox-a&hs=dWU&rls=org.mozilla%3Aen-US%3Aofficial&q=RDAC+vs+MPIO&btnG=%D0%9F%D0%BE%D1%88%D1%83%D0%BA&aq=f&aqi=&aql=&oq=&gs_rfai= http://en.wikipedia.org/wiki/Multipath_I/O http://www.google.com.ua/search?hl=uk&client=firefox-a&rls=org.mozilla%3Aen-US%3Aofficial&q=storage+virtualization&aq=1&aqi=g1&aql=&oq=storage+vir&gs_rfai= http://en.wikipedia.org/wiki/Storage_virtualization Очень много зависит от уже имеющегося парка хранилищ и ОС. Один из главных моментов , попытаться унифицировать протоколы подключения серверов к хранилищам . Для этого есть много способов. Вопрос довольно серьезный и можно сэкономить кучу денег например на регулярной миграции данных которые со временем становятся не очень часто нужны на саташные диски. Но это должен понимать тот, кто формирует стратегию развития ИТ инфраструктуры и бюджеты. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 10:52 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
onstat-123mmmDaugava, Нужно четко понимать для каких целей берется железо. Очевидно, что Informix'у нужен SMP узел с общей памятью. Иначе никакого масштабирования не будет. Память памяти рознь. IBM system P реализует доступ к памяти соседнего процессора по отдельным шинам, соединенным звездой ( каждый с каждым). Дорого , зато масштабируемо. Но в моем случае на всех серверах контроллер памяти встроет в процессор. Т.е. память не общая. А в книжке "IBM eX5 Portfolio Overview" довольно звездато разрисована шина QPI. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 10:56 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
klepa Непонятно, почему супер-сервер от IBM не хочет работать. Что это: Гримасы архитектуры или я что-то недонастроил? Думаю это можно довольно быстро имперически выяснить сравнив. 1. Количество системных вызовов. 2. Нагрузку на дисковый ввод-вывод ( соотношение обьема к количеству дисковых операций) 3. Нагрузку на память ( перераспределение страниц, попадание по кешу фс, свопинг ). 4. Нагрузку на таблицы по сопоставлению данных из sysptprof . ( пытаемся вернуться в топик). 5. Нагрузку на буферный пул onstat -P и п. 4. И найти где образутеся бутылочное горлышко. И от этого плясать дальше. В гримасы архитектуры выраженной в многократной разнице в производительности я не верю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 11:22 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
не пробовали на 11.50xC5 IC61121: TCP POLL THREAD CAN DEADLOCK WAITING ON NSF.LOCK MUTEX https://www-304.ibm.com/support/docview.wss?uid=swg1IC61121 fixed in IDS 11.50xC5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 12:21 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Журавлев Денисне пробовали на 11.50xC5 IC61121: TCP POLL THREAD CAN DEADLOCK WAITING ON NSF.LOCK MUTEX https://www-304.ibm.com/support/docview.wss?uid=swg1IC61121 fixed in IDS 11.50xC5 Видел эту багу. Пробовал FC5. Не помогло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 12:42 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
а powertop кстати не смотрели что показывает? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 12:47 |
|
||
|
Проблема с защелками
|
|||
|---|---|---|---|
|
#18+
Журавлев Дениса powertop кстати не смотрели что показывает? А это что? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.12.2010, 12:55 |
|
||
|
|
start [/forum/topic.php?fid=44&msg=37006620&tid=1607428]: |
0ms |
get settings: |
11ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
64ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
60ms |
get tp. blocked users: |
2ms |
| others: | 248ms |
| total: | 423ms |
| 0 / 0 |
