ReSQL.ru
     
powered by simpleCommunicator - 2.0.56     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Informix [игнор отключен] [закрыт для гостей] / Использование HDR сервера как отчетного
13 сообщений из 13, страница 1 из 1
Использование HDR сервера как отчетного
    #35687105
Boya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Boya
Гость
Возможно ли использование HDR сервера для запросов которые готовят отчеты???

Столкнулся с проблемой, перенаправили часть потока запросов на реплицируемый сервер, и обнаружил что загрузка процессора на нем сразу улетает на 100%. Может кто-то уже сталкивался с такой проблемой??

часть onconfig с вторичного сервера:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
MULTIPROCESSOR   1                #  0  for single-processor,  1  for multi-processor
NUMCPUVPS        2                # Number of user (cpu) vps
SINGLE_CPU_VP    0                # If non-zero, limit number of cpu vps to one


LOCKS            10000            # Maximum number of locks
NUMAIOVPS                       # Number of IO vps
PHYSBUFF         2048             # Physical log buffer size (Kbytes)
LOGBUFF          128              # Logical log buffer size (Kbytes)
CLEANERS         8               # Number of buffer cleaner processes
SHMBASE         0x44000000        # Shared memory base address
SHMVIRTSIZE      542288           # initial virtual shared memory segment size
SHMADD           32768            # Size of new shared memory segments (Kbytes)
EXTSHMADD        32768             # Size of new extension shared memory segments (Kbytes)
SHMTOTAL         0                # Total shared memory (Kbytes).  0 =>unlimited
CKPTINTVL        90              # Check point interval (in sec)
TXTIMEOUT       0x12c             # Transaction timeout (in sec)
STACKSIZE        64               # Stack size (Kbytes)
STMT_CACHE       2 

# Parallel Database Queries (pdq)
MAX_PDQPRIORITY  1                # Maximum allowed pdqpriority
DS_MAX_QUERIES   32               # Maximum number of decision support queries
DS_TOTAL_MEMORY  32068            # Decision support memory (Kbytes)
DS_MAX_SCANS     1048576          # Maximum number of decision support scans
DS_NONPDQ_QUERY_MEM  128          # Non PDQ query memory (Kbytes)
DATASKIP        off             # List of dbspaces to skip

BUFFERPOOL      size=2K,buffers= 300000 ,lrus= 127 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000 



SHMVIRT_ALLOCSEG  0 . 000000         # Values between  0  and . 99  are %, values >  1  are
VP_MEMORY_CACHE_KB  0 

EILSEQ_COMPAT_MODE  0
...
Рейтинг: 0 / 0
02.12.2008, 10:52
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687121
Boya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Boya
Гость
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
  3641  informix   25     0  1177m 708m 707m R    [b]99 [/b]  35 . 0   378 : 48 . 56  oninit
  3639  informix   25     0  1177m 721m 720m R    [b]99 [/b]  35 . 6   377 : 32 . 50  oninit
  3644  root       15     0  1177m 603m 602m S     0   29 . 8     2 : 54 . 04  oninit
  3647  root       15     0  1177m 578m 577m S     0   28 . 6     1 : 28 . 12  oninit
  3649  root       15     0  1177m 563m 562m S     0   27 . 8     0 : 57 . 24  oninit
  3650  root       15     0  1177m 549m 548m S     0   27 . 1     0 : 18 . 94  oninit
  3651  root       15     0  1177m 519m 518m S     0   25 . 6     0 : 10 . 99  oninit
...
Рейтинг: 0 / 0
02.12.2008, 10:57
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687196
Boya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Boya
Гость
В качестве железа используется сервер Xeon 3.0 двухядерный + 2Гб ОЗУ + Рейд 5лвл.
...
Рейтинг: 0 / 0
02.12.2008, 11:12
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687230
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
BoyaВозможно ли использование HDR сервера для запросов которые готовят отчеты?
Мы тестировали даже для Desktop OLAP - АтличнА! :)
Если железо первичного и вторичного похожи - приведите ещё конфиг первичного (будет дополнительная информация для анализа: на первичном же вы не очень сильно жаловались на загрузку...).
...
Рейтинг: 0 / 0
02.12.2008, 11:19
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687247
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
Спасибо за бережное отношение к нашему времени (я про "цитаты" конфига в небольшом объёме), но при такой постановке вопроса информации маловато... Меня в частности ещё:
1. ваш onstat -d и onstat -D интересует...
2. режим изоляции сессий, которые подготовку отчётов осуществляют
3. ну и как обычно от запросов и схемы многое зависит... При условии, что если на первичном "мы ничего подобного не наблюдаем" - приводите конфигурацию железа, ОС, версии IDS и их конфигураций на обеих серверах...



Важно: Перед тем, как задать вопрос в этом форуме, прочтите здесь
...
Рейтинг: 0 / 0
02.12.2008, 11:26
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687251
Boya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Boya
Гость
Железо на первичном:
2 х Xeon четыреядерных, 4Гб ОЗУ

парметры onconfig:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
MULTIPROCESSOR   1                #  0  for single-processor,  1  for multi-processor
NUMCPUVPS        8                # Number of user (cpu) vps
SINGLE_CPU_VP    0                # If non-zero, limit number of cpu vps to one


LOCKS            100000            # Maximum number of locks
NUMAIOVPS                       # Number of IO vps
PHYSBUFF         2048             # Physical log buffer size (Kbytes)
LOGBUFF          128              # Logical log buffer size (Kbytes)
CLEANERS         10               # Number of buffer cleaner processes
SHMBASE         0x44000000L     # Shared memory base address
SHMVIRTSIZE      1024000          # initial virtual shared memory segment size
SHMADD           65536            # Size of new shared memory segments (Kbytes)
EXTSHMADD        65536            # Size of new extension shared memory segments (
Kbytes)
SHMTOTAL         0                # Total shared memory (Kbytes).  0 =>unlimited
CKPTINTVL        90                # Check point interval (in sec)
TXTIMEOUT       0x12c             # Transaction timeout (in sec)
STACKSIZE        64               # Stack size (Kbytes)
STMT_CACHE       2 


# Parallel Database Queries (pdq)
MAX_PDQPRIORITY  1                # Maximum allowed pdqpriority
DS_MAX_QUERIES   32               # Maximum number of decision support queries
DS_TOTAL_MEMORY  32068            # Decision support memory (Kbytes)
DS_MAX_SCANS     1048576          # Maximum number of decision support scans
DS_NONPDQ_QUERY_MEM  128          # Non PDQ query memory (Kbytes)
DATASKIP        off             # List of dbspaces to skip

BUFFERPOOL      size=2K,buffers= 200000 ,lrus= 100 ,lru_min_dirty= 50 . 000000 ,lru_max_dirty= 60 . 000000 

SHMVIRT_ALLOCSEG  0 . 000000         # Values between  0  and . 99  are %, values >  1  are
VP_MEMORY_CACHE_KB  0 

EILSEQ_COMPAT_MODE  0
...
Рейтинг: 0 / 0
02.12.2008, 11:27
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687268
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
Ну вот, первый же мелкий вопрос в глаза бросается (хотя может не совсем в тему про загрузку процессора):
сервера работают как первичный и вторичный, следовательно чанки и пространства сконфигурированы одинаковы, а CLEANERS почему-то отличаются... :)
...
Рейтинг: 0 / 0
02.12.2008, 11:34
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687282
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
2. DS_NONPDQ_QUERY_MEM 128КБ на обоих - это смешно
3. "2 ядра + 2ГБ ОЗУ" vs "8 ядер + 4ГБ ОЗУ" - с выбором перенаправляемой "части потока запросов" не перестарались? попробуйте уменьшить эту перенаправляемую "часть потока"
...
Рейтинг: 0 / 0
02.12.2008, 11:39
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687294
Алексан
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Алексан
Участник
А мне в глаза бросилось, что на primary 8 вычислительных ядер, а на secondary - 2 :-))
...
Рейтинг: 0 / 0
02.12.2008, 11:41
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687462
Boya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Boya
Гость
Primary onstat -D

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
IBM Informix Dynamic Server Version  10 . 00 .UC6W5   -- On-Line (Prim) -- Up 10 days 13:52:27 -- 2642548 Kbytes

Dbspaces
address  number   flags      fchunk   nchunks  pgsize   flags    owner    name
5edd67e8  1         0x40002     1          1          2048      M  B     informix rootdbs
5f652638  2         0x42001     2          1          2048      N TB     informix tempdbs
5f652798  3         0x40001     3          2          2048      N  B     informix logdbs
5f6528f8  4         0x41001     4          1          2048      N  B     informix workdbs
5f652a58  5         0x40001     5          1          2048      N  B     informix work2
  5  active,  2047  maximum

Chunks
address  chunk/dbs     offset     page Rd  page Wr  pathname
5edd6948  1        1        0            50734      159626    /Buffer/informix/spaces/root.dbs
5edd6ad0  1        1        0            32999      159626    /Buffer/informix/spaces/root_mirror.dbs
5ef58db0  2        2        0            4739044    5152658   /Buffer/informix/spaces/temp.dbs
5f652018  3        3        0            1540       48394     /Buffer/informix/spaces/log.dbs
5f6521a0  4        4        0            52238921   160946    /Buffer/informix/spaces/work.dbs
5f652328  5        5        0            5453854    1156      /Buffer/informix/spaces/work2.dbs
5f6524b0  6        3        0            10         9000      /Buffer/informix/spaces/log2.dbs
  6  active,  32766  maximum

Secondary onstat -D


Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
IBM Informix Dynamic Server Version  10 . 00 .UC6W5   -- Read-Only (Sec) -- Up 19:50:59 -- 1188088 Kbytes

Dbspaces
address  number   flags      fchunk   nchunks  pgsize   flags    owner    name
6b7e07e8  1         0x40802     1          1          2048      ML B     informix rootdbs
6c0594b0  2         0x42001     2          1          2048      N TB     informix tempdbs
6c059610  3         0x40801     3          2          2048      NL B     informix logdbs
6c059770  4         0x41801     4          1          2048      NL B     informix workdbs
6c0598d0  5         0x40801     5          1          2048      NL B     informix work2
  5  active,  2047  maximum

Chunks
address  chunk/dbs     offset     page Rd  page Wr  pathname
6b7e0948  1        1        0            796        128580    /Buffer/informix/spaces/root.dbs
6b7e0ad0  1        1        0            737        128580    /Buffer/informix/spaces/root_mirror.dbs
6b99cc90  2        2        0            150797     172922    /Buffer/informix/spaces/temp.dbs
6b99ce18  3        3        0            87         47097     /Buffer/informix/spaces/log.dbs
6c059018  4        4        0            21869401   149089    /Buffer/informix/spaces/work.dbs
6c0591a0  5        5        0            475        1137      /Buffer/informix/spaces/work2.dbs
6c059328  6        3        0            20         9000      /Buffer/informix/spaces/log2.dbs
  6  active,  32766  maximum
...
Рейтинг: 0 / 0
02.12.2008, 12:21
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687542
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
Чанков 7 - вроде как на обоих серверах достаточно 7 CLEANERS...

Ну, с нагрузкой на процессоры вроде определились - у вас вторичный сервак в 4 раза по кол-ву ядер слабее, и это только грубо говоря: мы ведь ещё их точные характеристики не видели...

Если уж заниматься дальше производительностью - я, например, предпочёл бы на запросы этих славных отчётов смотреть...

Я правда не знаю, как часто вы статистику по серверам сбрасываете, может мой вывод и неправильный и в статистике сидит ещё и чтений чанков архивов нулевого уровня, но всё равно обратите внимание:

первичный сервер: Up 10 days 13:52:27
Код: plaintext
1.
2.
3.
address  chunk/dbs     offset     page Rd  page Wr  pathname
5f6521a0 4      4      0           52238921  160946   /Buffer/informix/spaces/work.dbs
5f652328 5      5      0          5453854  1156     /Buffer/informix/spaces/work2.dbs

вторичный сервер: Up 19:50:59
Код: plaintext
1.
2.
3.
address  chunk/dbs     offset     page Rd  page Wr  pathname
6c059018 4      4      0           21869401  149089   /Buffer/informix/spaces/work.dbs
6c0591a0 5      5      0          475      1137     /Buffer/informix/spaces/work2.dbs

Первичный работает 10,5 дней и успел начитать данных всего в 2.5 раза больше, чем вторичный сервер, который в Up менее суток...
...
Рейтинг: 0 / 0
02.12.2008, 12:47
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35687945
Boya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Boya
Гость
Есть основной сервер, на котором работала вся система, когда кол-во коннектов перевалило за 450, а "кризис" клюнул жареным петухом топ-менеджеров, активно начали юзать отчеты. Соответственно увеличилась нагрузка на основной сервер. Все работало, загрузки на нем процессоров под 100% не наблюдалось, но стала заметной задержка на транзакциях. Чтобы не мешать работать тем кто занимается оперативной информацией, было принято решение перевести тех кто готовит отчеты на отдельный сервер. Чтобы не заморачиваться с третьим сервером, решили на HDR перенаправить запросы по отчетам.

Статистика сбрасывал вчера около 14 часов дня, поэтому можно сказать что это статистика за сутки.
...
Рейтинг: 0 / 0
02.12.2008, 14:35
| Ответить | Цитировать | Написать  
Использование HDR сервера как отчетного
    #35688253
АнатоЛой
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
АнатоЛой
Участник
Boya
... основной сервер. Все работало, загрузки на нем процессоров под 100% не наблюдалось

это на 8 ядрах

Boya
но стала заметной задержка на транзакциях.

Судя по суммарным чтениям на первичном + вторичном - из-за сильного увеличения чтений с "рабочих" чанков, увеличения соответствующей нагрузки на буфера и т.д. и т.п. ...

Boya
Чтобы не мешать работать тем кто занимается оперативной информацией, было принято решение перевести тех кто готовит отчеты на отдельный сервер. Чтобы не заморачиваться с третьим сервером, решили на HDR перенаправить запросы по отчетам.

Если ВСЕХ отчётов, ну или "Всех кроме оперативной печати первичных документов" - то всё понятно, это же обычно минимум треть нагрузки на систему в целом...

Boya
Статистика сбрасывал вчера около 14 часов дня, поэтому можно сказать что это статистика за сутки.


Тогда моё подозрение верно - и нагрузка явно не соразмерна "железным" возможностям вторичного сервера при прочих равных условиях (объём и содержание запросов).

Или подымайте сервер на соответствующем железе и его в пару ставьте, или пробуйте оптимизировать отчёты... П.С.: "Или меняйте работу" (с) анекдот :)
...
Рейтинг: 0 / 0
02.12.2008, 15:40
| Ответить | Цитировать | Написать  
13 сообщений из 13, страница 1 из 1
Форумы / Informix [игнор отключен] [закрыт для гостей] / Использование HDR сервера как отчетного
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=44&msg=35687105&tid=1607943]:
 0ms
get settings:
 8ms
get forum list:
 13ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 55ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 44ms
get tp. blocked users:
 1ms
others: 14ms
total:  155ms
созд. / загр.: 155ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]