Гость
Map
Форумы / Informix [игнор отключен] [закрыт для гостей] / размер выделяемой памяти при старте backup'а / 25 сообщений из 34, страница 1 из 2
07.09.2011, 16:45
    #37429414
LudeV
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
Добрый день,

подскажите плиз,зависит ли размер выделяемой памяти под backup от величины самой базы?Т.е. если бэкапить базу 100Гб и 200 сервер будет выделять разное количество памяти или данный процесс не зависит от размера?
спасибо
...
Рейтинг: 0 / 0
07.09.2011, 16:45
    #37429418
LudeV
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
LudeV,

бэкап делается ontap'ом
...
Рейтинг: 0 / 0
08.09.2011, 14:50
    #37430821
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
Ничего сверх того что определено в onconfig в системе запрашиваться не должно
...
Рейтинг: 0 / 0
08.09.2011, 17:42
    #37431334
vasilis
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
LudeVДобрый день,

подскажите плиз,зависит ли размер выделяемой памяти под backup от величины самой базы?Т.е. если бэкапить базу 100Гб и 200 сервер будет выделять разное количество памяти или данный процесс не зависит от размера?
спасибо
Возможно, зависит от интенсивности использования БД на момент бэкапа.
...
Рейтинг: 0 / 0
09.09.2011, 09:43
    #37432052
Andron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
Для ontape вроде все конфигурируется самим сервером, т.е. настройки недоступны. Мб сервер как то их определяет исходя из заданных LTAPEBLK и TAPEBLK, которые ontape пишет на ленту/диск. Зато для onbar можно некоторые параметры конфигурировать (например кол-во буферов и размер каждого буфера используемые onbar).
...
Рейтинг: 0 / 0
09.09.2011, 13:30
    #37432624
cpr
cpr
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
Andron LTAPEBLK и TAPEBLK

Это размер блока данных при записи. Сильно влияет на скорость бэкапа и только. В свое время была проблема с CCFLAG и процессы бэкапа под лупой разглядывали. Не берет движок дополнительно памяти во время работы ontape.
...
Рейтинг: 0 / 0
12.09.2011, 02:03
    #37435369
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
cprAndron LTAPEBLK и TAPEBLK

Это размер блока данных при записи. Сильно влияет на скорость бэкапа и только. В свое время была проблема с CCFLAG и процессы бэкапа под лупой разглядывали. Не берет движок дополнительно памяти во время работы ontape.

При бэкапе сервер читает данные в тот же самый buffer pool что и при нормальной работе. Буфер потом пересылается в кусок памяти выделенный для обмена с ontape / onbar. Так что всей дополнительной памяти - этот самый кусок.
...
Рейтинг: 0 / 0
19.09.2011, 11:17
    #37445943
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
ВыбегаллоТак что всей дополнительной памяти - этот самый кусок.
А от чего зависит размер этой дополнительной памяти? Поиски по документации и форумам, увы не дали результатов.
Столкнулся с похожей проблемой, на тестовом сервере приходится уменьшать буферный пул, для того чтобы сделать архив L0.
В продакшене, этого сами понимаете, сделать нельзя будет.
Не связано ли это с размером чанков, они в тестовом = 40тБ, а оперативки=16гБ.
...
Рейтинг: 0 / 0
20.09.2011, 06:14
    #37447280
kaixin
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
бэкап делается ontap'ом
...
Рейтинг: 0 / 0
20.09.2011, 08:00
    #37447308
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
victor16ВыбегаллоТак что всей дополнительной памяти - этот самый кусок.
А от чего зависит размер этой дополнительной памяти? Поиски по документации и форумам, увы не дали результатов.
Столкнулся с похожей проблемой, на тестовом сервере приходится уменьшать буферный пул, для того чтобы сделать архив L0.
В продакшене, этого сами понимаете, сделать нельзя будет.
Не связано ли это с размером чанков, они в тестовом = 40тБ, а оперативки=16гБ.

12K на коннекшн. Считай что ничего.

Communications Portion of Shared Memory (UNIX)

The database server allocates memory for the IPC communication portion of shared memory if you configure at least one of your connections as an IPC shared-memory connection. The database server performs this allocation when you set up shared memory. The communications portion contains the message buffers for local client applications that use shared memory to communicate with the database server.

The size of the communications portion of shared memory equals approximately 12 kilobytes multiplied by the expected number of connections needed for shared-memory communications (nettype ipcshm). If nettype ipcshm is not present, the expected number of connections defaults to 50. For information about how a client attaches to the communications portion of shared memory, refer to How a Client Attaches to the Communications Portion (UNIX).

------------

С размером чанков никак не связано.
...
Рейтинг: 0 / 0
20.09.2011, 09:02
    #37447352
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
Тогда мне не совсем понятно поведение сервера (v11.70FC3)
после запуска ontape -s -L 0:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
08:51:15  Dynamically allocated new virtual shared memory segment (size 512000KB)
08:51:15  Memory sizes:resident:8949760 KB, virtual:2560228 KB, SHMTOTAL:15500000 KB
08:51:15  Dynamically allocated new virtual shared memory segment (size 3978800KB)
08:51:15  Memory sizes:resident:8949760 KB, virtual:6539028 KB, SHMTOTAL:15500000 KB
08:51:33  Dynamically allocated new virtual shared memory segment (size 11212KB)
08:51:33  Memory sizes:resident:8949760 KB, virtual:6550240 KB, SHMTOTAL:15500000 KB
08:51:33  Size of resident + virtual segments 8949760KB + 10529040KB > 15500000KB
08:51:33          total allowed by configuration parameter SHMTOTAL
08:51:33  The out of shared memory error has been encountered 2 times since it was last printed to the log.
08:51:33  out of virtual shared memory

08:51:35  Attempting to free unused operating system segments.  This
operation may take several minutes.
08:51:43  Freed 1 shared memory segment(s) (11481088 bytes)

08:51:45  Dynamically allocated new virtual shared memory segment (size 11212KB)
08:51:45  Memory sizes:resident:8949760 KB, virtual:6550240 KB, SHMTOTAL:15500000 KB
08:51:45  CDR 4026531841 byte memory allocation failed (Pool:arc_4398 Thread:ontape).
08:51:45  Assert Warning: ISAM error:  An error has occurred during archive back up.

08:51:45  IBM Informix Dynamic Server Version 11.70.FC3X3
08:51:45   Who: Session(4398, informix@server1, 29596, 0x2a1ff8888)
                Thread(5072, ontape, 267be2be0, 18)
                File: rsarcutl.c Line: 133
08:51:45   Action: init_arcbu()/SCBMALLOC()
08:51:45  stack trace for pid 23746 written to /opt/IBM/informix/tmp/af.17b81be1
08:51:46   See Also: /opt/IBM/informix/tmp/af.17b81be1
08:51:47  ISAM error:  An error has occurred during archive back up.

Слишком уж жирный дополнительный кусок памяти требует себе ontape.

Кстати, onbar -b -L 0 ведет себя точно так же.
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
09:00:00  Dynamically allocated new virtual shared memory segment (size 523212KB)
09:00:00  Memory sizes:resident:8949760 KB, virtual:6550240 KB, SHMTOTAL:15500000 KB
09:00:00  CDR 4026531841 byte memory allocation failed (Pool:arc_4404 Thread:ontape).
09:00:01  Assert Warning: ISAM error:  An error has occurred during archive back up.

09:00:01  IBM Informix Dynamic Server Version 11.70.FC3X3
09:00:01   Who: Session(4404, informix@ыукмук1, 29737, 0x29aa63f48)
                Thread(5078, ontape, 2abc38c60, 17)
                File: rsarcutl.c Line: 133
09:00:01   Action: init_arcbu()/SCBMALLOC()
09:00:01  stack trace for pid 23745 written to /opt/IBM/informix/tmp/af.17be1dd0
09:00:01   See Also: /opt/IBM/informix/tmp/af.17be1dd0
09:00:02  ISAM error:  An error has occurred during archive back up.

09:00:04  Attempting to free unused operating system segments.  This
operation may take several minutes.
09:00:06  Freed 2 shared memory segment(s) (4610060288 bytes)
Поэтому мне немного непонятно.
...
Рейтинг: 0 / 0
21.09.2011, 12:21
    #37449520
LudeV
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
victor16,

Слишком уж жирный дополнительный кусок памяти требует себе ontape.

размер куска выделяемой виртуальной памяти определен в onconfig,поэтому он его и выделяет.
Это не зависит от способа бэкапа
...
Рейтинг: 0 / 0
21.09.2011, 12:41
    #37449575
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
LudeVvictor16Слишком уж жирный дополнительный кусок памяти требует себе ontape.

размер куска выделяемой виртуальной памяти определен в onconfig,поэтому он его и выделяет.
Это не зависит от способа бэкапа
Размер куска выделяемой виртуальной памяти определен в onconfig и он равен конкретному числу. Кстати, victor16, а где ваш onconfig? :)

Вопрос: но ведь в логе куски выделяются разных размеров:
08:51:15 Dynamically allocated new virtual shared memory segment (size 512 000KB)
08:51:15 Dynamically allocated new virtual shared memory segment (size 3 978 800KB)
08:51:33 Dynamically allocated new virtual shared memory segment (size 11 212KB)
08:51:45 Dynamically allocated new virtual shared memory segment (size 11 212KB)
09:00:00 Dynamically allocated new virtual shared memory segment (size 523 212KB)

Вопросы остались...
1. Почему разные?
2. Почему такие большие?
...
Рейтинг: 0 / 0
21.09.2011, 17:36
    #37450365
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
АнатоЛойВопросы остались...
1. Почему разные?
2. Почему такие большие?

Это мне и самому непонятно.

Ниже параметры, относящиеся к разделяемой памяти:
onconfig
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
RESIDENT      1
SHMBASE       0x44000000L
SHMVIRTSIZE   512000
SHMADD        512000
EXTSHMADD     512000
SHMTOTAL      15500000
SHMVIRT_ALLOCSEG 0,3
SHMNOACCESS 
...
Рейтинг: 0 / 0
22.09.2011, 00:07
    #37450854
яфшуеі
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
честно говоря че віделяются такими кусками непонятно, людей, работающих с 40Т не так уж и много наверное
на более скромной БД, нет 1 Тб даже, віделяется только где-то около 34М
11.50.FC5W2

tid name rstcb flags curstk status
74372706 ontape 6777cc2b8 Y-AP--M 7839 cond wait netnorm -
74372733 arcbacku 8130a48b8 ------- 4271 sleeping secs: 1 -
74372734 arcbacku 5c15e8568 ------- 3247 sleeping secs: 1 -

Memory pools count 2
name class addr totalsize freesize #allocfrag #freefrag
28292005 V 6e9c60040 34029568 75464 150 33
28292005*O0 V 5dfd5b040 4096 808 1 1

name free used name free used
overhead 0 6576 scb 0 144
opentable 0 7016 filetable 0 1512
log 0 49608 temprec 0 13472
keys 0 640 gentcb 0 2992
ostcb 0 2816 net 0 33823800
sort 0 136 sqscb 0 20168
sql 0 72 rdahead 0 2144
hashfiletab 0 1656 osenv 0 3904
sqtcb 0 19800 fragman 0 80
GenPg 0 856

основная часть которого
net 0 33823800

С другой стороны:
[zaiets@lisa ~]# onstat -g mem | grep 2829200
28292005 V 6e9c60040 34029568 75464 150 33
28292005*O0 V 5dfd5b040 4096 808 1 1
arc_2829200 V 94e89e040 77783040 614200 527 192
arc_2829200 V 99f97fd18 663552 162
arc_2829200 V 99f97fe80 0 0

arc_ пулы в onstat -g ses не попадают
итого имеем около 111М на сессию ontape при размере бекапа около 780G

сам ontape тоже память ест
prstat out:
PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP
4388 infbck 541M 85M sleep 60 2 1:21:49 1.3% ontape/1

Посмотрите какой пул у вас ест память, м.б. у вас банальная бага связанная с утечкой памяти?

В итоге получаем, что размер не так уж относительно и мал.

Далее, Informix гарантирует что мы получаем целостный бекап на момент начала запуска бекапа,
этот факт тоже может нести некоторую нагрузку на память.

Лучше, конечно, спросить у саппорта какие зависимости, он и здесь иногда бывает.
Саппорт, может ответите без обрашения?

Если исходя из
arc_2829200 V 94e89e040 77783040 614200 527 192

прикинуть, что на 1Т нужно около 100М
то на 40
получается что около 4Г
victo16 - у вас не столько получается?

По поводу выделения памяти разными кусками - вполне реально могли из самых лучший побуждений прошить выделение сегментов вирт. памяти для нитей бекапа указанного размера, чтобы не выделить больше чем нужно :)

Думаю конфигураций подобных вашей тоже немного - 40Т и 16Г памяти из которых почти вся память в буферном пуле.
Большинство систем с которыми сталкивался имели значительный кусок вирт. памяти.
...
Рейтинг: 0 / 0
22.09.2011, 07:38
    #37450981
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
яфшуеіС другой стороны:
[ zaiets@lisa ~]# ...
жжёшь :)
...
Рейтинг: 0 / 0
22.09.2011, 07:50
    #37450986
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
яфшуеіДалее, Informix гарантирует что мы получаем целостный бекап на момент начала запуска бекапа,
этот факт тоже может нести некоторую нагрузку на память.
До сего момента свято был уверен, что основные накладные расходы - это физический журнал.

Если посмотреть на оценку от яфшуеі, то соотношение где-то 1:10 000.
Смутные подозрения, что это соотношение близко к размеру страницы.
Похоже на оптимизацию алгоритма бекапа по скорости (что при таких объёмах БД пошло сильно в ущерб оперативке)... Но всё это смутные догадки ещё не очень проснувшегося с утра мозга :).
...
Рейтинг: 0 / 0
24.09.2011, 11:34
    #37454624
Выбегалло
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
АнатоЛойяфшуеіДалее, Informix гарантирует что мы получаем целостный бекап на момент начала запуска бекапа,
этот факт тоже может нести некоторую нагрузку на память.
До сего момента свято был уверен, что основные накладные расходы - это физический журнал.

Если посмотреть на оценку от яфшуеі, то соотношение где-то 1:10 000.
Смутные подозрения, что это соотношение близко к размеру страницы.
Похоже на оптимизацию алгоритма бекапа по скорости (что при таких объёмах БД пошло сильно в ущерб оперативке)... Но всё это смутные догадки ещё не очень проснувшегося с утра мозга :).

Я уже деталей алгоритма бэкапа не помню, да он и поменяться мог, но, возможно, это память под список обработанных страниц...
...
Рейтинг: 0 / 0
25.09.2011, 23:13
    #37455312
размер выделяемой памяти при старте backup'а
ВыбегаллоАнатоЛойпропущено...

До сего момента свято был уверен, что основные накладные расходы - это физический журнал.

Если посмотреть на оценку от яфшуеі, то соотношение где-то 1:10 000.
Смутные подозрения, что это соотношение близко к размеру страницы.
Похоже на оптимизацию алгоритма бекапа по скорости (что при таких объёмах БД пошло сильно в ущерб оперативке)... Но всё это смутные догадки ещё не очень проснувшегося с утра мозга :).

Я уже деталей алгоритма бэкапа не помню, да он и поменяться мог, но, возможно, это память под список обработанных страниц...
ЗА-ЧЕМ бэкапу память "списка обработаных страниц" ? Предполагается что он их НЕ последовательно по dbspace считывает ???

Не, ну наверно и так можно, но не слишком ли ммммм оригинально ?

Особенно при восстановлении - вместо того что бы последовательно потоком из бэкапа читать и сразу последовательно потоком писать, начнётся постоянный сик по диску на запись и в бэкапе оверхид перед каждой страницей хранить её позицию в dbspace....

Так что не верится что-то в не последовательный бэкап....
...
Рейтинг: 0 / 0
26.09.2011, 13:08
    #37455840
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
LudeV, Вы так ничего и не ответили про значения параметров TAPEBLK и LTAPEBLK...
...
Рейтинг: 0 / 0
26.09.2011, 16:06
    #37455989
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
ибо на просторах инета попалось ненавязчивое:
"ontape can take a large amount of memory if configured wrong. Please check the units in the onconfig for the tape blocks. in general it will take (TAPEBLK * ARCHIVE_BUF_COUNT).

TAPEBLK ===> the size of the tape block as set in the onconfig (set as KB, not bytes)

ARCHIVE_BUF_COUNT ====> Defaults to 3, or as set the by the environment variables when start ontape..."
...
Рейтинг: 0 / 0
26.09.2011, 17:38
    #37456122
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
АнатоЛойARCHIVE_BUF_COUNT ====> Defaults to 3, or as set the by the environment variables when start ontape..."
Кстати, загадочный ARCHIVE_BUF_COUNT не документирован.
Официальное упоминание нашлось только здесь .
Всё остальное: конференции IIUG...
...
Рейтинг: 0 / 0
26.09.2011, 17:39
    #37456125
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
АнатоЛойАнатоЛойARCHIVE_BUF_COUNT ====> Defaults to 3, or as set the by the environment variables when start ontape..."
Кстати, загадочный ARCHIVE_BUF_COUNT не документирован.
Официальное упоминание нашлось только здесь .
Всё остальное: конференции IIUG...
И в официальной ссылке написано "4", а не "3" по умолчанию...
...
Рейтинг: 0 / 0
26.09.2011, 23:51
    #37456549
victor16
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
Пришлось чуть поправить SYSALARMPROGRAM. Дамп показал, что при запуске архива стартует нить ontape, которая, как мне кажется, не имеет ничего общего с утилитой ontape. Она требует выделения пула arc_<номер сессии_нити_ontape>, размер которого и оказывается слишком велик. Как ранее показал яфшуеі:
Код: plaintext
1.
2.
[zaiets@lisa ~]# onstat -g mem | grep 2829200
arc_2829200 V 94e89e040  77783040  614200 527 192
У меня тоже самое:
Код: plaintext
arc_62       V     29b863040         4272496640        52688            50         17        
Выделенное - это размер дополнителного пула, распределяемого нитью ontape. От чего зависит размер этого пула и почему он такой большой, все еще остается загадкой. Переменная окружения ARCHIVE_BUF_COUNT никак не влияет на размер этого пула, она влияет только на дополнительную память для обмена с утилитой ontape (совместно с конфигурационным параметром TAPEBLK, у меня =100).
Что касается размера базы, то она на самом деле не такая уж и большая, поскольку тестовая. По 4тБ имеют размер сами чанки (их 3), самих данных в них немного.
...
Рейтинг: 0 / 0
27.09.2011, 00:12
    #37456565
АнатоЛой
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
размер выделяемой памяти при старте backup'а
[quot victor16]Пришлось чуть поправить SYSALARMPROGRAM. Дамп показал, что при запуске архива стартует нить ontape, которая, как мне кажется, не имеет ничего общего с утилитой ontape. Она требует выделения пула arc_<номер сессии_нити_ontape>, размер которого и оказывается слишком велик. /quot]
Странный вывод про "ничего общего".
Есть старые материалы конференции. В них даже скупо роль нити описана :). Из этой же доки следует что хорошо документирован был старый алгоритм - а 5-ой версии информикса :(.
...
Рейтинг: 0 / 0
Форумы / Informix [игнор отключен] [закрыт для гостей] / размер выделяемой памяти при старте backup'а / 25 сообщений из 34, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]