|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
Добрый день, подскажите плиз,зависит ли размер выделяемой памяти под backup от величины самой базы?Т.е. если бэкапить базу 100Гб и 200 сервер будет выделять разное количество памяти или данный процесс не зависит от размера? спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 16:45 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
LudeV, бэкап делается ontap'ом ... |
|||
:
Нравится:
Не нравится:
|
|||
07.09.2011, 16:45 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
Ничего сверх того что определено в onconfig в системе запрашиваться не должно ... |
|||
:
Нравится:
Не нравится:
|
|||
08.09.2011, 14:50 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
LudeVДобрый день, подскажите плиз,зависит ли размер выделяемой памяти под backup от величины самой базы?Т.е. если бэкапить базу 100Гб и 200 сервер будет выделять разное количество памяти или данный процесс не зависит от размера? спасибо Возможно, зависит от интенсивности использования БД на момент бэкапа. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.09.2011, 17:42 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
Для ontape вроде все конфигурируется самим сервером, т.е. настройки недоступны. Мб сервер как то их определяет исходя из заданных LTAPEBLK и TAPEBLK, которые ontape пишет на ленту/диск. Зато для onbar можно некоторые параметры конфигурировать (например кол-во буферов и размер каждого буфера используемые onbar). ... |
|||
:
Нравится:
Не нравится:
|
|||
09.09.2011, 09:43 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
Andron LTAPEBLK и TAPEBLK Это размер блока данных при записи. Сильно влияет на скорость бэкапа и только. В свое время была проблема с CCFLAG и процессы бэкапа под лупой разглядывали. Не берет движок дополнительно памяти во время работы ontape. ... |
|||
:
Нравится:
Не нравится:
|
|||
09.09.2011, 13:30 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
cprAndron LTAPEBLK и TAPEBLK Это размер блока данных при записи. Сильно влияет на скорость бэкапа и только. В свое время была проблема с CCFLAG и процессы бэкапа под лупой разглядывали. Не берет движок дополнительно памяти во время работы ontape. При бэкапе сервер читает данные в тот же самый buffer pool что и при нормальной работе. Буфер потом пересылается в кусок памяти выделенный для обмена с ontape / onbar. Так что всей дополнительной памяти - этот самый кусок. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2011, 02:03 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
ВыбегаллоТак что всей дополнительной памяти - этот самый кусок. А от чего зависит размер этой дополнительной памяти? Поиски по документации и форумам, увы не дали результатов. Столкнулся с похожей проблемой, на тестовом сервере приходится уменьшать буферный пул, для того чтобы сделать архив L0. В продакшене, этого сами понимаете, сделать нельзя будет. Не связано ли это с размером чанков, они в тестовом = 40тБ, а оперативки=16гБ. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.09.2011, 11:17 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
бэкап делается ontap'ом ... |
|||
:
Нравится:
Не нравится:
|
|||
20.09.2011, 06:14 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
victor16ВыбегаллоТак что всей дополнительной памяти - этот самый кусок. А от чего зависит размер этой дополнительной памяти? Поиски по документации и форумам, увы не дали результатов. Столкнулся с похожей проблемой, на тестовом сервере приходится уменьшать буферный пул, для того чтобы сделать архив L0. В продакшене, этого сами понимаете, сделать нельзя будет. Не связано ли это с размером чанков, они в тестовом = 40тБ, а оперативки=16гБ. 12K на коннекшн. Считай что ничего. Communications Portion of Shared Memory (UNIX) The database server allocates memory for the IPC communication portion of shared memory if you configure at least one of your connections as an IPC shared-memory connection. The database server performs this allocation when you set up shared memory. The communications portion contains the message buffers for local client applications that use shared memory to communicate with the database server. The size of the communications portion of shared memory equals approximately 12 kilobytes multiplied by the expected number of connections needed for shared-memory communications (nettype ipcshm). If nettype ipcshm is not present, the expected number of connections defaults to 50. For information about how a client attaches to the communications portion of shared memory, refer to How a Client Attaches to the Communications Portion (UNIX). ------------ С размером чанков никак не связано. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.09.2011, 08:00 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
Тогда мне не совсем понятно поведение сервера (v11.70FC3) после запуска ontape -s -L 0: Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28.
Слишком уж жирный дополнительный кусок памяти требует себе ontape. Кстати, onbar -b -L 0 ведет себя точно так же. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17.
... |
|||
:
Нравится:
Не нравится:
|
|||
20.09.2011, 09:02 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
victor16, Слишком уж жирный дополнительный кусок памяти требует себе ontape. размер куска выделяемой виртуальной памяти определен в onconfig,поэтому он его и выделяет. Это не зависит от способа бэкапа ... |
|||
:
Нравится:
Не нравится:
|
|||
21.09.2011, 12:21 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
LudeVvictor16Слишком уж жирный дополнительный кусок памяти требует себе ontape. размер куска выделяемой виртуальной памяти определен в onconfig,поэтому он его и выделяет. Это не зависит от способа бэкапа Размер куска выделяемой виртуальной памяти определен в onconfig и он равен конкретному числу. Кстати, victor16, а где ваш onconfig? :) Вопрос: но ведь в логе куски выделяются разных размеров: 08:51:15 Dynamically allocated new virtual shared memory segment (size 512 000KB) 08:51:15 Dynamically allocated new virtual shared memory segment (size 3 978 800KB) 08:51:33 Dynamically allocated new virtual shared memory segment (size 11 212KB) 08:51:45 Dynamically allocated new virtual shared memory segment (size 11 212KB) 09:00:00 Dynamically allocated new virtual shared memory segment (size 523 212KB) Вопросы остались... 1. Почему разные? 2. Почему такие большие? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.09.2011, 12:41 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
АнатоЛойВопросы остались... 1. Почему разные? 2. Почему такие большие? Это мне и самому непонятно. Ниже параметры, относящиеся к разделяемой памяти: onconfig Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8.
... |
|||
:
Нравится:
Не нравится:
|
|||
21.09.2011, 17:36 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
честно говоря че віделяются такими кусками непонятно, людей, работающих с 40Т не так уж и много наверное на более скромной БД, нет 1 Тб даже, віделяется только где-то около 34М 11.50.FC5W2 tid name rstcb flags curstk status 74372706 ontape 6777cc2b8 Y-AP--M 7839 cond wait netnorm - 74372733 arcbacku 8130a48b8 ------- 4271 sleeping secs: 1 - 74372734 arcbacku 5c15e8568 ------- 3247 sleeping secs: 1 - Memory pools count 2 name class addr totalsize freesize #allocfrag #freefrag 28292005 V 6e9c60040 34029568 75464 150 33 28292005*O0 V 5dfd5b040 4096 808 1 1 name free used name free used overhead 0 6576 scb 0 144 opentable 0 7016 filetable 0 1512 log 0 49608 temprec 0 13472 keys 0 640 gentcb 0 2992 ostcb 0 2816 net 0 33823800 sort 0 136 sqscb 0 20168 sql 0 72 rdahead 0 2144 hashfiletab 0 1656 osenv 0 3904 sqtcb 0 19800 fragman 0 80 GenPg 0 856 основная часть которого net 0 33823800 С другой стороны: [zaiets@lisa ~]# onstat -g mem | grep 2829200 28292005 V 6e9c60040 34029568 75464 150 33 28292005*O0 V 5dfd5b040 4096 808 1 1 arc_2829200 V 94e89e040 77783040 614200 527 192 arc_2829200 V 99f97fd18 663552 162 arc_2829200 V 99f97fe80 0 0 arc_ пулы в onstat -g ses не попадают итого имеем около 111М на сессию ontape при размере бекапа около 780G сам ontape тоже память ест prstat out: PID USERNAME SIZE RSS STATE PRI NICE TIME CPU PROCESS/NLWP 4388 infbck 541M 85M sleep 60 2 1:21:49 1.3% ontape/1 Посмотрите какой пул у вас ест память, м.б. у вас банальная бага связанная с утечкой памяти? В итоге получаем, что размер не так уж относительно и мал. Далее, Informix гарантирует что мы получаем целостный бекап на момент начала запуска бекапа, этот факт тоже может нести некоторую нагрузку на память. Лучше, конечно, спросить у саппорта какие зависимости, он и здесь иногда бывает. Саппорт, может ответите без обрашения? Если исходя из arc_2829200 V 94e89e040 77783040 614200 527 192 прикинуть, что на 1Т нужно около 100М то на 40 получается что около 4Г victo16 - у вас не столько получается? По поводу выделения памяти разными кусками - вполне реально могли из самых лучший побуждений прошить выделение сегментов вирт. памяти для нитей бекапа указанного размера, чтобы не выделить больше чем нужно :) Думаю конфигураций подобных вашей тоже немного - 40Т и 16Г памяти из которых почти вся память в буферном пуле. Большинство систем с которыми сталкивался имели значительный кусок вирт. памяти. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2011, 00:07 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2011, 07:38 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
яфшуеіДалее, Informix гарантирует что мы получаем целостный бекап на момент начала запуска бекапа, этот факт тоже может нести некоторую нагрузку на память. До сего момента свято был уверен, что основные накладные расходы - это физический журнал. Если посмотреть на оценку от яфшуеі, то соотношение где-то 1:10 000. Смутные подозрения, что это соотношение близко к размеру страницы. Похоже на оптимизацию алгоритма бекапа по скорости (что при таких объёмах БД пошло сильно в ущерб оперативке)... Но всё это смутные догадки ещё не очень проснувшегося с утра мозга :). ... |
|||
:
Нравится:
Не нравится:
|
|||
22.09.2011, 07:50 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
АнатоЛойяфшуеіДалее, Informix гарантирует что мы получаем целостный бекап на момент начала запуска бекапа, этот факт тоже может нести некоторую нагрузку на память. До сего момента свято был уверен, что основные накладные расходы - это физический журнал. Если посмотреть на оценку от яфшуеі, то соотношение где-то 1:10 000. Смутные подозрения, что это соотношение близко к размеру страницы. Похоже на оптимизацию алгоритма бекапа по скорости (что при таких объёмах БД пошло сильно в ущерб оперативке)... Но всё это смутные догадки ещё не очень проснувшегося с утра мозга :). Я уже деталей алгоритма бэкапа не помню, да он и поменяться мог, но, возможно, это память под список обработанных страниц... ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2011, 11:34 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
ВыбегаллоАнатоЛойпропущено... До сего момента свято был уверен, что основные накладные расходы - это физический журнал. Если посмотреть на оценку от яфшуеі, то соотношение где-то 1:10 000. Смутные подозрения, что это соотношение близко к размеру страницы. Похоже на оптимизацию алгоритма бекапа по скорости (что при таких объёмах БД пошло сильно в ущерб оперативке)... Но всё это смутные догадки ещё не очень проснувшегося с утра мозга :). Я уже деталей алгоритма бэкапа не помню, да он и поменяться мог, но, возможно, это память под список обработанных страниц... ЗА-ЧЕМ бэкапу память "списка обработаных страниц" ? Предполагается что он их НЕ последовательно по dbspace считывает ??? Не, ну наверно и так можно, но не слишком ли ммммм оригинально ? Особенно при восстановлении - вместо того что бы последовательно потоком из бэкапа читать и сразу последовательно потоком писать, начнётся постоянный сик по диску на запись и в бэкапе оверхид перед каждой страницей хранить её позицию в dbspace.... Так что не верится что-то в не последовательный бэкап.... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.09.2011, 23:13 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
LudeV, Вы так ничего и не ответили про значения параметров TAPEBLK и LTAPEBLK... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2011, 13:08 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
ибо на просторах инета попалось ненавязчивое: "ontape can take a large amount of memory if configured wrong. Please check the units in the onconfig for the tape blocks. in general it will take (TAPEBLK * ARCHIVE_BUF_COUNT). TAPEBLK ===> the size of the tape block as set in the onconfig (set as KB, not bytes) ARCHIVE_BUF_COUNT ====> Defaults to 3, or as set the by the environment variables when start ontape..." ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2011, 16:06 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
АнатоЛойARCHIVE_BUF_COUNT ====> Defaults to 3, or as set the by the environment variables when start ontape..." Кстати, загадочный ARCHIVE_BUF_COUNT не документирован. Официальное упоминание нашлось только здесь . Всё остальное: конференции IIUG... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2011, 17:38 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
АнатоЛойАнатоЛойARCHIVE_BUF_COUNT ====> Defaults to 3, or as set the by the environment variables when start ontape..." Кстати, загадочный ARCHIVE_BUF_COUNT не документирован. Официальное упоминание нашлось только здесь . Всё остальное: конференции IIUG... И в официальной ссылке написано "4", а не "3" по умолчанию... ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2011, 17:39 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
Пришлось чуть поправить SYSALARMPROGRAM. Дамп показал, что при запуске архива стартует нить ontape, которая, как мне кажется, не имеет ничего общего с утилитой ontape. Она требует выделения пула arc_<номер сессии_нити_ontape>, размер которого и оказывается слишком велик. Как ранее показал яфшуеі: Код: plaintext 1. 2.
Код: plaintext
Что касается размера базы, то она на самом деле не такая уж и большая, поскольку тестовая. По 4тБ имеют размер сами чанки (их 3), самих данных в них немного. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.09.2011, 23:51 |
|
размер выделяемой памяти при старте backup'а
|
|||
---|---|---|---|
#18+
[quot victor16]Пришлось чуть поправить SYSALARMPROGRAM. Дамп показал, что при запуске архива стартует нить ontape, которая, как мне кажется, не имеет ничего общего с утилитой ontape. Она требует выделения пула arc_<номер сессии_нити_ontape>, размер которого и оказывается слишком велик. /quot] Странный вывод про "ничего общего". Есть старые материалы конференции. В них даже скупо роль нити описана :). Из этой же доки следует что хорошо документирован был старый алгоритм - а 5-ой версии информикса :(. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.09.2011, 00:12 |
|
|
start [/forum/topic.php?fid=44&msg=37450981&tid=1607264]: |
0ms |
get settings: |
22ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
53ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
521ms |
get tp. blocked users: |
2ms |
others: | 343ms |
total: | 980ms |
0 / 0 |