|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Добрый день. Имеем сервер 1с x64 и sql на postgre, 5 баз данных. При создании резервной копии c помощью pg_dump все базы резервируются и восстанавливаются без проблем, кроме одной, самой большой и самой главной. При ошибке резервирования в логах скрипта написано следующее: pg_dump: Ошибка выгрузки таблицы "config": сбой в PQgetResult(). pg_dump: Сообщение об ошибке с сервера: РћРЁРБКА: invalid memory alloc request size 1653414485 pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout; В логах самого postgree написано следующее: 2018-09-23 19:05:27.164 GMT [3044] ОШИБКА: invalid memory alloc request size 1653414485 2018-09-23 19:05:27.164 GMT [3044] ОПЕРАТОР: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout; 2018-09-23 19:05:27.232 GMT [3044] СООБЩЕНИЕ: не удалось получить данные от клиента: An established connection was aborted by the software in your host machine. На сервере i7 проц 3,4, 32 Гб оперативки, сервер на винде. Если нужные еще какие либо параметры, готов предоставить. Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2018, 22:45 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
John39, А база у вас точно 64битная? Размер конфига какой то пугающий. Для интереса что показывает на ЭТОЙ КОНКРЕТНОЙ базе select filename, datasize, length(binarydata::text) from public.config order by datasize; или если и этот запрос дает похожую ошибку то select filename, datasize from public.config order by datasize; PS: а вообще в поддержку 1С с такими вопросами... особенно про public.config. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2018, 23:23 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Maxim Boguk, select filename, datasize, length(binarydata::text) from public.config order by datasize; Показывает Запрос завершён успешно, время выполнения: 11 secs 247 msec. И больше ничего. Запрос select filename, datasize from public.config order by datasize; Показывает 32126 строк. В логах ошибки нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2018, 23:47 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
База x64 - это точно. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2018, 23:48 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Со второго раза по первому запросу выдало следующее ERROR: ОШИБКА: invalid memory alloc request size 18446744071811427555 SQL-состояние: XX000 ... |
|||
:
Нравится:
Не нравится:
|
|||
23.09.2018, 23:49 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
John39Со второго раза по первому запросу выдало следующее ERROR: ОШИБКА: invalid memory alloc request size 18446744071811427555 SQL-состояние: XX000 Ого а версия базы у вас какая? Походу одна из записей в config побита... какая и почему - так просто в пределах форума определять можно долго. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 00:10 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Maxim Boguk, Версия базы в каком смысле? Если postgree то 10.5 x64, если 1С то 8.3.12.1616. В логах и написано что ошибка выгрузки таблицы public.config. Однако 1С работает без проблем, DT выгружается и никаких проблем нет, кроме проблемы в бекапом sql. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 00:39 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
John39Maxim Boguk, Версия базы в каком смысле? Если postgree то 10.5 x64, если 1С то 8.3.12.1616. В логах и написано что ошибка выгрузки таблицы public.config. Однако 1С работает без проблем, DT выгружается и никаких проблем нет, кроме проблемы в бекапом sql. Какая то из строчек в таблице public.config побитая без вариантов почти. Скорее всего не используемая 1С (если она действительно без проблем работает). Найти какая - можно перебором всех имеющихся там filename и если эта строчка реально не нужна то удалить ее и backup заработает. Еще возможно уж вас in-memory corruption и тогда рестарт базы может все вылечить. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 01:00 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Maxim BogukКакая то из строчек в таблице public.config побитая без вариантов почти. Скорее всего не используемая 1С (если она действительно без проблем работает). Найти какая - можно перебором всех имеющихся там filename и если эта строчка реально не нужна то удалить ее и backup заработает. Еще возможно уж вас in-memory corruption и тогда рестарт базы может все вылечить. Да, с 1с проблем нет, ну или я о них не знаю. По поводу перебора, можете подсказать что и как перебирать? Что искать и как удалить, желательно на пальцах, потому что опыта работы с БД у меня практически нет, мое дело сети, ПК и прочее. Рестарт базы я делал не раз, и службу перезапускал, и сам сервер перезагружал, это не помогает. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 01:27 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
John39pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout; Вызвало сомнение - зачем копировать в stdout? Я повадился копировать в tar-файл и после подбора параметров архивации проблемы не возникали. Может, и вам надо подобрать ключи программы pg_dump. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 09:41 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Partisan M, со стороны базы pg_dump всегда делает то stdout. В конкретные форматы пишет сам pg_dump то что прочитал от базы, а не непосредственно база. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 10:27 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Partisan MJohn39pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout; Вызвало сомнение - зачем копировать в stdout? Я повадился копировать в tar-файл и после подбора параметров архивации проблемы не возникали. Может, и вам надо подобрать ключи программы pg_dump. Попробовал, результат такой же, валится в этом же месте. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.09.2018, 23:16 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
Ошибка "invalid memory alloc request size ...." вываливается в Postgres при работе с УПП начиная с релиза 1.3.112.4 - у всех, если в конфигурации включена возможность изменения. Причина в том, что вся конфигурация поставщика хранится в одном поле типа binarydata , в таблице config, и начиная с этого релиза она достигает размера, который не переваривает тип binarydata. Хотя официально максимальный размер поля 1ГБ, по факту binarydata не тянет более 0,5ГБ. Возможно, связано с тем, что binarydata сначала выгружается в оперативку в полном объеме и затем обрабатывается. Казалось, бы спасут большие значений work_mem в конфигурации postgres, но не прокатывает... Имеется возможность избавления от ошибки: снять с поддержки конф., или убрать возможность ее изменения (замок) - т.е. через удаление конфигурации поставщика и соотв. удаление, мешающей строки из таб. config - но это на любителя... Есть у кого-нибудь альтернативные варианты лечения? ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2018, 14:42 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
foxvookОшибка "invalid memory alloc request size ...." вываливается в Postgres при работе с УПП начиная с релиза 1.3.112.4 - у всех, если в конфигурации включена возможность изменения. Причина в том, что вся конфигурация поставщика хранится в одном поле типа binarydata , в таблице config, и начиная с этого релиза она достигает размера, который не переваривает тип binarydata. Хотя официально максимальный размер поля 1ГБ, по факту binarydata не тянет более 0,5ГБ. Возможно, связано с тем, что binarydata сначала выгружается в оперативку в полном объеме и затем обрабатывается. Казалось, бы спасут большие значений work_mem в конфигурации postgres, но не прокатывает... Имеется возможность избавления от ошибки: снять с поддержки конф., или убрать возможность ее изменения (замок) - т.е. через удаление конфигурации поставщика и соотв. удаление, мешающей строки из таб. config - но это на любителя... Есть у кого-нибудь альтернативные варианты лечения? Это вопрос чисто по 1С. В Postgresql НЕТ и не будет в разумном будущем возможности pg_dump полей размером больше 512MB. Я бы скорее поинтересовался у 1C что можно было в конфигурацию засунуть чтобы она полгига занимала (для меня это загадка). Альтернативное решение basebackup вместо pg_dump (он еще и быстрее скорее всего будет). ... |
|||
:
Нравится:
Не нравится:
|
|||
14.11.2018, 15:48 |
|
Проблема при создании резервной копии pg_dump
|
|||
---|---|---|---|
#18+
авторЯ бы скорее поинтересовался у 1C что можно было в конфигурацию засунуть чтобы она полгига занимала (для меня это загадка). да, перестарались, много макетов двоичных и проч. добавили. авторАльтернативное решение basebackup вместо pg_dump (он еще и быстрее скорее всего будет). По резервному копированию, согласен. Но ошибка возникает и в других случаях: например, при попытке реструктуризации БД при обновлении :( ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2018, 15:30 |
|
|
start [/forum/topic.php?fid=53&fpage=48&tid=1995497]: |
0ms |
get settings: |
10ms |
get forum list: |
14ms |
check forum access: |
5ms |
check topic access: |
5ms |
track hit: |
33ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 145ms |
0 / 0 |