powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблема при создании резервной копии pg_dump
15 сообщений из 15, страница 1 из 1
Проблема при создании резервной копии pg_dump
    #39706697
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день.

Имеем сервер 1с x64 и sql на postgre, 5 баз данных. При создании резервной копии c помощью pg_dump все базы резервируются и восстанавливаются без проблем, кроме одной, самой большой и самой главной. При ошибке резервирования в логах скрипта написано следующее:

pg_dump: Ошибка выгрузки таблицы "config": сбой в PQgetResult().
pg_dump: Сообщение об ошибке с сервера: ОШИБКА: invalid memory alloc request size 1653414485
pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;


В логах самого postgree написано следующее:

2018-09-23 19:05:27.164 GMT [3044] ОШИБКА: invalid memory alloc request size 1653414485
2018-09-23 19:05:27.164 GMT [3044] ОПЕРАТОР: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;
2018-09-23 19:05:27.232 GMT [3044] СООБЩЕНИЕ: не удалось получить данные от клиента: An established connection was aborted by the software in your host machine.

На сервере i7 проц 3,4, 32 Гб оперативки, сервер на винде.
Если нужные еще какие либо параметры, готов предоставить.
Спасибо.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706703
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
John39,

А база у вас точно 64битная?

Размер конфига какой то пугающий.
Для интереса что показывает на ЭТОЙ КОНКРЕТНОЙ базе
select filename, datasize, length(binarydata::text) from public.config order by datasize;
или если и этот запрос дает похожую ошибку то
select filename, datasize from public.config order by datasize;

PS: а вообще в поддержку 1С с такими вопросами... особенно про public.config.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706706
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk,

select filename, datasize, length(binarydata::text) from public.config order by datasize;
Показывает
Запрос завершён успешно, время выполнения: 11 secs 247 msec.
И больше ничего.
Запрос
select filename, datasize from public.config order by datasize;
Показывает 32126 строк.
В логах ошибки нет.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706707
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
База x64 - это точно.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706708
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Со второго раза по первому запросу выдало следующее

ERROR: ОШИБКА: invalid memory alloc request size 18446744071811427555
SQL-состояние: XX000
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706711
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
John39Со второго раза по первому запросу выдало следующее

ERROR: ОШИБКА: invalid memory alloc request size 18446744071811427555
SQL-состояние: XX000


Ого а версия базы у вас какая?
Походу одна из записей в config побита... какая и почему - так просто в пределах форума определять можно долго.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706717
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk,
Версия базы в каком смысле?
Если postgree то 10.5 x64, если 1С то 8.3.12.1616.
В логах и написано что ошибка выгрузки таблицы public.config.
Однако 1С работает без проблем, DT выгружается и никаких проблем нет, кроме проблемы в бекапом sql.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706722
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
John39Maxim Boguk,
Версия базы в каком смысле?
Если postgree то 10.5 x64, если 1С то 8.3.12.1616.
В логах и написано что ошибка выгрузки таблицы public.config.
Однако 1С работает без проблем, DT выгружается и никаких проблем нет, кроме проблемы в бекапом sql.

Какая то из строчек в таблице public.config побитая без вариантов почти.
Скорее всего не используемая 1С (если она действительно без проблем работает).
Найти какая - можно перебором всех имеющихся там filename и если эта строчка реально не нужна то удалить ее и backup заработает.
Еще возможно уж вас in-memory corruption и тогда рестарт базы может все вылечить.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706736
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim BogukКакая то из строчек в таблице public.config побитая без вариантов почти.
Скорее всего не используемая 1С (если она действительно без проблем работает).
Найти какая - можно перебором всех имеющихся там filename и если эта строчка реально не нужна то удалить ее и backup заработает.
Еще возможно уж вас in-memory corruption и тогда рестарт базы может все вылечить.
Да, с 1с проблем нет, ну или я о них не знаю.
По поводу перебора, можете подсказать что и как перебирать? Что искать и как удалить, желательно на пальцах, потому что опыта работы с БД у меня практически нет, мое дело сети, ПК и прочее.
Рестарт базы я делал не раз, и службу перезапускал, и сам сервер перезагружал, это не помогает.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706786
Partisan M
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
John39pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;


Вызвало сомнение - зачем копировать в stdout? Я повадился копировать в tar-файл и после подбора параметров архивации проблемы не возникали. Может, и вам надо подобрать ключи программы pg_dump.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39706815
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Partisan M,

со стороны базы pg_dump всегда делает то stdout. В конкретные форматы пишет сам pg_dump то что прочитал от базы, а не непосредственно база.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39707338
John39
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Partisan MJohn39pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;


Вызвало сомнение - зачем копировать в stdout? Я повадился копировать в tar-файл и после подбора параметров архивации проблемы не возникали. Может, и вам надо подобрать ключи программы pg_dump.
Попробовал, результат такой же, валится в этом же месте.
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39733035
foxvook
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ошибка "invalid memory alloc request size ...." вываливается в Postgres при работе с УПП начиная с релиза 1.3.112.4 - у всех, если в конфигурации включена возможность изменения.

Причина в том, что вся конфигурация поставщика хранится в одном поле типа binarydata , в таблице config, и начиная с этого релиза она достигает размера, который не переваривает тип binarydata.

Хотя официально максимальный размер поля 1ГБ, по факту binarydata не тянет более 0,5ГБ.
Возможно, связано с тем, что binarydata сначала выгружается в оперативку в полном объеме и затем обрабатывается.
Казалось, бы спасут большие значений work_mem в конфигурации postgres, но не прокатывает...

Имеется возможность избавления от ошибки: снять с поддержки конф., или убрать возможность ее изменения (замок) - т.е. через удаление конфигурации поставщика и соотв. удаление, мешающей строки из таб. config - но это на любителя...

Есть у кого-нибудь альтернативные варианты лечения?
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39733075
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
foxvookОшибка "invalid memory alloc request size ...." вываливается в Postgres при работе с УПП начиная с релиза 1.3.112.4 - у всех, если в конфигурации включена возможность изменения.

Причина в том, что вся конфигурация поставщика хранится в одном поле типа binarydata , в таблице config, и начиная с этого релиза она достигает размера, который не переваривает тип binarydata.

Хотя официально максимальный размер поля 1ГБ, по факту binarydata не тянет более 0,5ГБ.
Возможно, связано с тем, что binarydata сначала выгружается в оперативку в полном объеме и затем обрабатывается.
Казалось, бы спасут большие значений work_mem в конфигурации postgres, но не прокатывает...

Имеется возможность избавления от ошибки: снять с поддержки конф., или убрать возможность ее изменения (замок) - т.е. через удаление конфигурации поставщика и соотв. удаление, мешающей строки из таб. config - но это на любителя...

Есть у кого-нибудь альтернативные варианты лечения?

Это вопрос чисто по 1С. В Postgresql НЕТ и не будет в разумном будущем возможности pg_dump полей размером больше 512MB.
Я бы скорее поинтересовался у 1C что можно было в конфигурацию засунуть чтобы она полгига занимала (для меня это загадка).

Альтернативное решение basebackup вместо pg_dump (он еще и быстрее скорее всего будет).
...
Рейтинг: 0 / 0
Проблема при создании резервной копии pg_dump
    #39733601
foxvook
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
авторЯ бы скорее поинтересовался у 1C что можно было в конфигурацию засунуть чтобы она полгига занимала (для меня это загадка).
да, перестарались, много макетов двоичных и проч. добавили.

авторАльтернативное решение basebackup вместо pg_dump (он еще и быстрее скорее всего будет).
По резервному копированию, согласен.
Но ошибка возникает и в других случаях: например, при попытке реструктуризации БД при обновлении :(
...
Рейтинг: 0 / 0
15 сообщений из 15, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблема при создании резервной копии pg_dump
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]