Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблема при создании резервной копии pg_dump / 15 сообщений из 15, страница 1 из 1
23.09.2018, 22:45
    #39706697
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Добрый день.

Имеем сервер 1с x64 и sql на postgre, 5 баз данных. При создании резервной копии c помощью pg_dump все базы резервируются и восстанавливаются без проблем, кроме одной, самой большой и самой главной. При ошибке резервирования в логах скрипта написано следующее:

pg_dump: Ошибка выгрузки таблицы "config": сбой в PQgetResult().
pg_dump: Сообщение об ошибке с сервера: ОШИБКА: invalid memory alloc request size 1653414485
pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;


В логах самого postgree написано следующее:

2018-09-23 19:05:27.164 GMT [3044] ОШИБКА: invalid memory alloc request size 1653414485
2018-09-23 19:05:27.164 GMT [3044] ОПЕРАТОР: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;
2018-09-23 19:05:27.232 GMT [3044] СООБЩЕНИЕ: не удалось получить данные от клиента: An established connection was aborted by the software in your host machine.

На сервере i7 проц 3,4, 32 Гб оперативки, сервер на винде.
Если нужные еще какие либо параметры, готов предоставить.
Спасибо.
...
Рейтинг: 0 / 0
23.09.2018, 23:23
    #39706703
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
John39,

А база у вас точно 64битная?

Размер конфига какой то пугающий.
Для интереса что показывает на ЭТОЙ КОНКРЕТНОЙ базе
select filename, datasize, length(binarydata::text) from public.config order by datasize;
или если и этот запрос дает похожую ошибку то
select filename, datasize from public.config order by datasize;

PS: а вообще в поддержку 1С с такими вопросами... особенно про public.config.
...
Рейтинг: 0 / 0
23.09.2018, 23:47
    #39706706
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Maxim Boguk,

select filename, datasize, length(binarydata::text) from public.config order by datasize;
Показывает
Запрос завершён успешно, время выполнения: 11 secs 247 msec.
И больше ничего.
Запрос
select filename, datasize from public.config order by datasize;
Показывает 32126 строк.
В логах ошибки нет.
...
Рейтинг: 0 / 0
23.09.2018, 23:48
    #39706707
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
База x64 - это точно.
...
Рейтинг: 0 / 0
23.09.2018, 23:49
    #39706708
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Со второго раза по первому запросу выдало следующее

ERROR: ОШИБКА: invalid memory alloc request size 18446744071811427555
SQL-состояние: XX000
...
Рейтинг: 0 / 0
24.09.2018, 00:10
    #39706711
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
John39Со второго раза по первому запросу выдало следующее

ERROR: ОШИБКА: invalid memory alloc request size 18446744071811427555
SQL-состояние: XX000


Ого а версия базы у вас какая?
Походу одна из записей в config побита... какая и почему - так просто в пределах форума определять можно долго.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
24.09.2018, 00:39
    #39706717
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Maxim Boguk,
Версия базы в каком смысле?
Если postgree то 10.5 x64, если 1С то 8.3.12.1616.
В логах и написано что ошибка выгрузки таблицы public.config.
Однако 1С работает без проблем, DT выгружается и никаких проблем нет, кроме проблемы в бекапом sql.
...
Рейтинг: 0 / 0
24.09.2018, 01:00
    #39706722
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
John39Maxim Boguk,
Версия базы в каком смысле?
Если postgree то 10.5 x64, если 1С то 8.3.12.1616.
В логах и написано что ошибка выгрузки таблицы public.config.
Однако 1С работает без проблем, DT выгружается и никаких проблем нет, кроме проблемы в бекапом sql.

Какая то из строчек в таблице public.config побитая без вариантов почти.
Скорее всего не используемая 1С (если она действительно без проблем работает).
Найти какая - можно перебором всех имеющихся там filename и если эта строчка реально не нужна то удалить ее и backup заработает.
Еще возможно уж вас in-memory corruption и тогда рестарт базы может все вылечить.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
24.09.2018, 01:27
    #39706736
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Maxim BogukКакая то из строчек в таблице public.config побитая без вариантов почти.
Скорее всего не используемая 1С (если она действительно без проблем работает).
Найти какая - можно перебором всех имеющихся там filename и если эта строчка реально не нужна то удалить ее и backup заработает.
Еще возможно уж вас in-memory corruption и тогда рестарт базы может все вылечить.
Да, с 1с проблем нет, ну или я о них не знаю.
По поводу перебора, можете подсказать что и как перебирать? Что искать и как удалить, желательно на пальцах, потому что опыта работы с БД у меня практически нет, мое дело сети, ПК и прочее.
Рестарт базы я делал не раз, и службу перезапускал, и сам сервер перезагружал, это не помогает.
...
Рейтинг: 0 / 0
24.09.2018, 09:41
    #39706786
Partisan M
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
John39pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;


Вызвало сомнение - зачем копировать в stdout? Я повадился копировать в tar-файл и после подбора параметров архивации проблемы не возникали. Может, и вам надо подобрать ключи программы pg_dump.
...
Рейтинг: 0 / 0
24.09.2018, 10:27
    #39706815
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Partisan M,

со стороны базы pg_dump всегда делает то stdout. В конкретные форматы пишет сам pg_dump то что прочитал от базы, а не непосредственно база.
...
Рейтинг: 0 / 0
24.09.2018, 23:16
    #39707338
John39
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Partisan MJohn39pg_dump: Выполнялась команда: COPY public.config (filename, creation, modified, attributes, datasize, binarydata) TO stdout;


Вызвало сомнение - зачем копировать в stdout? Я повадился копировать в tar-файл и после подбора параметров архивации проблемы не возникали. Может, и вам надо подобрать ключи программы pg_dump.
Попробовал, результат такой же, валится в этом же месте.
...
Рейтинг: 0 / 0
14.11.2018, 14:42
    #39733035
foxvook
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
Ошибка "invalid memory alloc request size ...." вываливается в Postgres при работе с УПП начиная с релиза 1.3.112.4 - у всех, если в конфигурации включена возможность изменения.

Причина в том, что вся конфигурация поставщика хранится в одном поле типа binarydata , в таблице config, и начиная с этого релиза она достигает размера, который не переваривает тип binarydata.

Хотя официально максимальный размер поля 1ГБ, по факту binarydata не тянет более 0,5ГБ.
Возможно, связано с тем, что binarydata сначала выгружается в оперативку в полном объеме и затем обрабатывается.
Казалось, бы спасут большие значений work_mem в конфигурации postgres, но не прокатывает...

Имеется возможность избавления от ошибки: снять с поддержки конф., или убрать возможность ее изменения (замок) - т.е. через удаление конфигурации поставщика и соотв. удаление, мешающей строки из таб. config - но это на любителя...

Есть у кого-нибудь альтернативные варианты лечения?
...
Рейтинг: 0 / 0
14.11.2018, 15:48
    #39733075
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
foxvookОшибка "invalid memory alloc request size ...." вываливается в Postgres при работе с УПП начиная с релиза 1.3.112.4 - у всех, если в конфигурации включена возможность изменения.

Причина в том, что вся конфигурация поставщика хранится в одном поле типа binarydata , в таблице config, и начиная с этого релиза она достигает размера, который не переваривает тип binarydata.

Хотя официально максимальный размер поля 1ГБ, по факту binarydata не тянет более 0,5ГБ.
Возможно, связано с тем, что binarydata сначала выгружается в оперативку в полном объеме и затем обрабатывается.
Казалось, бы спасут большие значений work_mem в конфигурации postgres, но не прокатывает...

Имеется возможность избавления от ошибки: снять с поддержки конф., или убрать возможность ее изменения (замок) - т.е. через удаление конфигурации поставщика и соотв. удаление, мешающей строки из таб. config - но это на любителя...

Есть у кого-нибудь альтернативные варианты лечения?

Это вопрос чисто по 1С. В Postgresql НЕТ и не будет в разумном будущем возможности pg_dump полей размером больше 512MB.
Я бы скорее поинтересовался у 1C что можно было в конфигурацию засунуть чтобы она полгига занимала (для меня это загадка).

Альтернативное решение basebackup вместо pg_dump (он еще и быстрее скорее всего будет).
...
Рейтинг: 0 / 0
15.11.2018, 15:30
    #39733601
foxvook
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Проблема при создании резервной копии pg_dump
авторЯ бы скорее поинтересовался у 1C что можно было в конфигурацию засунуть чтобы она полгига занимала (для меня это загадка).
да, перестарались, много макетов двоичных и проч. добавили.

авторАльтернативное решение basebackup вместо pg_dump (он еще и быстрее скорее всего будет).
По резервному копированию, согласен.
Но ошибка возникает и в других случаях: например, при попытке реструктуризации БД при обновлении :(
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблема при создании резервной копии pg_dump / 15 сообщений из 15, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]