powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / PostgreSQL не работает бэкап
24 сообщений из 24, страница 1 из 1
PostgreSQL не работает бэкап
    #39719673
В ветке 1С опубликовал проблему - посоветовали обратиться сюда. Вопрос тот же самый: можно ли как-то настроить PostgreSQL для работы в данной ситуации или это ограничение не преодолеть?
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719677
Согласно теме сделал запросы.

select filename, datasize, length(binarydata::text) from public.config order by datasize;

ERROR: invalid memory alloc request size 1758260518
********** Ошибка **********

ERROR: invalid memory alloc request size 1758260518
SQL-состояние: XX000

select filename, datasize from public.config order by datasize;

выводит поля и сообщение:
Total query runtime: 1.3 secs
34754 строки получено.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719696
На предыдущем релизе конфигурации 1.3.111.1 где бэкап проходит штатно эти же запросы выдают следующее:

select filename, datasize, length(binarydata::text) from public.config order by datasize;
выводит поля и сообщение
Запрос выполнен успешно. Общее время выполнения: 32 secs 635 msec. обработано строк: 33681.

выводит поля и сообщение
Запрос выполнен успешно. Общее время выполнения: 233 msec. обработано строк: 33681.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719720
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков Сергей,

вы не написали ни сколько памяти на сервере, ни настройки пж про память.
наверное, когда чему-то не хватило памяти, это первый вопрос, который возникает.
и еще не совсем понятно, какой версии пждамп вы дергаете. это ж ему не хватило памяти. нет ?
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719736
Со своего сервера могу вывести настройки - конкретно какие нужны? Вроде написал - версия pg_dump - PostgrePro 9.6.9 (x64) - где посмотреть конкретную версию не знаю - свойства файла подробно 9.6.9.18158. В консоли выводит:
C:\Windows\System32>"H:\PostgresPro1C\9.6.9\bin\pg_dump.exe" -V
pg_dump (PostgreSQL) 9.6.9

На нашем сервере 64Гб оперативки,но там еще много всего крутится виртуалка,1С ms sql.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719738
Если я правильно понял,то срабатывает ограничение PostgreSQL - размер конфы 1,1Гб
Фрэнки

27 - 18.10.18 - 11:04

(25) твой же пост:
-*-
Вроде как у Postgres лимиты не маленькие :

Максимальный размер таблицы - 32 TB
Максимальный размер строки - 400 Gb
Максимальный размер поля - 1 GB

mgk2

28 - 18.10.18 - 11:08

(27) Хочешь сказать, что платформа конфу заталкивает в 1 поле?
shuhard

29 - 18.10.18 - 11:14

(28) да, это один BLOB
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719795
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков Сергей,

видимо да.
https://ru.wikipedia.org/wiki/PostgreSQL

перекладывайте поле в тип lo или переписывайте кладку в байтеа слайсами по гигабайту.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719806
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
кстати в файловом варианте 1С это ж нарно был некоторый контейнер с компонентиками, которые даже разумно класть кусками. а не чохом. попинайте 1С . у них самих упп скоро вывалится , раз ваш молокозавод так расперло уже.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719901
qwwqперекладывайте поле в тип lo или переписывайте кладку в байтеа слайсами по гигабайту.
Не очень понимаю о чем речь? Не такой великий спец по постгре. И как это повлияет на работу 1С?
qwwqкстати в файловом варианте 1С это ж нарно был некоторый контейнер с компонентиками, которые даже разумно класть кусками. а не чохом. попинайте 1С . у них самих упп скоро вывалится , раз ваш молокозавод так расперло уже.
Дак уже валится:
Здесь про Комплексную автоматизацию
а здесь возможно про УПП,хоят автор не указал наименование конфигурациию.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719932
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков Сергейqwwqперекладывайте поле в тип lo или переписывайте кладку в байтеа слайсами по гигабайту.
Не очень понимаю о чем речь? Не такой великий спец по постгре. И как это повлияет на работу 1С?

https://postgrespro.ru/docs/postgresql/9.6/lo-intro

и немного выше.
т.е. влезть оно влезет. до 4ТБ.
но само оно скорее всего не зафурыкает. наверняка 1С попытается работать с ЛО именно как с байтеа.
но попытаться можете (альтер ... колумн .. тайп ...)
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39719997
Да это как-то сложновато - пускай 1С пошевелится. Ради эксперимента попробовал на связке с Linux (Debain9+PostgresPro 10.4) - результат аналогичный.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720134
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков Сергей,

Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными.
Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать.
Скажем, написать в 1С и спросить какого лешего почему так получается?..
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720166
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vyegorovНовиков Сергей,

Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными.
Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать.
Скажем, написать в 1С и спросить какого лешего почему так получается?..

не получится COPY (SELECT …) TO...
именно из-за
select filename, datasize, length(binarydata::text) from public.config order by datasize;

ERROR: invalid memory alloc request size 1758260518
********** Ошибка **********

там bytea не может в текст превратиться нормально потому что text Больше гига выходит...

кстаааати.... а не поможет ли установка bytea_output в hex вместо escape?
При везении получится меньше гигабайта для текста (раза в 3).


попробуйте сделать

set bytea_output to hex;
select filename, datasize, length(binarydata::text) from public.config order by datasize DESC LIMIT 5;

PS: И покажите если отработает результат все таки (интересно же).

PPS: если поможет то в конфиге пропишите уже bytea_output и попробуйте pg_dump сделать.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru [/quot]
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720168
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vyegorovНовиков Сергей,

Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными.
Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать.
Скажем, написать в 1С и спросить какого лешего почему так получается?..

не нада всего этого.
там табличка с 1 (одной) записью. в поле байтеа которой лежит одним куском весь т.н. "код 1С конфигурации". т.е. попросту 1 файл. и он превысил спеку на тосты поля пж. (обычно после редактирования "конфигурации" его раздувает.) вот и всё.

выход -- поменять поле на ЛО. но код "1С платформы" будет вероятно хотеть байтеа -- надо проверить.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720170
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
qwwqvyegorovНовиков Сергей,

Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными.
Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать.
Скажем, написать в 1С и спросить какого лешего почему так получается?..

не нада всего этого.
там табличка с 1 (одной) записью. в поле байтеа которой лежит одним куском весь т.н. "код 1С конфигурации". т.е. попросту 1 файл. и он превысил спеку на тосты поля пж. (обычно после редактирования "конфигурации" его раздувает.) вот и всё.

выход -- поменять поле на ЛО. но код "1С платформы" будет вероятно хотеть байтеа -- надо проверить.

Там уже последнее время не одна запись а
авторЗапрос выполнен успешно. Общее время выполнения: 233 msec. обработано строк: 33681.
:(
что там в такой ситуации на полгига всунули что оно в escape формате в гиг не влезает - я не понимаю.
Но сильно постарались.
Там кажется bytea который сам по себе в toast влезает а вот в escape output - не влезает уже в лимиты text.
(может помочь смена вывода на hex Тогда МОЖЕТ начнет влезать... 1С то его как то читает... наверное как раз через hex output).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru [/quot]
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720231
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim Boguk,
да, похоже все загруженные т.н. "внешние обработки " тоже там.
потом я 8.3 не копал, только 8.2.
давно в это давно (от "давить") не вникаю.
многое могло поменяться.

там тексты кода на "1С йазыке"
большая часть изготовлена массовой копипастой с мелкими вариациями
его там много
очень много
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720712
Maxim BogukvyegorovНовиков Сергей,

там bytea не может в текст превратиться нормально потому что text Больше гига выходит...

кстаааати.... а не поможет ли установка bytea_output в hex вместо escape?
При везении получится меньше гигабайта для текста (раза в 3).

попробуйте сделать

set bytea_output to hex;
select filename, datasize, length(binarydata::text) from public.config order by datasize DESC LIMIT 5;

PS: И покажите если отработает результат все таки (интересно же).

PPS: если поможет то в конфиге пропишите уже bytea_output и попробуйте pg_dump сделать.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

Результат тот же - только циферка поменялась

авторERROR: invalid memory alloc request size 1213337783
********** Ошибка **********

ERROR: invalid memory alloc request size 1213337783
SQL-состояние: XX000
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720753
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков Сергей,

А что вообще показывает

select filename, datasize from public.config order by datasize DESC LIMIT 5;

?

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru [/quot]
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720757
Прикладываю результат
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720761
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков СергейПрикладываю результат

Ну вот дальше идете с этим в ОФИЦИАЛЬНУЮ поддержку 1С, показываете 600MB файл в конфиге 1С, объясняете проблему и спрашиваете что делать (и как этот файл правильно удалить).

Т.е. проблема тут не Postgresql а 1С ная... нельзя файлы по полгигабайта грузить туда в той структуре данных что используется 1С.

А что это за файл такой и зачем - это не зная потрохов 1С - я вам не скажу.
Может нужный, может нет.


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru [/quot]
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720771
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков Сергей,

Вот вам разбор вашей же ситуации.
https://www.postgresql.org/message-id/flat/5519E025.3030704@BlueTreble.com#4a6bbe32b2957650613d5e49c74b407b
Там много интересных замечаний.

Единственный совет - не делайте так (и большие вопросы к авторам конфигурации которые такого монстра сделали).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru [/quot]
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720776
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim Boguk,

что так делать не надо все уже поняли

но то, что поле, влезающее в спеку, нельзя задампить -- это полный колхоз и грёбаный стыд.
рыбу заворачивали, ага. к пуговкам претензий нет.
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39720883
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Новиков СергейПрикладываю результат

Как быстрое решение - использовать base backup для backup а не pg_dump.
У него таких проблем нет да и быстрее он будет сильно скорее всего.
(но проверить процедуры восстановления обязательно).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
PostgreSQL не работает бэкап
    #39722746
Maxim Boguk,

Спасибо за совет. 1С тоже порекомендовала данный вариант, а также вариант снятия с поддержки конфигурации. Осталось научиться пользоваться pg_basebackup и проверить восстановление. Единственная проблема - есть базы 1С которые не надо архивировать (копии,тест) - в данном случае я так понимаю бэкапится весь кластер,что займет гораздо больше места.
...
Рейтинг: 0 / 0
24 сообщений из 24, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / PostgreSQL не работает бэкап
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]