|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
В ветке 1С опубликовал проблему - посоветовали обратиться сюда. Вопрос тот же самый: можно ли как-то настроить PostgreSQL для работы в данной ситуации или это ограничение не преодолеть? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 08:41 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Согласно теме сделал запросы. select filename, datasize, length(binarydata::text) from public.config order by datasize; ERROR: invalid memory alloc request size 1758260518 ********** Ошибка ********** ERROR: invalid memory alloc request size 1758260518 SQL-состояние: XX000 select filename, datasize from public.config order by datasize; выводит поля и сообщение: Total query runtime: 1.3 secs 34754 строки получено. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 08:57 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
На предыдущем релизе конфигурации 1.3.111.1 где бэкап проходит штатно эти же запросы выдают следующее: select filename, datasize, length(binarydata::text) from public.config order by datasize; выводит поля и сообщение Запрос выполнен успешно. Общее время выполнения: 32 secs 635 msec. обработано строк: 33681. выводит поля и сообщение Запрос выполнен успешно. Общее время выполнения: 233 msec. обработано строк: 33681. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 09:18 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков Сергей, вы не написали ни сколько памяти на сервере, ни настройки пж про память. наверное, когда чему-то не хватило памяти, это первый вопрос, который возникает. и еще не совсем понятно, какой версии пждамп вы дергаете. это ж ему не хватило памяти. нет ? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 09:59 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Со своего сервера могу вывести настройки - конкретно какие нужны? Вроде написал - версия pg_dump - PostgrePro 9.6.9 (x64) - где посмотреть конкретную версию не знаю - свойства файла подробно 9.6.9.18158. В консоли выводит: C:\Windows\System32>"H:\PostgresPro1C\9.6.9\bin\pg_dump.exe" -V pg_dump (PostgreSQL) 9.6.9 На нашем сервере 64Гб оперативки,но там еще много всего крутится виртуалка,1С ms sql. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 10:24 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Если я правильно понял,то срабатывает ограничение PostgreSQL - размер конфы 1,1Гб Фрэнки 27 - 18.10.18 - 11:04 (25) твой же пост: -*- Вроде как у Postgres лимиты не маленькие : Максимальный размер таблицы - 32 TB Максимальный размер строки - 400 Gb Максимальный размер поля - 1 GB mgk2 28 - 18.10.18 - 11:08 (27) Хочешь сказать, что платформа конфу заталкивает в 1 поле? shuhard 29 - 18.10.18 - 11:14 (28) да, это один BLOB ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 10:27 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков Сергей, видимо да. https://ru.wikipedia.org/wiki/PostgreSQL перекладывайте поле в тип lo или переписывайте кладку в байтеа слайсами по гигабайту. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 11:28 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
кстати в файловом варианте 1С это ж нарно был некоторый контейнер с компонентиками, которые даже разумно класть кусками. а не чохом. попинайте 1С . у них самих упп скоро вывалится , раз ваш молокозавод так расперло уже. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 11:33 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
qwwqперекладывайте поле в тип lo или переписывайте кладку в байтеа слайсами по гигабайту. Не очень понимаю о чем речь? Не такой великий спец по постгре. И как это повлияет на работу 1С? qwwqкстати в файловом варианте 1С это ж нарно был некоторый контейнер с компонентиками, которые даже разумно класть кусками. а не чохом. попинайте 1С . у них самих упп скоро вывалится , раз ваш молокозавод так расперло уже. Дак уже валится: Здесь про Комплексную автоматизацию а здесь возможно про УПП,хоят автор не указал наименование конфигурациию. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 12:52 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков Сергейqwwqперекладывайте поле в тип lo или переписывайте кладку в байтеа слайсами по гигабайту. Не очень понимаю о чем речь? Не такой великий спец по постгре. И как это повлияет на работу 1С? https://postgrespro.ru/docs/postgresql/9.6/lo-intro и немного выше. т.е. влезть оно влезет. до 4ТБ. но само оно скорее всего не зафурыкает. наверняка 1С попытается работать с ЛО именно как с байтеа. но попытаться можете (альтер ... колумн .. тайп ...) ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 13:23 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Да это как-то сложновато - пускай 1С пошевелится. Ради эксперимента попробовал на связке с Linux (Debain9+PostgresPro 10.4) - результат аналогичный. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 14:46 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков Сергей, Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными. Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать. Скажем, написать в 1С и спросить какого лешего почему так получается?.. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 18:49 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
vyegorovНовиков Сергей, Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными. Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать. Скажем, написать в 1С и спросить какого лешего почему так получается?.. не получится COPY (SELECT …) TO... именно из-за select filename, datasize, length(binarydata::text) from public.config order by datasize; ERROR: invalid memory alloc request size 1758260518 ********** Ошибка ********** там bytea не может в текст превратиться нормально потому что text Больше гига выходит... кстаааати.... а не поможет ли установка bytea_output в hex вместо escape? При везении получится меньше гигабайта для текста (раза в 3). попробуйте сделать set bytea_output to hex; select filename, datasize, length(binarydata::text) from public.config order by datasize DESC LIMIT 5; PS: И покажите если отработает результат все таки (интересно же). PPS: если поможет то в конфиге пропишите уже bytea_output и попробуйте pg_dump сделать. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru [/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 21:11 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
vyegorovНовиков Сергей, Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными. Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать. Скажем, написать в 1С и спросить какого лешего почему так получается?.. не нада всего этого. там табличка с 1 (одной) записью. в поле байтеа которой лежит одним куском весь т.н. "код 1С конфигурации". т.е. попросту 1 файл. и он превысил спеку на тосты поля пж. (обычно после редактирования "конфигурации" его раздувает.) вот и всё. выход -- поменять поле на ЛО. но код "1С платформы" будет вероятно хотеть байтеа -- надо проверить. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 21:30 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
qwwqvyegorovНовиков Сергей, Если написать DO блок и руками по PK пройти по всем записям с изначальным запросом, ловя ошибки, то можно узнать ID записей с кривыми данными. Затем можно будет эти записи в файл сдампить через COPY (SELECT …) TO и анализировать. Скажем, написать в 1С и спросить какого лешего почему так получается?.. не нада всего этого. там табличка с 1 (одной) записью. в поле байтеа которой лежит одним куском весь т.н. "код 1С конфигурации". т.е. попросту 1 файл. и он превысил спеку на тосты поля пж. (обычно после редактирования "конфигурации" его раздувает.) вот и всё. выход -- поменять поле на ЛО. но код "1С платформы" будет вероятно хотеть байтеа -- надо проверить. Там уже последнее время не одна запись а авторЗапрос выполнен успешно. Общее время выполнения: 233 msec. обработано строк: 33681. :( что там в такой ситуации на полгига всунули что оно в escape формате в гиг не влезает - я не понимаю. Но сильно постарались. Там кажется bytea который сам по себе в toast влезает а вот в escape output - не влезает уже в лимиты text. (может помочь смена вывода на hex Тогда МОЖЕТ начнет влезать... 1С то его как то читает... наверное как раз через hex output). -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru [/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2018, 21:36 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Maxim Boguk, да, похоже все загруженные т.н. "внешние обработки " тоже там. потом я 8.3 не копал, только 8.2. давно в это давно (от "давить") не вникаю. многое могло поменяться. там тексты кода на "1С йазыке" большая часть изготовлена массовой копипастой с мелкими вариациями его там много очень много ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2018, 09:47 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Maxim BogukvyegorovНовиков Сергей, там bytea не может в текст превратиться нормально потому что text Больше гига выходит... кстаааати.... а не поможет ли установка bytea_output в hex вместо escape? При везении получится меньше гигабайта для текста (раза в 3). попробуйте сделать set bytea_output to hex; select filename, datasize, length(binarydata::text) from public.config order by datasize DESC LIMIT 5; PS: И покажите если отработает результат все таки (интересно же). PPS: если поможет то в конфиге пропишите уже bytea_output и попробуйте pg_dump сделать. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru Результат тот же - только циферка поменялась авторERROR: invalid memory alloc request size 1213337783 ********** Ошибка ********** ERROR: invalid memory alloc request size 1213337783 SQL-состояние: XX000 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 09:01 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков Сергей, А что вообще показывает select filename, datasize from public.config order by datasize DESC LIMIT 5; ? -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru [/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 10:04 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Прикладываю результат ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 10:08 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков СергейПрикладываю результат Ну вот дальше идете с этим в ОФИЦИАЛЬНУЮ поддержку 1С, показываете 600MB файл в конфиге 1С, объясняете проблему и спрашиваете что делать (и как этот файл правильно удалить). Т.е. проблема тут не Postgresql а 1С ная... нельзя файлы по полгигабайта грузить туда в той структуре данных что используется 1С. А что это за файл такой и зачем - это не зная потрохов 1С - я вам не скажу. Может нужный, может нет. -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru [/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 10:15 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков Сергей, Вот вам разбор вашей же ситуации. https://www.postgresql.org/message-id/flat/5519E025.3030704@BlueTreble.com#4a6bbe32b2957650613d5e49c74b407b Там много интересных замечаний. Единственный совет - не делайте так (и большие вопросы к авторам конфигурации которые такого монстра сделали). -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru [/quot] ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 10:27 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Maxim Boguk, что так делать не надо все уже поняли но то, что поле, влезающее в спеку, нельзя задампить -- это полный колхоз и грёбаный стыд. рыбу заворачивали, ага. к пуговкам претензий нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 10:44 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Новиков СергейПрикладываю результат Как быстрое решение - использовать base backup для backup а не pg_dump. У него таких проблем нет да и быстрее он будет сильно скорее всего. (но проверить процедуры восстановления обязательно). -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2018, 14:05 |
|
PostgreSQL не работает бэкап
|
|||
---|---|---|---|
#18+
Maxim Boguk, Спасибо за совет. 1С тоже порекомендовала данный вариант, а также вариант снятия с поддержки конфигурации. Осталось научиться пользоваться pg_basebackup и проверить восстановление. Единственная проблема - есть базы 1С которые не надо архивировать (копии,тест) - в данном случае я так понимаю бэкапится весь кластер,что займет гораздо больше места. ... |
|||
:
Нравится:
Не нравится:
|
|||
25.10.2018, 12:26 |
|
|
start [/forum/topic.php?fid=53&msg=39720712&tid=1995530]: |
0ms |
get settings: |
11ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
47ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
51ms |
get tp. blocked users: |
1ms |
others: | 257ms |
total: | 395ms |
0 / 0 |