powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблема с разворотом бэкапа postgres в текстовом формате
13 сообщений из 13, страница 1 из 1
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927398
Px1UP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день! Есть бэкап базы 1С в текстовом формате. Когда пытаюсь развернуть его на сервере распаковывается только 40gb а весит база 109gb, в выводе ошибок нету как будто бы он полностью распаковался. Пытался менять версии postgres и тд но не помогает. В какую сторону копать? При этом есть еще базы в 45gb, 8gb и 20GB - их бэкапы восстанавливается без проблем
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927400
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Px1UP
Добрый день! Есть бэкап базы 1С в текстовом формате. Когда пытаюсь развернуть его на сервере распаковывается только 40gb а весит база 109gb, в выводе ошибок нету как будто бы он полностью распаковался. Пытался менять версии postgres и тд но не помогает. В какую сторону копать? При этом есть еще базы в 45gb, 8gb и 20GB - их бэкапы восстанавливается без проблем

смотри bloat исходной базы.
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927401
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Px1UP,

Сначала выясните каких именно данных не хватает. Только тогда сможете сказать, проблема ли это.
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927404
Px1UP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Melkij, Факт в том что она работает на серваке а вот сам бэкап похоже криво делается
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927413
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
как выглядит скрипт для "бекапа"?
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927417
Px1UP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefman,

#Резервное копирование

DATE=$(date +%Y%m%d)
cd /home/raid/backup

pg_dump -U postgres base | gzip > $DATE-base.pgsql.gz

pg_dump -U postgres base2 | gzip > $DATE-base2.pgsql.gz

#Уборка
find /home/raid/backup/ -mtime +5 -delete
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927432
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Px1UP
mefman,

#Резервное копирование

DATE=$(date +%Y%m%d)
cd /home/raid/backup

pg_dump -U postgres base | gzip > $DATE-base.pgsql.gz

pg_dump -U postgres base2 | gzip > $DATE-base2.pgsql.gz

#Уборка
find /home/raid/backup/ -mtime +5 -delete

Тогда точно - смотри блот ( https://wiki.postgresql.org/wiki/Show_database_bloat)

Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
SELECT
  current_database(), schemaname, tablename, /*reltuples::bigint, relpages::bigint, otta,*/
  ROUND((CASE WHEN otta=0 THEN 0.0 ELSE sml.relpages::FLOAT/otta END)::NUMERIC,1) AS tbloat,
  CASE WHEN relpages < otta THEN 0 ELSE bs*(sml.relpages-otta)::BIGINT END AS wastedbytes,
  iname, /*ituples::bigint, ipages::bigint, iotta,*/
  ROUND((CASE WHEN iotta=0 OR ipages=0 THEN 0.0 ELSE ipages::FLOAT/iotta END)::NUMERIC,1) AS ibloat,
  CASE WHEN ipages < iotta THEN 0 ELSE bs*(ipages-iotta) END AS wastedibytes
FROM (
  SELECT
    schemaname, tablename, cc.reltuples, cc.relpages, bs,
    CEIL((cc.reltuples*((datahdr+ma-
      (CASE WHEN datahdr%ma=0 THEN ma ELSE datahdr%ma END))+nullhdr2+4))/(bs-20::FLOAT)) AS otta,
    COALESCE(c2.relname,'?') AS iname, COALESCE(c2.reltuples,0) AS ituples, COALESCE(c2.relpages,0) AS ipages,
    COALESCE(CEIL((c2.reltuples*(datahdr-12))/(bs-20::FLOAT)),0) AS iotta -- very rough approximation, assumes all cols
  FROM (
    SELECT
      ma,bs,schemaname,tablename,
      (datawidth+(hdr+ma-(CASE WHEN hdr%ma=0 THEN ma ELSE hdr%ma END)))::NUMERIC AS datahdr,
      (maxfracsum*(nullhdr+ma-(CASE WHEN nullhdr%ma=0 THEN ma ELSE nullhdr%ma END))) AS nullhdr2
    FROM (
      SELECT
        schemaname, tablename, hdr, ma, bs,
        SUM((1-null_frac)*avg_width) AS datawidth,
        MAX(null_frac) AS maxfracsum,
        hdr+(
          SELECT 1+COUNT(*)/8
          FROM pg_stats s2
          WHERE null_frac<>0 AND s2.schemaname = s.schemaname AND s2.tablename = s.tablename
        ) AS nullhdr
      FROM pg_stats s, (
        SELECT
          (SELECT current_setting('block_size')::NUMERIC) AS bs,
          CASE WHEN SUBSTRING(v,12,3) IN ('8.0','8.1','8.2') THEN 27 ELSE 23 END AS hdr,
          CASE WHEN v ~ 'mingw32' THEN 8 ELSE 4 END AS ma
        FROM (SELECT version() AS v) AS foo
      ) AS constants
      GROUP BY 1,2,3,4,5
    ) AS foo
  ) AS rs
  JOIN pg_class cc ON cc.relname = rs.tablename
  JOIN pg_namespace nn ON cc.relnamespace = nn.oid AND nn.nspname = rs.schemaname AND nn.nspname <> 'information_schema'
  LEFT JOIN pg_index i ON indrelid = cc.oid
  LEFT JOIN pg_class c2 ON c2.oid = i.indexrelid
) AS sml
ORDER BY wastedbytes DESC
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927470
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Px1UP
Melkij, Факт в том что она работает на серваке а вот сам бэкап похоже криво делается

Сначала выясните каких именно данных не хватает. Потому что есть веские причины полагать, что данные все в наличии и никакой проблемы здесь нет.
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927490
Px1UP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
mefman,

Я в postgres не оч шарю, после этого запроса какие манипуляции творить, и тд?
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927500
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Может vacuum full ни когда не делался.
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927504
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Настроен ли avtovacuum?
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927506
Px1UP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Guzya
Настроен ли avtovacuum?

нет не настроен, но если его внезапно врубить и настроить база не рухнет?
...
Рейтинг: 0 / 0
Проблема с разворотом бэкапа postgres в текстовом формате
    #39927507
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Px1UP
Guzya
Настроен ли avtovacuum?

нет не настроен, но если его внезапно врубить и настроить база не рухнет?

увы, вырезать аппендицит по телефону не стоит. ножон дба.
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Проблема с разворотом бэкапа postgres в текстовом формате
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]