powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / В логе много сообщений при pg_dump
7 сообщений из 7, страница 1 из 1
В логе много сообщений при pg_dump
    #39667556
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Добрый день.

При pg_dump в лог постгрес записываются куча сообщений такого типа, везде одинаковый (OID 144).

...
2018-06-29 02:12:44 MSK pg_dump 1234 from 127.0.0.1 [vxid:33/57131 txid:0] [<FASTPATH>]ОТМЕТКА: продолжительность 1264.000 мс, вызов функции fastpath: "loread" (OID 144)
...
2018-06-29 02:23:32 MSK pg_dump 1234 from 127.0.0.1 [vxid:33/57131 txid:0] [<FASTPATH>]ОТМЕТКА: продолжительность 1310.000 мс, вызов функции fastpath: "loread" (OID 144)
...


Сам экспорт идет очень очень долго.




Подскажите,
1) из-за чего такие ошибки?
2) как можно ускорить экспорт?
...
Рейтинг: 0 / 0
В логе много сообщений при pg_dump
    #39667561
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatisticДобрый день.

При pg_dump в лог постгрес записываются куча сообщений такого типа, везде одинаковый (OID 144).

...
2018-06-29 02:12:44 MSK pg_dump 1234 from 127.0.0.1 [vxid:33/57131 txid:0] [<FASTPATH>]ОТМЕТКА: продолжительность 1264.000 мс, вызов функции fastpath: "loread" (OID 144)
...
2018-06-29 02:23:32 MSK pg_dump 1234 from 127.0.0.1 [vxid:33/57131 txid:0] [<FASTPATH>]ОТМЕТКА: продолжительность 1310.000 мс, вызов функции fastpath: "loread" (OID 144)
...


Сам экспорт идет очень очень долго.




Подскажите,
1) из-за чего такие ошибки?
2) как можно ускорить экспорт?

Это не ошибки а сообщения.
Экспорт идет долго из-за выгрузки Large Objects (BLOB) которые зачем то у вас в базе хранятся где им (как правило) не место.
Вы специально pg_dump запускаете с ключом "-b, --blobs include large objects in dump" ?

Как можно ускорить - сказать нельзя так как вы даже не попробовали понять во что экспорт упирается?
В процессор у pg_dump? В процессор на базе? В диски на базе? В скорость сети?
И не описали как вы экспорт делаете (и что значит "очень долго").

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
В логе много сообщений при pg_dump
    #39667563
gav21
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatistic,

1.судя по тексту это не ошибка , это настройка log_min_duration_statement, которая триггерится по истечении времени.
2. Похоже, что вы бэкапите large object. У меня была аналогичная проблема, 6 млн LO бэкапились 40 мин, а ресторились 90 мин.
При этом БД была около 20ГБ, а скорость создания LO в таблице pg_largeobject_metadata была около 30 записей в сек при ресторе.

Решение - отказаться от pg_dump в пользу pg_basebackup :)
...
Рейтинг: 0 / 0
В логе много сообщений при pg_dump
    #39667570
sstatistic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim BoguksstatisticДобрый день.

При pg_dump в лог постгрес записываются куча сообщений такого типа, везде одинаковый (OID 144).

...
2018-06-29 02:12:44 MSK pg_dump 1234 from 127.0.0.1 [vxid:33/57131 txid:0] [<FASTPATH>]ОТМЕТКА: продолжительность 1264.000 мс, вызов функции fastpath: "loread" (OID 144)
...
2018-06-29 02:23:32 MSK pg_dump 1234 from 127.0.0.1 [vxid:33/57131 txid:0] [<FASTPATH>]ОТМЕТКА: продолжительность 1310.000 мс, вызов функции fastpath: "loread" (OID 144)
...


Сам экспорт идет очень очень долго.




Подскажите,
1) из-за чего такие ошибки?
2) как можно ускорить экспорт?

Это не ошибки а сообщения.
Экспорт идет долго из-за выгрузки Large Objects (BLOB) которые зачем то у вас в базе хранятся где им (как правило) не место.
Вы специально pg_dump запускаете с ключом "-b, --blobs include large objects in dump" ?

Как можно ускорить - сказать нельзя так как вы даже не попробовали понять во что экспорт упирается?
В процессор у pg_dump? В процессор на базе? В диски на базе? В скорость сети?
И не описали как вы экспорт делаете (и что значит "очень долго").

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

Экспорт упирается в диск.

Меня смущает что одинаковый oid везде указан, в течении получаса.
...
Рейтинг: 0 / 0
В логе много сообщений при pg_dump
    #39667598
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sstatistic,

Это oid вызываемой функции, а не её аргументы: https://github.com/postgres/postgres/blob/REL9_6_STABLE/src/backend/tcop/fastpath.c#L395
Аргументы для fastpath вызова не логируются.
Хотя я не понимаю, почему у вас loread оказался с oid 144 вместо 954
...
Рейтинг: 0 / 0
В логе много сообщений при pg_dump
    #39667611
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторЭкспорт упирается в диск.

Ну вот диск и лечите. База то тут причем?

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
В логе много сообщений при pg_dump
    #39667704
tip78
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Maxim BogukЭкспорт идет долго из-за выгрузки Large Objects (BLOB) которые зачем то у вас в базе хранятся где им (как правило) не место.
facebook так делает
...
Рейтинг: 0 / 0
7 сообщений из 7, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / В логе много сообщений при pg_dump
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]