ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Зависит ли csvlog от log_line_prefix?
7 сообщений из 7, страница 1 из 1
Зависит ли csvlog от log_line_prefix?
    #40002136
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
Доброго времени, всем!

Хотел уточнить, зависит ли формат вывода csvlog от параметра log_line_prefix.

По документации не совсем понятно.
Проверил, вроде влияния не оказывает, но решил уточнить.

И второй вопрос, все ли сообщения которые попадают в stderr будут попадать в csvlog.
Например сообщения от archive_command.
...
Рейтинг: 0 / 0
24.09.2020, 13:58
| Ответить | Цитировать | Написать  
Зависит ли csvlog от log_line_prefix?
    #40002245
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
Сообщения теряются.

stderr
Код: sql
1.
2.
3.
4.
2020-09-24 16:59:00.710 MSK [15248] СООБЩЕНИЕ:  cron job 2 completed: 1 row
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push WAL file: 000000250000000A0000002B, threads: 1/1, batch: 1/1, compression: none
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push completed successfully, pushed: 1, skipped: 0, time elapsed: 466ms
2020-09-24 17:00:00.000 MSK [15248] СООБЩЕНИЕ:  cron job 2 starting:  SELECT pg_stat_activity_snapshot()



csvlog
Код: sql
1.
2.
2020-09-24 16:59:00.710 MSK,,,15248,,5f6ca555.3b90,13,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 completed: 1 row",,,,,,,,,""
2020-09-24 17:00:00.000 MSK,,,15248,,5f6ca555.3b90,14,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 starting:  SELECT pg_stat_activity_snapshot()",,,,,,,,,""
...
Рейтинг: 0 / 0
24.09.2020, 17:03
| Ответить | Цитировать | Написать  
Зависит ли csvlog от log_line_prefix?
    #40002280
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Guzya,

а logging_collector то включен?

https://www.postgresql.org/docs/13/runtime-config-logging.html

logging_collector (boolean)
This parameter enables the logging collector, which is a background process that captures log messages sent to stderr and redirects them into log files. This approach is often more useful than logging to syslog, since some types of messages might not appear in syslog output. (One common example is dynamic-linker failure messages; another is error messages produced by scripts such as archive_command.) This parameter can only be set at server start.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
24.09.2020, 17:50
| Ответить | Цитировать | Написать  
Зависит ли csvlog от log_line_prefix?
    #40002298
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
logging_collector = on сервер рестартовал несколько раз.

Код: sql
1.
2.
ps aux|grep -i 'logg'
postgres 15239  0.0  0.2  71864  4372 ?        Ss   16:55   0:00 postgres: 11-main: logger
...
Рейтинг: 0 / 0
24.09.2020, 18:27
| Ответить | Цитировать | Написать  
Зависит ли csvlog от log_line_prefix?
    #40002417
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Лузанов
Участник
Guzya
Сообщения теряются.

stderr
Код: sql
1.
2.
3.
4.
2020-09-24 16:59:00.710 MSK [15248] СООБЩЕНИЕ:  cron job 2 completed: 1 row
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push WAL file: 000000250000000A0000002B, threads: 1/1, batch: 1/1, compression: none
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push completed successfully, pushed: 1, skipped: 0, time elapsed: 466ms
2020-09-24 17:00:00.000 MSK [15248] СООБЩЕНИЕ:  cron job 2 starting:  SELECT pg_stat_activity_snapshot()



csvlog
Код: sql
1.
2.
2020-09-24 16:59:00.710 MSK,,,15248,,5f6ca555.3b90,13,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 completed: 1 row",,,,,,,,,""
2020-09-24 17:00:00.000 MSK,,,15248,,5f6ca555.3b90,14,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 starting:  SELECT pg_stat_activity_snapshot()",,,,,,,,,""


На всякий случай. Я правильно понял, что этот пример сделан при log_destination='stderr,csvlog' ? Видимо да, потому что время и номера процессов совпадают.

Что смущает.
1. Потерялись сообщения не от archive_command, а от pg_probackup.
2. Сообщения от pg_probackup используют английскую LC_MESSAGES (INFO), хотя для 1 и 4 сообщения lc_messages на русском (СООБЩЕНИЕ).

Я напишу разработчикам pg_probackup, может что-то нужно подкрутить.
Потому что был уверен, что от формата файла журнала (stderr, csvlog, syslog, eventlog) содержимое не должно меняться.
...
Рейтинг: 0 / 0
25.09.2020, 09:30
| Ответить | Цитировать | Написать  
Зависит ли csvlog от log_line_prefix?
    #40002471
Павел Лузанов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Павел Лузанов
Участник
Павел Лузанов

Потому что был уверен, что от формата файла журнала (stderr, csvlog, syslog, eventlog) содержимое не должно меняться.

Напрасно был уверен )). Конечно же, сообщения от внешних команд из archive_command (pg_probackup не исключение) не могут отправлять сообщения в logging collector. Поэтому часть сообщений отправляется только в stderr.
...
Рейтинг: 0 / 0
25.09.2020, 11:55
| Ответить | Цитировать | Написать  
Зависит ли csvlog от log_line_prefix?
    #40002524
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
Павел Лузанов
Павел Лузанов

Потому что был уверен, что от формата файла журнала (stderr, csvlog, syslog, eventlog) содержимое не должно меняться.

Напрасно был уверен )). Конечно же, сообщения от внешних команд из archive_command (pg_probackup не исключение) не могут отправлять сообщения в logging collector. Поэтому часть сообщений отправляется только в stderr.


Подтверждаю.
На другом сервере проверял с 'cp'.

Вопрос в том, что еще мимо кассы идет.

Просто встал вопрос об анализе лога в реальном времени.
csv естественно анализировать проще, к тому же он не размазывает сообщения на несколько строк.
...
Рейтинг: 0 / 0
25.09.2020, 13:34
| Ответить | Цитировать | Написать  
7 сообщений из 7, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Зависит ли csvlog от log_line_prefix?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&tid=1994453]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 154ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 43ms
get tp. blocked users:
 1ms
others: 305ms
total:  544ms
созд. / загр.: 544ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]