Гость
Войти | Профиль | Очистить
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Зависит ли csvlog от log_line_prefix? / 7 сообщений из 7, страница 1 из 1
24.09.2020, 13:58
    #40002136
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
Доброго времени, всем!

Хотел уточнить, зависит ли формат вывода csvlog от параметра log_line_prefix.

По документации не совсем понятно.
Проверил, вроде влияния не оказывает, но решил уточнить.

И второй вопрос, все ли сообщения которые попадают в stderr будут попадать в csvlog.
Например сообщения от archive_command.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.09.2020, 17:03
    #40002245
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
Сообщения теряются.

stderr
Код: sql
1.
2.
3.
4.
2020-09-24 16:59:00.710 MSK [15248] СООБЩЕНИЕ:  cron job 2 completed: 1 row
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push WAL file: 000000250000000A0000002B, threads: 1/1, batch: 1/1, compression: none
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push completed successfully, pushed: 1, skipped: 0, time elapsed: 466ms
2020-09-24 17:00:00.000 MSK [15248] СООБЩЕНИЕ:  cron job 2 starting:  SELECT pg_stat_activity_snapshot()



csvlog
Код: sql
1.
2.
2020-09-24 16:59:00.710 MSK,,,15248,,5f6ca555.3b90,13,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 completed: 1 row",,,,,,,,,""
2020-09-24 17:00:00.000 MSK,,,15248,,5f6ca555.3b90,14,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 starting:  SELECT pg_stat_activity_snapshot()",,,,,,,,,""
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.09.2020, 17:50
    #40002280
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
Guzya,

а logging_collector то включен?

https://www.postgresql.org/docs/13/runtime-config-logging.html

logging_collector (boolean)
This parameter enables the logging collector, which is a background process that captures log messages sent to stderr and redirects them into log files. This approach is often more useful than logging to syslog, since some types of messages might not appear in syslog output. (One common example is dynamic-linker failure messages; another is error messages produced by scripts such as archive_command.) This parameter can only be set at server start.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.09.2020, 18:27
    #40002298
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
logging_collector = on сервер рестартовал несколько раз.

Код: sql
1.
2.
ps aux|grep -i 'logg'
postgres 15239  0.0  0.2  71864  4372 ?        Ss   16:55   0:00 postgres: 11-main: logger
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.09.2020, 09:30
    #40002417
Павел Лузанов
Павел Лузанов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
Guzya
Сообщения теряются.

stderr
Код: sql
1.
2.
3.
4.
2020-09-24 16:59:00.710 MSK [15248] СООБЩЕНИЕ:  cron job 2 completed: 1 row
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push WAL file: 000000250000000A0000002B, threads: 1/1, batch: 1/1, compression: none
2020-09-24 16:59:21 MSK [15902]: [1-1]: INFO: pg_probackup archive-push completed successfully, pushed: 1, skipped: 0, time elapsed: 466ms
2020-09-24 17:00:00.000 MSK [15248] СООБЩЕНИЕ:  cron job 2 starting:  SELECT pg_stat_activity_snapshot()



csvlog
Код: sql
1.
2.
2020-09-24 16:59:00.710 MSK,,,15248,,5f6ca555.3b90,13,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 completed: 1 row",,,,,,,,,""
2020-09-24 17:00:00.000 MSK,,,15248,,5f6ca555.3b90,14,,2020-09-24 16:55:33 MSK,2/0,0,СООБЩЕНИЕ,00000,"cron job 2 starting:  SELECT pg_stat_activity_snapshot()",,,,,,,,,""


На всякий случай. Я правильно понял, что этот пример сделан при log_destination='stderr,csvlog' ? Видимо да, потому что время и номера процессов совпадают.

Что смущает.
1. Потерялись сообщения не от archive_command, а от pg_probackup.
2. Сообщения от pg_probackup используют английскую LC_MESSAGES (INFO), хотя для 1 и 4 сообщения lc_messages на русском (СООБЩЕНИЕ).

Я напишу разработчикам pg_probackup, может что-то нужно подкрутить.
Потому что был уверен, что от формата файла журнала (stderr, csvlog, syslog, eventlog) содержимое не должно меняться.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.09.2020, 11:55
    #40002471
Павел Лузанов
Павел Лузанов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
Павел Лузанов

Потому что был уверен, что от формата файла журнала (stderr, csvlog, syslog, eventlog) содержимое не должно меняться.

Напрасно был уверен )). Конечно же, сообщения от внешних команд из archive_command (pg_probackup не исключение) не могут отправлять сообщения в logging collector. Поэтому часть сообщений отправляется только в stderr.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
25.09.2020, 13:34
    #40002524
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зависит ли csvlog от log_line_prefix?
Павел Лузанов
Павел Лузанов

Потому что был уверен, что от формата файла журнала (stderr, csvlog, syslog, eventlog) содержимое не должно меняться.

Напрасно был уверен )). Конечно же, сообщения от внешних команд из archive_command (pg_probackup не исключение) не могут отправлять сообщения в logging collector. Поэтому часть сообщений отправляется только в stderr.


Подтверждаю.
На другом сервере проверял с 'cp'.

Вопрос в том, что еще мимо кассы идет.

Просто встал вопрос об анализе лога в реальном времени.
csv естественно анализировать проще, к тому же он не размазывает сообщения на несколько строк.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Зависит ли csvlog от log_line_prefix? / 7 сообщений из 7, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 143ms
Закрыть
start [/forum/topic.php?fid=53&tablet=1&tid=1994453]:
 0ms
get settings:
 8ms
get forum list:
 11ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 53ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 40ms
get tp. blocked users:
 1ms
others: 12ms
total:  143ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]