Гость
Войти | Профиль | Очистить
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Журнал транзакций на отдельном разделе. Производительность / 25 сообщений из 32, страница 1 из 2
  1  все
07.02.2018, 19:19
    #39598508
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Добрый день.

Есть два раздела, оба на аппаратном RAID: 1-й, на нем работает Линукс и 10-й, на нем лежит база данных.
Видел многократно рекомендации перемещать журнал транзакций на отдельный физический диск. На "зеркале" есть свободное место, но есть ли смысл переносить журнал туда? Будет ли от этого польза?

Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2018, 19:30
    #39598519
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuzДобрый день.

Есть два раздела, оба на аппаратном RAID: 1-й, на нем работает Линукс и 10-й, на нем лежит база данных.
Видел многократно рекомендации перемещать журнал транзакций на отдельный физический диск. На "зеркале" есть свободное место, но есть ли смысл переносить журнал туда? Будет ли от этого польза?

Спасибо.
Слегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2018, 19:36
    #39598530
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefmanСлегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 08:59
    #39598705
Alexius
Alexius
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuz,

чтобы понять, будет ли польза нужно посмотреть на графики write latency, чтения/записи, дисковой утилизации. если есть пики, когда запись сильно проседает, коммиты тормозят - то польза будет, если на системном диске достаточно ресурсов для записи и хранения wal-ов.

также вынос на отдельные (механические) диски может иметь смысл, если в качестве основного хранилища используются не серверные ssd с нормальным ресурсом по записи, а десктопные, чтобы продлить их срок службы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 10:20
    #39598747
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Alexius, Спасибо!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 10:32
    #39598754
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuzmefmanСлегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.
SaME = Stripe and mirror everything.
А вообще, выгоду вы получите только в том случае, если у вас есть проблемы с записью в логи.
Вы эту проблему видите? Если нет, то заморочки с переносов - скорее будет культом карго.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 11:01
    #39598782
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefmanSaME = Stripe and mirror everything.
Так у меня это и есть: 10-й RAID, аппаратный, на котором только базы данных и лежат.
mefmanА вообще, выгоду вы получите только в том случае, если у вас есть проблемы с записью в логи.
Вы эту проблему видите? Если нет, то заморочки с переносов - скорее будет культом карго.
Я вижу медлительность системы в целом. Понятно, что причин может быть множество, не только в Postgres, но и в работе других сервисов и самого сервера.
Буду искать, как проверить, есть ли проблемы именно с записью логов.
Спасибо за ответы.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 11:07
    #39598789
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Чем анализируете производительность?
Системы и БД?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 16:03
    #39599177
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefmanЧем анализируете производительность?
Системы и БД?
Пользователями, т.к. они уже пользуются, графиками в Proxmox, т.к. использую контейнеры, синтетическим тестом Гилёва, т.к. 1С. Собираюсь в ближайшее время провести замеры производительности в самой 1С. И настроить Zabbix, чтобы больше видеть.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 16:05
    #39599181
Leonid Kudryavtsev
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuzmefmanСлегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.

Вроде в нотах Oracle говорилось (читать давно, поэтому "вроде"), что SAME это > 40 жестких дисков в одной полке.... )))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 16:53
    #39599257
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Leonid Kudryavtsev...> 40 жестких дисков в одной полке.... )))
Нет, такого количества дисков у нас нет :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 17:01
    #39599267
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Leonid Kudryavtsevmackuzпропущено...

А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.

Вроде в нотах Oracle говорилось (читать давно, поэтому "вроде"), что SAME это > 40 жестких дисков в одной полке.... )))
в общем случае, без коммерческой шелухи, SAME - это любые современные хранилища со страйпом и миррором.
оракл любит страдать гигантоманией.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 17:03
    #39599269
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Еще раз без подтверждения факта, что тормозят именно логи - не вижу смысла с этим вообще заморачиваться.
Ну а по поводу всяких 1есов и гилевых - лучше спросить на форума одинесников.
Думается мне - что главная проблема тут в приложении.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 17:15
    #39599277
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefman, большое спасибо за советы! Я пока что не стал переносить логи, решив именно убедиться сначала, что они могут тормозить работу.
Согласен, что 1С может быть источником проблемы, потому что потребляет много ресурсов. В этом направлении я тоже работаю и пробую разные настройки для оптимизации.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 17:53
    #39599304
Andy_OLAP
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuzmefman, большое спасибо за советы! Я пока что не стал переносить логи, решив именно убедиться сначала, что они могут тормозить работу.
Согласен, что 1С может быть источником проблемы, потому что потребляет много ресурсов. В этом направлении я тоже работаю и пробую разные настройки для оптимизации.
Лучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 17:57
    #39599306
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Andy_OLAPmackuzmefman, большое спасибо за советы! Я пока что не стал переносить логи, решив именно убедиться сначала, что они могут тормозить работу.
Согласен, что 1С может быть источником проблемы, потому что потребляет много ресурсов. В этом направлении я тоже работаю и пробую разные настройки для оптимизации.
Лучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
авторНастройка PostgreSQL для работы в связке с 1С 8.х на платформе Windows Server 2012 , объём БД более 200 Гб
Хорошая ссылка по теме, ничего не скажешь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 18:03
    #39599310
Andy_OLAP
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefman,

А что, 1С работает с базой, которая лежит на linux, как-то иначе? Смысл в том, чтобы понять - нужно раскидывать или нет. И какие настройки покрутить. Все равно 1С всю жизнь работает с БД, как будто это файловое хранилище.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 18:27
    #39599321
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Andy_OLAPmefman,

А что, 1С работает с базой, которая лежит на linux, как-то иначе? Смысл в том, чтобы понять - нужно раскидывать или нет. И какие настройки покрутить. Все равно 1С всю жизнь работает с БД, как будто это файловое хранилище.

Ну как бэ вынь и линь вааще разные вещи. В плане ио, работы с памятью, организации процессов.
И с чего вы зяли, что у ТСа проблемы с записью на диск?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 18:33
    #39599329
Andy_OLAP
Andy_OLAP
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefmanAndy_OLAPmefman,

А что, 1С работает с базой, которая лежит на linux, как-то иначе? Смысл в том, чтобы понять - нужно раскидывать или нет. И какие настройки покрутить. Все равно 1С всю жизнь работает с БД, как будто это файловое хранилище.

Ну как бэ вынь и линь вааще разные вещи. В плане ио, работы с памятью, организации процессов.
И с чего вы зяли, что у ТСа проблемы с записью на диск?
Ну хотя бы с того, что он вообще такой вопрос задал.

На его месте я бы НЕ выносил. Потому что postgresql это такая штука, в которой журнал может сильно вырасти. И если остановится диск, где база - это одно. А если остановится системный - это другое. / предупреждая вопросы, сразу обговариваю, что не имею в виду настройку лимитов и дисковых квот и прочего, давайте возьмем самый простой вариант - разработчик 1С, который немного знает Linux и Windows, НЕ системный администратор/.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 20:49
    #39599403
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Andy_OLAPЛучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
Спасибо!

У меня 10 гб памяти для SQL-сервера выделено, 4 процессорных ядра, 10-й RAID. Своп отключен. Postgres 9.6, значения _wal_size -- 4 и 8 гб соответственно. Мне все хочется поменьше min_wal_size сделать.
Это приемлемые настройки для логов?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 20:52
    #39599404
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuzAndy_OLAPЛучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
Спасибо!

У меня 10 гб памяти для SQL-сервера выделено, 4 процессорных ядра, 10-й RAID. Своп отключен. Postgres 9.6, значения _wal_size -- 4 и 8 гб соответственно. Мне все хочется поменьше min_wal_size сделать.
Это приемлемые настройки для логов?
a shared_buffers и work_mem?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 21:11
    #39599411
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefmana shared_buffers и work_mem?
shared_buffers: 2560MB
work_mem: 26214kB
Это на данный момент так. По рекомендациям PG Tune. До этого было побольше, думаю попробовать снова вернуть те значения:
shared_buffers: 2GB
work_mem: 409MB

Полные рекомендации PG Tune выглядят так:

# DB Version: 9.6
# OS Type: linux
# DB Type: oltp
# Total Memory (RAM): 10 GB
# Number of Connections: 100

max_connections = 100
shared_buffers = 2560MB
effective_cache_size = 7680MB
work_mem = 26214kB
maintenance_work_mem = 640MB
min_wal_size = 2GB
max_wal_size = 4GB
checkpoint_completion_target = 0.9
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 4

Я не все так оставил, некоторые параметры поменял, проверяя результаты пока что только в синтетическом тесте.
Не знаю, не будет ли наглостью выкладывать весь текущий конфиг, т.к. тема немного не о том.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 21:15
    #39599413
mackuz
mackuz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
Transparent_hugepage отключил, hugepage включил, в конфиге выбрал huge_pages = try
Если это имеет значение.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.02.2018, 23:23
    #39599437
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mackuzTransparent_hugepage отключил, hugepage включил, в конфиге выбрал huge_pages = try
Если это имеет значение.
до 8Гб шаред_буферс не имеет принципиального.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.02.2018, 11:04
    #39599534
kukurzik
kukurzik
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Журнал транзакций на отдельном разделе. Производительность
mefmanmackuzTransparent_hugepage отключил, hugepage включил, в конфиге выбрал huge_pages = try
Если это имеет значение.
до 8Гб шаред_буферс не имеет принципиального.

будет ли это иметь значение если 16гб шаред буфферс ?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
  1  все
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Журнал транзакций на отдельном разделе. Производительность / 25 сообщений из 32, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 464ms
Закрыть
start [/forum/topic.php?fid=53&mobile=1&tid=1995947]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 44ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 66ms
get tp. blocked users:
 2ms
others: 308ms
total:  464ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]