ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Журнал транзакций на отдельном разделе. Производительность
32 сообщений из 32, показаны все 2 страниц
  все  
Журнал транзакций на отдельном разделе. Производительность
    #39598508
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
Добрый день.

Есть два раздела, оба на аппаратном RAID: 1-й, на нем работает Линукс и 10-й, на нем лежит база данных.
Видел многократно рекомендации перемещать журнал транзакций на отдельный физический диск. На "зеркале" есть свободное место, но есть ли смысл переносить журнал туда? Будет ли от этого польза?

Спасибо.
...
Рейтинг: 0 / 0
07.02.2018, 19:19
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598519
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
mackuzДобрый день.

Есть два раздела, оба на аппаратном RAID: 1-й, на нем работает Линукс и 10-й, на нем лежит база данных.
Видел многократно рекомендации перемещать журнал транзакций на отдельный физический диск. На "зеркале" есть свободное место, но есть ли смысл переносить журнал туда? Будет ли от этого польза?

Спасибо.
Слегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
...
Рейтинг: 0 / 0
07.02.2018, 19:30
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598530
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
mefmanСлегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.
...
Рейтинг: 0 / 0
07.02.2018, 19:36
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598705
Alexius
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexius
Участник
mackuz,

чтобы понять, будет ли польза нужно посмотреть на графики write latency, чтения/записи, дисковой утилизации. если есть пики, когда запись сильно проседает, коммиты тормозят - то польза будет, если на системном диске достаточно ресурсов для записи и хранения wal-ов.

также вынос на отдельные (механические) диски может иметь смысл, если в качестве основного хранилища используются не серверные ssd с нормальным ресурсом по записи, а десктопные, чтобы продлить их срок службы.
...
Рейтинг: 0 / 0
08.02.2018, 08:59
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598747
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
Alexius, Спасибо!
...
Рейтинг: 0 / 0
08.02.2018, 10:20
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598754
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
mackuzmefmanСлегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.
SaME = Stripe and mirror everything.
А вообще, выгоду вы получите только в том случае, если у вас есть проблемы с записью в логи.
Вы эту проблему видите? Если нет, то заморочки с переносов - скорее будет культом карго.
...
Рейтинг: 0 / 0
08.02.2018, 10:32
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598782
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
mefmanSaME = Stripe and mirror everything.
Так у меня это и есть: 10-й RAID, аппаратный, на котором только базы данных и лежат.
mefmanА вообще, выгоду вы получите только в том случае, если у вас есть проблемы с записью в логи.
Вы эту проблему видите? Если нет, то заморочки с переносов - скорее будет культом карго.
Я вижу медлительность системы в целом. Понятно, что причин может быть множество, не только в Postgres, но и в работе других сервисов и самого сервера.
Буду искать, как проверить, есть ли проблемы именно с записью логов.
Спасибо за ответы.
...
Рейтинг: 0 / 0
08.02.2018, 11:01
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39598789
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Чем анализируете производительность?
Системы и БД?
...
Рейтинг: 0 / 0
08.02.2018, 11:07
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599177
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
mefmanЧем анализируете производительность?
Системы и БД?
Пользователями, т.к. они уже пользуются, графиками в Proxmox, т.к. использую контейнеры, синтетическим тестом Гилёва, т.к. 1С. Собираюсь в ближайшее время провести замеры производительности в самой 1С. И настроить Zabbix, чтобы больше видеть.
...
Рейтинг: 0 / 0
08.02.2018, 16:03
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599181
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
mackuzmefmanСлегка устаревшая рекомендация.
Сейчас рекомендуют использовать SaME и не париться ))
А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.

Вроде в нотах Oracle говорилось (читать давно, поэтому "вроде"), что SAME это > 40 жестких дисков в одной полке.... )))
...
Рейтинг: 0 / 0
08.02.2018, 16:05
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599257
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
Leonid Kudryavtsev...> 40 жестких дисков в одной полке.... )))
Нет, такого количества дисков у нас нет :)
...
Рейтинг: 0 / 0
08.02.2018, 16:53
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599267
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Leonid Kudryavtsevmackuzпропущено...

А что это, не поясните нубу? :)
А то не удалось ничего внятного нагуглить.

Вроде в нотах Oracle говорилось (читать давно, поэтому "вроде"), что SAME это > 40 жестких дисков в одной полке.... )))
в общем случае, без коммерческой шелухи, SAME - это любые современные хранилища со страйпом и миррором.
оракл любит страдать гигантоманией.
...
Рейтинг: 0 / 0
08.02.2018, 17:01
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599269
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Еще раз без подтверждения факта, что тормозят именно логи - не вижу смысла с этим вообще заморачиваться.
Ну а по поводу всяких 1есов и гилевых - лучше спросить на форума одинесников.
Думается мне - что главная проблема тут в приложении.
...
Рейтинг: 0 / 0
08.02.2018, 17:03
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599277
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
mefman, большое спасибо за советы! Я пока что не стал переносить логи, решив именно убедиться сначала, что они могут тормозить работу.
Согласен, что 1С может быть источником проблемы, потому что потребляет много ресурсов. В этом направлении я тоже работаю и пробую разные настройки для оптимизации.
...
Рейтинг: 0 / 0
08.02.2018, 17:15
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599304
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
mackuzmefman, большое спасибо за советы! Я пока что не стал переносить логи, решив именно убедиться сначала, что они могут тормозить работу.
Согласен, что 1С может быть источником проблемы, потому что потребляет много ресурсов. В этом направлении я тоже работаю и пробую разные настройки для оптимизации.
Лучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
...
Рейтинг: 0 / 0
08.02.2018, 17:53
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599306
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Andy_OLAPmackuzmefman, большое спасибо за советы! Я пока что не стал переносить логи, решив именно убедиться сначала, что они могут тормозить работу.
Согласен, что 1С может быть источником проблемы, потому что потребляет много ресурсов. В этом направлении я тоже работаю и пробую разные настройки для оптимизации.
Лучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
авторНастройка PostgreSQL для работы в связке с 1С 8.х на платформе Windows Server 2012 , объём БД более 200 Гб
Хорошая ссылка по теме, ничего не скажешь.
...
Рейтинг: 0 / 0
08.02.2018, 17:57
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599310
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
mefman,

А что, 1С работает с базой, которая лежит на linux, как-то иначе? Смысл в том, чтобы понять - нужно раскидывать или нет. И какие настройки покрутить. Все равно 1С всю жизнь работает с БД, как будто это файловое хранилище.
...
Рейтинг: 0 / 0
08.02.2018, 18:03
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599321
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Andy_OLAPmefman,

А что, 1С работает с базой, которая лежит на linux, как-то иначе? Смысл в том, чтобы понять - нужно раскидывать или нет. И какие настройки покрутить. Все равно 1С всю жизнь работает с БД, как будто это файловое хранилище.

Ну как бэ вынь и линь вааще разные вещи. В плане ио, работы с памятью, организации процессов.
И с чего вы зяли, что у ТСа проблемы с записью на диск?
...
Рейтинг: 0 / 0
08.02.2018, 18:27
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599329
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
mefmanAndy_OLAPmefman,

А что, 1С работает с базой, которая лежит на linux, как-то иначе? Смысл в том, чтобы понять - нужно раскидывать или нет. И какие настройки покрутить. Все равно 1С всю жизнь работает с БД, как будто это файловое хранилище.

Ну как бэ вынь и линь вааще разные вещи. В плане ио, работы с памятью, организации процессов.
И с чего вы зяли, что у ТСа проблемы с записью на диск?
Ну хотя бы с того, что он вообще такой вопрос задал.

На его месте я бы НЕ выносил. Потому что postgresql это такая штука, в которой журнал может сильно вырасти. И если остановится диск, где база - это одно. А если остановится системный - это другое. / предупреждая вопросы, сразу обговариваю, что не имею в виду настройку лимитов и дисковых квот и прочего, давайте возьмем самый простой вариант - разработчик 1С, который немного знает Linux и Windows, НЕ системный администратор/.
...
Рейтинг: 0 / 0
08.02.2018, 18:33
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599403
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
Andy_OLAPЛучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
Спасибо!

У меня 10 гб памяти для SQL-сервера выделено, 4 процессорных ядра, 10-й RAID. Своп отключен. Postgres 9.6, значения _wal_size -- 4 и 8 гб соответственно. Мне все хочется поменьше min_wal_size сделать.
Это приемлемые настройки для логов?
...
Рейтинг: 0 / 0
08.02.2018, 20:49
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599404
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
mackuzAndy_OLAPЛучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
Спасибо!

У меня 10 гб памяти для SQL-сервера выделено, 4 процессорных ядра, 10-й RAID. Своп отключен. Postgres 9.6, значения _wal_size -- 4 и 8 гб соответственно. Мне все хочется поменьше min_wal_size сделать.
Это приемлемые настройки для логов?
a shared_buffers и work_mem?
...
Рейтинг: 0 / 0
08.02.2018, 20:52
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599411
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
mefmana shared_buffers и work_mem?
shared_buffers: 2560MB
work_mem: 26214kB
Это на данный момент так. По рекомендациям PG Tune. До этого было побольше, думаю попробовать снова вернуть те значения:
shared_buffers: 2GB
work_mem: 409MB

Полные рекомендации PG Tune выглядят так:

# DB Version: 9.6
# OS Type: linux
# DB Type: oltp
# Total Memory (RAM): 10 GB
# Number of Connections: 100

max_connections = 100
shared_buffers = 2560MB
effective_cache_size = 7680MB
work_mem = 26214kB
maintenance_work_mem = 640MB
min_wal_size = 2GB
max_wal_size = 4GB
checkpoint_completion_target = 0.9
wal_buffers = 16MB
default_statistics_target = 100
random_page_cost = 4

Я не все так оставил, некоторые параметры поменял, проверяя результаты пока что только в синтетическом тесте.
Не знаю, не будет ли наглостью выкладывать весь текущий конфиг, т.к. тема немного не о том.
...
Рейтинг: 0 / 0
08.02.2018, 21:11
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599413
mackuz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mackuz
Гость
Transparent_hugepage отключил, hugepage включил, в конфиге выбрал huge_pages = try
Если это имеет значение.
...
Рейтинг: 0 / 0
08.02.2018, 21:15
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599437
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
mackuzTransparent_hugepage отключил, hugepage включил, в конфиге выбрал huge_pages = try
Если это имеет значение.
до 8Гб шаред_буферс не имеет принципиального.
...
Рейтинг: 0 / 0
08.02.2018, 23:23
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599534
kukurzik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kukurzik
Участник
mefmanmackuzTransparent_hugepage отключил, hugepage включил, в конфиге выбрал huge_pages = try
Если это имеет значение.
до 8Гб шаред_буферс не имеет принципиального.

будет ли это иметь значение если 16гб шаред буфферс ?
...
Рейтинг: 0 / 0
09.02.2018, 11:04
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599537
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
kukurzikmefmanпропущено...

до 8Гб шаред_буферс не имеет принципиального.

будет ли это иметь значение если 16гб шаред буфферс ?
При больших объемах разделяемой памяти - запихивать их в HP - оптимальное решение, не-то будет это . Там про оракел, но смысл один
...
Рейтинг: 0 / 0
09.02.2018, 11:06
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599656
Leonid Kudryavtsev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Leonid Kudryavtsev
Участник
Как я помню по форуму Oracle, проблемы возникают когда: много памяти (страниц) * (умножаются) * много процессов базы ==> объем памяти требуемой для поддержания таблиц страниц для процессов, становится чуть ли не больше, чем собственно используемая память.

Кроме того, использование Huge Page увеличивает эффективность TLB кэша в процессоре (данных меньше, больше вероятность попадания в кэш), может возрастать скорость работы процессора (Intel уверяет до 5-10%)

AFAIK
...
Рейтинг: 0 / 0
09.02.2018, 13:39
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599681
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Leonid KudryavtsevКак я помню по форуму Oracle, проблемы возникают когда: много памяти (страниц) * (умножаются) * много процессов базы ==> объем памяти требуемой для поддержания таблиц страниц для процессов, становится чуть ли не больше, чем собственно используемая память.

Кроме того, использование Huge Page увеличивает эффективность TLB кэша в процессоре (данных меньше, больше вероятность попадания в кэш), может возрастать скорость работы процессора (Intel уверяет до 5-10%)

AFAIK

У pg ровно та же проблема... ровно так же выражена.
Я видел как то (перед тем как HP включить) PageTables: 50Gb (из 128GB) и полное непонимание локальных админов - почему так и куда память делась (там как раз большой shared buffers и много очень коннектов было)... стало после перехода на HP - 50-100MB.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
09.02.2018, 14:04
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599707
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Maxim BogukЯ видел как то (перед тем как HP включить) PageTables: 50Gb (из 128GB) и полное непонимание локальных админов - почему так и куда память делась (там как раз большой shared buffers и много очень коннектов было)... стало после перехода на HP - 50-100MB.

Знакомо ))
...
Рейтинг: 0 / 0
09.02.2018, 14:47
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39599713
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
Leonid KudryavtsevКроме того, использование Huge Page увеличивает эффективность TLB кэша в процессоре
И с учетом патча KPTI против атаки Meltdown - особенно для CPU корпорации Intel - это становится вдвойне необходимо.
Но без патчей - разве что когда сервер БД совсем от интернета наглухо изолирован...
...
Рейтинг: 0 / 0
09.02.2018, 14:50
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39600878
drsm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
drsm
Участник
mackuzAndy_OLAPЛучше увеличить checkpoint_segments.
А вообще вот Вам хорошая ссылка по теме .
И еще про настройку записи на диск .
Спасибо!

У меня 10 гб памяти для SQL-сервера выделено, 4 процессорных ядра, 10-й RAID. Своп отключен. Postgres 9.6, значения _wal_size -- 4 и 8 гб соответственно. Мне все хочется поменьше min_wal_size сделать.
Это приемлемые настройки для логов?
https://habrahabr.ru/company/flant/blog/348324/
...
Рейтинг: 0 / 0
13.02.2018, 01:28
| Ответить | Цитировать | Написать  
Журнал транзакций на отдельном разделе. Производительность
    #39601263
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
drsmmackuzпропущено...

Спасибо!

У меня 10 гб памяти для SQL-сервера выделено, 4 процессорных ядра, 10-й RAID. Своп отключен. Postgres 9.6, значения _wal_size -- 4 и 8 гб соответственно. Мне все хочется поменьше min_wal_size сделать.
Это приемлемые настройки для логов?
https://habrahabr.ru/company/flant/blog/348324/
продвигаете свои статеечки ?

"кто вы такие ? чего вам надо" далее по тексту "я вас не знаю"

зы . аналитика с включенным свопом -- это смерть. когда даже сказать "дроп" кешу нет никакой возможности. (клава отстаёт на часы). одна радость -- оно жужжит. но потом, когда понимаешь, что жужжать оно будет годами -- сам срабатываешь киллером.
...
Рейтинг: 0 / 0
13.02.2018, 16:07
| Ответить | Цитировать | Написать  
32 сообщений из 32, показаны все 2 страниц
  все  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Журнал транзакций на отдельном разделе. Производительность
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=53&tid=1995947]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 47ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 62ms
get tp. blocked users:
 1ms
others: 286ms
total:  441ms
созд. / загр.: 441ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]