|
|
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Всем доброе время суток. Пробую смигрировать БД с 32 на 64 битную платформу, есть при этом бэкап БД (весит 233 Гб). С помощью следующего скрипта делаю рестор: Код: sql 1. при этом на начальном этапе скорость космическая (диск SSD), за час восстановилось порядка 75 Гб, и после этого включаются резкие тормоза, за следующий час скорость восстановления - 3 Гб!! Это катастрофа, куда смотреть, что можно подправить? Конфиг прилагаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 15:01 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Вот такая нагрузка на сервере. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 15:04 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffua, Выдержки из приложенного файла: Код: sql 1. 2. 3. 4. 5. 6. 7. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 15:16 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
ursidoSheriffua, Выдержки из приложенного файла: Код: sql 1. 2. 3. 4. 5. 6. 7. И что из этого следует? Код: sql 1. 2. специально отключил взял здесь ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 15:27 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
SheriffuaИ что из этого следует? Я заранее согласен с товарищем qwwq. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 15:48 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
ursidoSheriffuaИ что из этого следует? Я заранее согласен с товарищем qwwq.тс же пояснил, что это разовое послабление на момент загрузки. В случае фейла просто всё сносится, кластер заново инициируется и заливается по новой. а вот на живой базе -- это заход на дарвиновскую -- недавно кого-то максим колол -- обсыпались файлики напрочь при отключённом fsync. я думаю майнтейнанс_ворк_мем вам бы добавить, например. думаю, база индексированием могла заняться тут то и просела в "дисковом приращении". но я ни разу не админ. подождем спецов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:00 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
PS посмотрите Код: sql 1. чем там базёнка в это время занимается оно и прояснеет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:08 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
qwwqursidoпропущено... Я заранее согласен с товарищем qwwq.тс же пояснил, что это разовое послабление на момент загрузки. В случае фейла просто всё сносится, кластер заново инициируется и заливается по новой. а вот на живой базе -- это заход на дарвиновскую -- недавно кого-то максим колол -- обсыпались файлики напрочь при отключённом fsync. я думаю майнтейнанс_ворк_мем вам бы добавить, например. думаю, база индексированием могла заняться тут то и просела в "дисковом приращении". но я ни разу не админ. подождем спецов. Вы правы, это разовое послабление на момент рестора. Может есть еще доп.рекомендации, т.к. когда рестор того же бэкапа делался, НО на 32 битную платформу, время восстановления было 10 часов, пробовал использовать этот конфиг, чуда не произошло, теже тормоза (( ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:10 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
qwwqPS посмотрите Код: sql 1. чем там базёнка в это время занимается оно и прояснеет. Результат в файле ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:16 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffua, Нужно понять где затык. А что выдаст такой запрос?Желательно запустить в `psql` с ключём `\x` (для построчного вывода колонок): Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. Также надо бы bgwriter поболее выкрутить:namesettingbgwriter_delay100bgwriter_lru_maxpages1000bgwriter_lru_multiplier5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:19 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
vyegorov, Код: sql 1. 2. 3. у меня версия БД 9.3 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:28 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Странно. Тогда почему для разового действия не выкручены другие параметры. Например, мне кажется, что max_connections можно выставить в 20 shared_buffers можно выставить в 4 GB (1/4 от имеющейся) max_prepared_transactions выставить в 0 work_mem можно выставить в 256MB Что-нибудь подумать над checkpoint_segments / checkpoint_timeout (например выставить в 16 / 1h) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:30 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffua, ну вот -- там чорным по белому написано: делается в один поток Код: sql 1. осталось выяснить, что такое этот document, созданы к моменту COPY по нему уже индексы да констрайнты или нет. а если созданы -- то сколько их. в приведенной вами статье есть рекомендация вынести создание логики (констрентов) и тяжёлых индексов вынести в отдельный этап. Но тогда руками надо дамп пилить. а это лениво. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:37 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffuavyegorov, Код: sql 1. 2. 3. у меня версия БД 9.3похоже вы левым гуём пользуетесь. на моей памяти какой--то левый гуй скрадывал повторный :: в кастах. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:41 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
qwwq, пока нет не индексов не констрейнтов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:43 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
vyegorov, Результат запароса здесь: -[ RECORD 1 ]-----------+--------------------------- forced_ratio | 46.4 min_between | 3.03 write_time_avg | 84.45 sync_time_avg | 1.86 mb_total | 629683.5 mb_per_ckpt | 167.62 mbps_ckpt | 0.92 mbps_bgw | 0.09 mbps_sess | 5.30 mbps_total | 6.31 pct_ckpt | 14.6 pct_bgw | 1.4 pct_sess | 84.0 bgw_halt_only_len | 1.54 bgw_halt_ratio | 66.18 new_ratio | 0.211 uptime | 03:32:15.49 checkpoints_timed | 294 checkpoints_req | 254 checkpoints | 548 checkpoint_sync_time | 1018687 checkpoint_write_time | 46277179 buffers_checkpoint | 11757214 buffers_clean | 1163867 maxwritten_clean | 7703 buffers_backend | 67678405 buffers_backend_fsync | 0 buffers_alloc | 16975930 total_buffers | 80599486 startup | 2016-03-10 12:24:58.233+02 stats_reset | 2016-03-09 12:15:07.109+02 min_since_reset | 1662 bgwriter_delay | 200 bgwriter_lru_maxpages | 100 bgwriter_lru_multiplier | 2 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 16:59 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
qwwq, похоже что ключ: Код: sql 1. не работает при команде COPY ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 17:11 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffua, Скорее неработает с некоторыми форматами дампа, н.п. тар. Какой формат дампа у вас? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 17:17 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Lonepsycho, Дамп делался так: pg_dump.exe" --format=custom ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 17:20 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffuaqwwq, похоже что ключ: Код: sql 1. не работает при команде COPY Ключ -j работает на уровне таблиц. Если у вас 1 таблица = 90% базы, то рекомендую запастись попкорном, ибо поток будет только один. Чтобы распараллелить таблицы такие, надо руками шаманить. А в моём запросе вроде всё должно быть хорошо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 17:41 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 17:45 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Sheriffua, Агрессивный bgwriter, checkpoint_completion_target = 0.9, wal_buffers='16MB'. Можно попробовать ещё shared_buffers уменьшить на время загрузки данных. Можно ещё так сделать: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. Но у вас 1 поток всего, так что... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 18:16 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
vyegorov, Брежу, привык на Linux-е работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 18:17 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
Если с потоковостью бороться не имеет смысла, то какие основные параметры влияют на время обработки данных при ресторе? Так как в одних рекомендациях нужно увеличивать shared_buffers в других уменьшить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 18:31 |
|
||
|
Скорость восстановления данных со временем заметно замедляется
|
|||
|---|---|---|---|
|
#18+
SheriffuaЕсли с потоковостью бороться не имеет смысла, то какие основные параметры влияют на время обработки данных при ресторе? Рекомендации по загрузке данных для 9.3 здесь . На время работы pg_restore установите: archive_mode = off max_wal_senders = 0 wal_level = minimal Это позволит не писать в WAL работу COPY. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 10.03.2016, 19:01 |
|
||
|
|

start [/forum/topic.php?fid=53&msg=39189340&tid=1997294]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
203ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
66ms |
get tp. blocked users: |
1ms |
| others: | 243ms |
| total: | 556ms |

| 0 / 0 |
