|
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
|
|||
---|---|---|---|
#18+
Доброго времени суток! Столкнулся с проблемой при миграции с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12. Задачу пытался решить двумя способами. - Первый способ - экспорт снепшота на S3 bucket, но поскольку Амазон ультимативно экспортит в расширении .parquet, я решил отложить этот способ как самый затратный по времени на поиск решения в контексте конвертации и импорта в базу на EC2. Но уже понемногу копаю в этом направлении. - Второй способ - при помощи PgAdmin4 сделал pg_dump, со следующими параметрами: /usr/bin/pg_dump --file "/var/lib/pgadmin/storage/name/20201229" --host "db.host" --port "5432" --username "name" --no-password --verbose --format=t --blobs --no-owner --section=pre-data --section=data --section=post-data --no-privileges --no-tablespaces "database_name" Но здесь столкнулся с нюансом, по схеме и таблицам всё перенеслось, но вес базы в RDS 19 Gb, файл бэкапа весит около 5 Gb, а после импорта в EC2 база весит около 8 Gb. Вопрос который меня беспокоит - как в таких условиях сделать полную копию базы RDS? Для тестовой среды в принципе задача выполнена (тут 50/50, данные не так важны), а в плане реэкспорта в другой RDS, тут данные очень важны, поскольку последующим шагом планирую реэскпорт в другой RDS для уменьшения использованого дискового пространства в AWS RDS (поскольку расширятся он гаразд, а уменьшится не хочет никак :) ). Буду рад и признателен ответу, спасибо за внимание, будьте здоровы, с наступающими/наступившими праздниками и хорошего времени суток! ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2020, 14:39 |
|
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
|
|||
---|---|---|---|
#18+
sandman1911 Но здесь столкнулся с нюансом, по схеме и таблицам всё перенеслось, но вес базы в RDS 19 Gb, файл бэкапа весит около 5 Gb, а после импорта в EC2 база весит около 8 Gb. Поясните в чём вы видите проблему. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2020, 15:54 |
|
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
|
|||
---|---|---|---|
#18+
На размеры сильно не смотрите, проверяйте корректность переноса, например сравнением количества строк по таблицам и проверкой создания всех индексов. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2020, 16:51 |
|
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
|
|||
---|---|---|---|
#18+
Melkij, проблема скорее в моей обеспокоенности по разнице в размере базы на диске (понимание того что база по размеру после экспорта/импорта может быть меньше по размеру - есть, но что бы на 10 GB меня очень смутило). Guzya, спасибо, сейчас перепроверю, поскольку результаты прошлых экспортов этим способом были очень сомнительными. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2020, 17:24 |
|
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
|
|||
---|---|---|---|
#18+
sandman1911 Melkij, проблема скорее в моей обеспокоенности по разнице в размере базы на диске (понимание того что база по размеру после экспорта/импорта может быть меньше по размеру - есть, но что бы на 10 GB меня очень смутило). Guzya, спасибо, сейчас перепроверю, поскольку результаты прошлых экспортов этим способом были очень сомнительными. Она (разница) может и в 5 раз быть и в 20.... всякое бывает если база не очень обслуживается и администрируется (и даже тогда бывают такие workload что будет пухнуть и надо будет периодически руками сжимать). -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2020, 17:42 |
|
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
|
|||
---|---|---|---|
#18+
Когда изучал pg_repack, мне дали доступ к серверу тестировщиков. Там были таблицы данные которых умещались на одну страницу (8Кб), а размер таблиц был десятки Мб. Одна даже больше 100Мб была. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.12.2020, 17:47 |
|
|
start [/forum/topic.php?fid=53&fpage=18&tid=1994290]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
30ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
46ms |
get tp. blocked users: |
2ms |
others: | 291ms |
total: | 411ms |
0 / 0 |