powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
7 сообщений из 7, страница 1 из 1
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032256
sandman1911
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Доброго времени суток!

Столкнулся с проблемой при миграции с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12.
Задачу пытался решить двумя способами.
- Первый способ - экспорт снепшота на S3 bucket, но поскольку Амазон ультимативно экспортит в расширении .parquet, я решил отложить этот способ как самый затратный по времени на поиск решения в контексте конвертации и импорта в базу на EC2. Но уже понемногу копаю в этом направлении.

- Второй способ - при помощи PgAdmin4 сделал pg_dump, со следующими параметрами:
/usr/bin/pg_dump --file "/var/lib/pgadmin/storage/name/20201229" --host "db.host" --port "5432" --username "name" --no-password --verbose --format=t --blobs --no-owner --section=pre-data --section=data --section=post-data --no-privileges --no-tablespaces "database_name"

Но здесь столкнулся с нюансом, по схеме и таблицам всё перенеслось, но вес базы в RDS 19 Gb, файл бэкапа весит около 5 Gb, а после импорта в EC2 база весит около 8 Gb.

Вопрос который меня беспокоит - как в таких условиях сделать полную копию базы RDS?
Для тестовой среды в принципе задача выполнена (тут 50/50, данные не так важны), а в плане реэкспорта в другой RDS, тут данные очень важны, поскольку последующим шагом планирую реэскпорт в другой RDS для уменьшения использованого дискового пространства в AWS RDS (поскольку расширятся он гаразд, а уменьшится не хочет никак :) ).

Буду рад и признателен ответу, спасибо за внимание, будьте здоровы, с наступающими/наступившими праздниками и хорошего времени суток!
...
Рейтинг: 0 / 0
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032330
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sandman1911
Но здесь столкнулся с нюансом, по схеме и таблицам всё перенеслось, но вес базы в RDS 19 Gb, файл бэкапа весит около 5 Gb, а после импорта в EC2 база весит около 8 Gb.

Поясните в чём вы видите проблему.
...
Рейтинг: 0 / 0
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032364
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
На размеры сильно не смотрите, проверяйте корректность переноса, например сравнением количества строк по таблицам и проверкой создания всех индексов.
...
Рейтинг: 0 / 0
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032382
sandman1911
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Melkij, проблема скорее в моей обеспокоенности по разнице в размере базы на диске (понимание того что база по размеру после экспорта/импорта может быть меньше по размеру - есть, но что бы на 10 GB меня очень смутило).
Guzya, спасибо, сейчас перепроверю, поскольку результаты прошлых экспортов этим способом были очень сомнительными.
...
Рейтинг: 0 / 0
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032392
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sandman1911
Melkij, проблема скорее в моей обеспокоенности по разнице в размере базы на диске (понимание того что база по размеру после экспорта/импорта может быть меньше по размеру - есть, но что бы на 10 GB меня очень смутило).
Guzya, спасибо, сейчас перепроверю, поскольку результаты прошлых экспортов этим способом были очень сомнительными.


Она (разница) может и в 5 раз быть и в 20.... всякое бывает если база не очень обслуживается и администрируется (и даже тогда бывают такие workload что будет пухнуть и надо будет периодически руками сжимать).

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032393
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Когда изучал pg_repack, мне дали доступ к серверу тестировщиков.
Там были таблицы данные которых умещались на одну страницу (8Кб), а размер таблиц
был десятки Мб. Одна даже больше 100Мб была.
...
Рейтинг: 0 / 0
Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
    #40032413
sandman1911
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Maxim Boguk, Guzya, понял, спасибо, беспокойство ушло, а ещё спасибо Вам за Ваше время)
Буду проводить сравнение и напишу по результату)
...
Рейтинг: 0 / 0
7 сообщений из 7, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Вопрос по миграция внутри AWS, с RDS PostgreSQL 11.8 на EC2 PostgreSQL 12
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]