powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / ETL Mysql2Postresql
18 сообщений из 18, страница 1 из 1
ETL Mysql2Postresql
    #38298934
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Подскажите можно ли при помощи ETL данные из Mysql реплицировать в Postgresql.
Если можно, то как осуществляется(осуществлять) контроль за обновлением данных?
Хочу понять принцип работы.
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299295
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bochkovПодскажите можно ли при помощи ETL данные из Mysql реплицировать в Postgresql.
Если можно, то как осуществляется(осуществлять) контроль за обновлением данных?
Хочу понять принцип работы.не там вопрос задали.
Что понимаете род etl? Абстрактный etl или какой тут?
Вообще, нужно смотреть, какой об'ем данных, какова критичность, частота обновления данных и т.д.
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299311
mad_nazgul
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bochkov,

Для PostgreSQL читать про DBlink, до полного просветления. ;-)
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299340
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
из mysql около 20 таблиц надо импортировать в postgresql
при этом немного изменить структуру(добавить spatial объекты)
но это можно сделать триггерами,
данные в psql после импорта редактироваться не могут,
но должны быть синхронизированы с данными в mysql
обновление mysql происходит каждые 2 минуты,
одна таблица около 100 млн, несколько таблиц по 3млн,
и справочники от 3000 до 15000 - редко изменяются.
Посоветуйте как лучше сделать.
Почитал про ETL - показалось что вот оно где то рядом, вот и решил задать вопрос.
ETL походу бесплатный придется крутить, если придется.
Так что может кто решал подобное и подскажет как сделать, и где грабли лежат
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299704
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Какое количество добавляемых строк в MySQL?
Как быстро их нужно видеть на pG?
Можно ли вешать дополнительную нагрузку на MySQL?

ETL - это зонтик технологий. Вам нужно подмножество - Change Data Capture. Почитайте про это. Но один CDC другому CDC рознь ;)
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299886
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1 около 100000 в день,
2 нужно видеть в реальном времени максимум 20 минут задержка,
3 да можно
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299915
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bochkov2 нужно видеть в реальном времени максимум 20 минут задержка,

Экое у Вас понятие о "реальном времени", однако...

Такую мелочь можно и на коленке состряпать: триггерами в MySQL ведётся лог изменённых
записей, а время от времени (раз в минуту, например) джоб из PG коннектится к MySQL и
вычитывает этот лог, перекачивая изменённые данные. Несколько я помню, в PG есть и Job-ы и
Database Link-и.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38299967
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
в данных mysql нет логов, сервер только для чтения,
нет ничего за что можно было бы зацепиться и определить что изменилось,
единственный выход только сравнивать с имеющимися данными в postgresql,
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38300011
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bochkovв данных mysql нет логов, сервер только для чтения
Что, даже нельзя пару триггеров создать? Тогда - в морг. Merge репликация на таких объёмах
не живёт.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38300027
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Грустно, совсем, а ведь только надежда появилась
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38300052
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bochkovГрустно, совсем
Значит придётся забыть о роскоши PG и работать непосредственно с MySQL.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38300876
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Dimitry Sibiryakov]
bochkovMerge репликация на таких объёмах
не живёт.

А какие объемы на ваш взгляд допустимы?
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38301084
Ivan Durak
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot bochkov]Dimitry Sibiryakovпропущено...

А какие объемы на ваш взгляд допустимы?
база в ридонли недопустима...
или хотя бы иметь там дату обновления в больших таблицах
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #38301245
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bochkovА какие объемы на ваш взгляд допустимы?
Для MERGE - те, которые способны полностью вЫчитаться за период репликации. Ибо так оно
работает: полностью вытягивая данные.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
ETL Mysql2Postresql
    #39019963
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
у pentaho нашел решение
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #39024361
halt
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 года искал?
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #39024366
bochkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
нет не искал,
просто решал одну задачу,
и вспомнил где можно ее употребить
...
Рейтинг: 0 / 0
ETL Mysql2Postresql
    #39024841
aeugen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Мне больше Talend'овский ETL нравится.
А, конкретно, для репликации настраивал tungsten-replicator.
...
Рейтинг: 0 / 0
18 сообщений из 18, страница 1 из 1
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / ETL Mysql2Postresql
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]