Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / ETL Mysql2Postresql / 18 сообщений из 18, страница 1 из 1
16.06.2013, 12:21
    #38298934
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
Подскажите можно ли при помощи ETL данные из Mysql реплицировать в Postgresql.
Если можно, то как осуществляется(осуществлять) контроль за обновлением данных?
Хочу понять принцип работы.
...
Рейтинг: 0 / 0
17.06.2013, 05:01
    #38299295
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
bochkovПодскажите можно ли при помощи ETL данные из Mysql реплицировать в Postgresql.
Если можно, то как осуществляется(осуществлять) контроль за обновлением данных?
Хочу понять принцип работы.не там вопрос задали.
Что понимаете род etl? Абстрактный etl или какой тут?
Вообще, нужно смотреть, какой об'ем данных, какова критичность, частота обновления данных и т.д.
...
Рейтинг: 0 / 0
17.06.2013, 07:12
    #38299311
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
bochkov,

Для PostgreSQL читать про DBlink, до полного просветления. ;-)
...
Рейтинг: 0 / 0
17.06.2013, 08:34
    #38299340
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
из mysql около 20 таблиц надо импортировать в postgresql
при этом немного изменить структуру(добавить spatial объекты)
но это можно сделать триггерами,
данные в psql после импорта редактироваться не могут,
но должны быть синхронизированы с данными в mysql
обновление mysql происходит каждые 2 минуты,
одна таблица около 100 млн, несколько таблиц по 3млн,
и справочники от 3000 до 15000 - редко изменяются.
Посоветуйте как лучше сделать.
Почитал про ETL - показалось что вот оно где то рядом, вот и решил задать вопрос.
ETL походу бесплатный придется крутить, если придется.
Так что может кто решал подобное и подскажет как сделать, и где грабли лежат
...
Рейтинг: 0 / 0
17.06.2013, 12:01
    #38299704
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
Какое количество добавляемых строк в MySQL?
Как быстро их нужно видеть на pG?
Можно ли вешать дополнительную нагрузку на MySQL?

ETL - это зонтик технологий. Вам нужно подмножество - Change Data Capture. Почитайте про это. Но один CDC другому CDC рознь ;)
...
Рейтинг: 0 / 0
17.06.2013, 13:27
    #38299886
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
1 около 100000 в день,
2 нужно видеть в реальном времени максимум 20 минут задержка,
3 да можно
...
Рейтинг: 0 / 0
17.06.2013, 13:40
    #38299915
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
bochkov2 нужно видеть в реальном времени максимум 20 минут задержка,

Экое у Вас понятие о "реальном времени", однако...

Такую мелочь можно и на коленке состряпать: триггерами в MySQL ведётся лог изменённых
записей, а время от времени (раз в минуту, например) джоб из PG коннектится к MySQL и
вычитывает этот лог, перекачивая изменённые данные. Несколько я помню, в PG есть и Job-ы и
Database Link-и.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.06.2013, 14:02
    #38299967
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
в данных mysql нет логов, сервер только для чтения,
нет ничего за что можно было бы зацепиться и определить что изменилось,
единственный выход только сравнивать с имеющимися данными в postgresql,
...
Рейтинг: 0 / 0
17.06.2013, 14:15
    #38300011
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
bochkovв данных mysql нет логов, сервер только для чтения
Что, даже нельзя пару триггеров создать? Тогда - в морг. Merge репликация на таких объёмах
не живёт.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
17.06.2013, 14:22
    #38300027
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
Грустно, совсем, а ведь только надежда появилась
...
Рейтинг: 0 / 0
17.06.2013, 14:28
    #38300052
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
bochkovГрустно, совсем
Значит придётся забыть о роскоши PG и работать непосредственно с MySQL.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
18.06.2013, 06:12
    #38300876
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
[quot Dimitry Sibiryakov]
bochkovMerge репликация на таких объёмах
не живёт.

А какие объемы на ваш взгляд допустимы?
...
Рейтинг: 0 / 0
18.06.2013, 10:29
    #38301084
Ivan Durak
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
[quot bochkov]Dimitry Sibiryakovпропущено...

А какие объемы на ваш взгляд допустимы?
база в ридонли недопустима...
или хотя бы иметь там дату обновления в больших таблицах
...
Рейтинг: 0 / 0
18.06.2013, 11:47
    #38301245
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
bochkovА какие объемы на ваш взгляд допустимы?
Для MERGE - те, которые способны полностью вЫчитаться за период репликации. Ибо так оно
работает: полностью вытягивая данные.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
31.07.2015, 00:54
    #39019963
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
у pentaho нашел решение
...
Рейтинг: 0 / 0
06.08.2015, 14:09
    #39024361
halt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
2 года искал?
...
Рейтинг: 0 / 0
06.08.2015, 14:12
    #39024366
bochkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
нет не искал,
просто решал одну задачу,
и вспомнил где можно ее употребить
...
Рейтинг: 0 / 0
07.08.2015, 11:03
    #39024841
aeugen
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ETL Mysql2Postresql
Мне больше Talend'овский ETL нравится.
А, конкретно, для репликации настраивал tungsten-replicator.
...
Рейтинг: 0 / 0
Форумы / Проектирование БД [игнор отключен] [закрыт для гостей] / ETL Mysql2Postresql / 18 сообщений из 18, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]