|
|
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
Подскажите можно ли при помощи ETL данные из Mysql реплицировать в Postgresql. Если можно, то как осуществляется(осуществлять) контроль за обновлением данных? Хочу понять принцип работы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2013, 12:21 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
bochkovПодскажите можно ли при помощи ETL данные из Mysql реплицировать в Postgresql. Если можно, то как осуществляется(осуществлять) контроль за обновлением данных? Хочу понять принцип работы.не там вопрос задали. Что понимаете род etl? Абстрактный etl или какой тут? Вообще, нужно смотреть, какой об'ем данных, какова критичность, частота обновления данных и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 05:01 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
bochkov, Для PostgreSQL читать про DBlink, до полного просветления. ;-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 07:12 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
из mysql около 20 таблиц надо импортировать в postgresql при этом немного изменить структуру(добавить spatial объекты) но это можно сделать триггерами, данные в psql после импорта редактироваться не могут, но должны быть синхронизированы с данными в mysql обновление mysql происходит каждые 2 минуты, одна таблица около 100 млн, несколько таблиц по 3млн, и справочники от 3000 до 15000 - редко изменяются. Посоветуйте как лучше сделать. Почитал про ETL - показалось что вот оно где то рядом, вот и решил задать вопрос. ETL походу бесплатный придется крутить, если придется. Так что может кто решал подобное и подскажет как сделать, и где грабли лежат ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 08:34 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
Какое количество добавляемых строк в MySQL? Как быстро их нужно видеть на pG? Можно ли вешать дополнительную нагрузку на MySQL? ETL - это зонтик технологий. Вам нужно подмножество - Change Data Capture. Почитайте про это. Но один CDC другому CDC рознь ;) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 12:01 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
1 около 100000 в день, 2 нужно видеть в реальном времени максимум 20 минут задержка, 3 да можно ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 13:27 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
bochkov2 нужно видеть в реальном времени максимум 20 минут задержка, Экое у Вас понятие о "реальном времени", однако... Такую мелочь можно и на коленке состряпать: триггерами в MySQL ведётся лог изменённых записей, а время от времени (раз в минуту, например) джоб из PG коннектится к MySQL и вычитывает этот лог, перекачивая изменённые данные. Несколько я помню, в PG есть и Job-ы и Database Link-и. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 13:40 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
в данных mysql нет логов, сервер только для чтения, нет ничего за что можно было бы зацепиться и определить что изменилось, единственный выход только сравнивать с имеющимися данными в postgresql, ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 14:02 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
bochkovв данных mysql нет логов, сервер только для чтения Что, даже нельзя пару триггеров создать? Тогда - в морг. Merge репликация на таких объёмах не живёт. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 14:15 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
Грустно, совсем, а ведь только надежда появилась ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 14:22 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
bochkovГрустно, совсем Значит придётся забыть о роскоши PG и работать непосредственно с MySQL. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2013, 14:28 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
[quot Dimitry Sibiryakov] bochkovMerge репликация на таких объёмах не живёт. А какие объемы на ваш взгляд допустимы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2013, 06:12 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
[quot bochkov]Dimitry Sibiryakovпропущено... А какие объемы на ваш взгляд допустимы? база в ридонли недопустима... или хотя бы иметь там дату обновления в больших таблицах ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2013, 10:29 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
bochkovА какие объемы на ваш взгляд допустимы? Для MERGE - те, которые способны полностью вЫчитаться за период репликации. Ибо так оно работает: полностью вытягивая данные. Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.06.2013, 11:47 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
у pentaho нашел решение ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 31.07.2015, 00:54 |
|
||
|
ETL Mysql2Postresql
|
|||
|---|---|---|---|
|
#18+
нет не искал, просто решал одну задачу, и вспомнил где можно ее употребить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.08.2015, 14:12 |
|
||
|
|

start [/forum/topic.php?fid=32&msg=38299340&tid=1540498]: |
0ms |
get settings: |
8ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
148ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 238ms |
| total: | 479ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...