Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Несколько ETL серверов в одном контуре. Это нормально? / 5 сообщений из 5, страница 1 из 1
09.06.2020, 02:10
    #39967224
Nika gnome
Nika gnome
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько ETL серверов в одном контуре. Это нормально?
Добрый день.
Вот в контуре есть несколько ETL серверов. Один у DWH, что логично. Но помимо него разработчики ещё нескольких систем посчитали нужным организовать у себя ночные обмены данными. Например, 1C MDM (мастер дата) ночами загребает новые сущности, появившиеся в разных системах и так далее. Таких в сумме 4 штуки.

Как реально организовывается работа в компаниях в таких случаях? В случае дневного обмена ясно, что используется какой-нибудь MQ , общий для всех. А вот в случае ETL процессов как правильно?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
09.06.2020, 06:56
    #39967236
mad_nazgul
mad_nazgul
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько ETL серверов в одном контуре. Это нормально?
Nika gnome,

Э-э-э Data Lake ?

А так мне кажется у вас такая "кривая" интеграция. :-)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
11.06.2020, 16:11
    #39968302
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько ETL серверов в одном контуре. Это нормально?
Просто через DWH обмен сделать. Обосновать снижением нагрузки на продуктивные системы-источники.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.10.2020, 17:17
    #40006314
Nika gnome
Nika gnome
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько ETL серверов в одном контуре. Это нормально?
это точно не "data lake".
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
08.10.2020, 19:28
    #40006711
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Несколько ETL серверов в одном контуре. Это нормально?
Nika gnome,

Если хотите все подмять под себя, то попробуйте объявить ваш stage ODS-слоем, утвердите у архитекторов и вперёд )
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Разработка информационных систем [игнор отключен] [закрыт для гостей] / Несколько ETL серверов в одном контуре. Это нормально? / 5 сообщений из 5, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 399ms
Закрыть
start [/forum/topic.php?fid=33&tablet=1&tid=1547087]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 65ms
get topic data:
 14ms
get forum data:
 3ms
get page messages:
 51ms
get tp. blocked users:
 2ms
others: 231ms
total:  399ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]