Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / перевод транспорта извлечения данных полностью на очередь изменений объектов / 21 сообщений из 21, страница 1 из 1
17.05.2017, 15:10
    #39454747
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Всем привет.

У коллег есть идея перевести полностью транспорт извлечения данных (часть extract из ETL) c SQL запросов на работу с очередью изменений объектов.

Вроде бы очередь обычно используется как механизм для получения дельты (для инкрментального обновления) - полная замена представляется довольно озорным мероприятием - кто что думает?

sergeyavdovin.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 16:40
    #39454843
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_Всем привет.

У коллег есть идея перевести полностью транспорт извлечения данных (часть extract из ETL) c SQL запросов на работу с очередью изменений объектов.

Вроде бы очередь обычно используется как механизм для получения дельты (для инкрментального обновления) - полная замена представляется довольно озорным мероприятием - кто что думает?

sergeyavdovin.ruА зачем? Кто будет данные класть в очередь?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 16:53
    #39454860
ShIgor
ShIgor
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Alexander Ryndin,

CDC например
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 17:04
    #39454871
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Источник тот же самый - он и будет наполнять очередь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 17:20
    #39454892
Voyager_lan
Voyager_lan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_,

Если после того, как это взлетит и вы будете спать спокойно, то почему бы и нет если это реально требуется.
Тут очевидны доп. трудозадраты на администрирование этой очереди и согласованноть работ при обновлении.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 17:35
    #39454904
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
ShIgorAlexander Ryndin,

CDC напримерДля большинства кейсов CDC прекрасно справляется и без очередей. Хотя, не спорю, есть кейсы, где очереди весьма полезны. Главное понимать, а какую ценность приносит очередь?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 17:37
    #39454907
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_Источник тот же самый - он и будет наполнять очередь.В случае ETL сам ETL опрашивает источник и забирает данные асинхронно, чаще всего ночью. А кто будет класть данные в случае очереди? ETL?
P.S. На самом деле, выше правильно сказали про CDC. Только хорошо бы понимать, нафига тут очереди, ибо (опять же правильно сказано выше) их нужно сопровождать, очереди часто плохо масштабируются и т.д., и т.п.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 17:50
    #39454918
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Очередь наполянет система-источник данных.
ETL запускается в то же время, что и раньше, только вместо обращения к SQL обращается к очереди.
У меня пока такие сомнения:
1. full load (vs incremental load)
тут можно рассмотреть случаи, когда требуется:
1.1 при изменении системы - добавлении - удалени поля

2. Сопровождение
при устранении проблем данные часто сравниваютсяс помощью sql запросов - произвольный доступ к любой части информации. В случае с очередью теряем произвольный доступ
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 17:55
    #39454926
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
"зачем очередь": приняли решение (не я).
Я пробую сейчас оценить то что потеряли и что нужно будет реализовывать
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 18:18
    #39454944
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_Очередь наполянет система-источник данных.
Т.е.
1) Система-источник должна уметь наполнять очередь асинхронно (иначе транзакции будут тормозить)
2) Система-источник должна быть доработана, чтобы самостоятельно наполнять очередь
3) Система-источник должна быть доработана при добавлении новых таблиц на источнике
4) Должны быть учтены факторы консистентности и согласованности забора данных.
5) На выходе получится довольно серьезный и уникальный велосипед для сопровождения которого понадобится разработчик этого велосипеда
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 18:20
    #39454946
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Alexander Ryndin,

Да, все верно.
Мысль про велосипед меня тоже не покидает - решил на форуме проверить что я не один такой )))).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 18:31
    #39454956
Ferdipux
Ferdipux
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_,

Вам Alexander Ryndin довольно подробно ответил.
Дополню из опыта - в SAP ERP - BW работает похожая схема. По опыту работы и разработки для нее:

1. Нужно предусмотреть как экстрактор дельт, так и экстрактор полного содержимого таблицы или с определенным фильтром. Для инициализации или решения проблем.
2. При расширении состава полей - нужно согласованно расширить объекты на стороне источника и затем обновить получатель.
3. На стороне DWH - желательна реализация схемы ODS, куда падают распакованные из очереди данные, и они затем асинхронно/пакетно применяются.
4. Ко всему этому нужно прикрутить регистрацию ошибок/сообщений и мониторинг

И как такой велосипед поддерживать - тоже отдельный вопрос.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 19:14
    #39454978
Критик
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
FerdipuxИ как такой велосипед поддерживать - тоже отдельный вопрос.

а потом появляется еще 3-4 новых источника,
+ весь этот функционал нужно повторить на системах, модифицировать которые вы не имеете права, т.к. иначе с поддержки снимут ))

в общем, выглядит как попытка переложить etl на специалистов, которые занимаются системой-источником
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 19:51
    #39454994
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Критик,

Желание использовать другой транспорт было как раз от тех кто занимается системой - источником. Наверное, не ожидали сами.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
17.05.2017, 21:23
    #39455022
Voyager_lan
Voyager_lan
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_,

Есть похожие решения реализованные на Apache NiFi
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
18.05.2017, 13:27
    #39455373
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Voyager_lan,

По крайней мере, из описания деталей на главной странице, непонятны особенности этой системы из-за которых ее следовало бы выделить из остальных для решения проблем описанных выше
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
24.05.2017, 18:48
    #39459124
Dmitry.
Dmitry.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_Voyager_lan,

По крайней мере, из описания деталей на главной странице, непонятны особенности этой системы из-за которых ее следовало бы выделить из остальных для решения проблем описанных выше

готов рассказать особенности - но с чем сравнивать?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.07.2017, 00:37
    #39485421
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Есть мысль что тут пригодится ELT - типа hadoop (вместо ETL) это часть проблем, вроде, решит - загружаем все сообщения очереди через ELT потом можно будет пересматривать довольно долго (насколько хватит места) и изменять структуру того что загружается в DWH с полной перезагрузкой DWH без обращения к исходной системы
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.07.2017, 01:24
    #39485424
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Evolex_Есть мысль что тут пригодится ELT - типа hadoop (вместо ETL) это часть проблем, вроде, решит - загружаем все сообщения очереди через ELT потом можно будет пересматривать довольно долго (насколько хватит места) и изменять структуру того что загружается в DWH с полной перезагрузкой DWH без обращения к исходной системыомг
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.07.2017, 01:33
    #39485425
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Alexander Ryndin,

?))))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
10.07.2017, 01:48
    #39485427
Evolex_
Evolex_
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
перевод транспорта извлечения данных полностью на очередь изменений объектов
Надо же чем-то появление очереди компенсировать )))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / перевод транспорта извлечения данных полностью на очередь изменений объектов / 21 сообщений из 21, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 503ms
Закрыть
start [/forum/topic.php?fid=49&mobile=1&tid=1858188]:
 0ms
get settings:
 11ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 162ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 59ms
get tp. blocked users:
 2ms
others: 230ms
total:  503ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]