ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / перевод транспорта извлечения данных полностью на очередь изменений объектов
21 сообщений из 21, страница 1 из 1
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454747
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Всем привет.

У коллег есть идея перевести полностью транспорт извлечения данных (часть extract из ETL) c SQL запросов на работу с очередью изменений объектов.

Вроде бы очередь обычно используется как механизм для получения дельты (для инкрментального обновления) - полная замена представляется довольно озорным мероприятием - кто что думает?

sergeyavdovin.ru
...
Рейтинг: 0 / 0
17.05.2017, 15:10
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454843
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
Evolex_Всем привет.

У коллег есть идея перевести полностью транспорт извлечения данных (часть extract из ETL) c SQL запросов на работу с очередью изменений объектов.

Вроде бы очередь обычно используется как механизм для получения дельты (для инкрментального обновления) - полная замена представляется довольно озорным мероприятием - кто что думает?

sergeyavdovin.ruА зачем? Кто будет данные класть в очередь?
...
Рейтинг: 0 / 0
17.05.2017, 16:40
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454860
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
Alexander Ryndin,

CDC например
...
Рейтинг: 0 / 0
17.05.2017, 16:53
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454871
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Источник тот же самый - он и будет наполнять очередь.
...
Рейтинг: 0 / 0
17.05.2017, 17:04
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454892
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voyager_lan
Участник
Evolex_,

Если после того, как это взлетит и вы будете спать спокойно, то почему бы и нет если это реально требуется.
Тут очевидны доп. трудозадраты на администрирование этой очереди и согласованноть работ при обновлении.
...
Рейтинг: 0 / 0
17.05.2017, 17:20
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454904
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
ShIgorAlexander Ryndin,

CDC напримерДля большинства кейсов CDC прекрасно справляется и без очередей. Хотя, не спорю, есть кейсы, где очереди весьма полезны. Главное понимать, а какую ценность приносит очередь?
...
Рейтинг: 0 / 0
17.05.2017, 17:35
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454907
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
Evolex_Источник тот же самый - он и будет наполнять очередь.В случае ETL сам ETL опрашивает источник и забирает данные асинхронно, чаще всего ночью. А кто будет класть данные в случае очереди? ETL?
P.S. На самом деле, выше правильно сказали про CDC. Только хорошо бы понимать, нафига тут очереди, ибо (опять же правильно сказано выше) их нужно сопровождать, очереди часто плохо масштабируются и т.д., и т.п.
...
Рейтинг: 0 / 0
17.05.2017, 17:37
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454918
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Очередь наполянет система-источник данных.
ETL запускается в то же время, что и раньше, только вместо обращения к SQL обращается к очереди.
У меня пока такие сомнения:
1. full load (vs incremental load)
тут можно рассмотреть случаи, когда требуется:
1.1 при изменении системы - добавлении - удалени поля

2. Сопровождение
при устранении проблем данные часто сравниваютсяс помощью sql запросов - произвольный доступ к любой части информации. В случае с очередью теряем произвольный доступ
...
Рейтинг: 0 / 0
17.05.2017, 17:50
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454926
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
"зачем очередь": приняли решение (не я).
Я пробую сейчас оценить то что потеряли и что нужно будет реализовывать
...
Рейтинг: 0 / 0
17.05.2017, 17:55
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454944
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
Evolex_Очередь наполянет система-источник данных.
Т.е.
1) Система-источник должна уметь наполнять очередь асинхронно (иначе транзакции будут тормозить)
2) Система-источник должна быть доработана, чтобы самостоятельно наполнять очередь
3) Система-источник должна быть доработана при добавлении новых таблиц на источнике
4) Должны быть учтены факторы консистентности и согласованности забора данных.
5) На выходе получится довольно серьезный и уникальный велосипед для сопровождения которого понадобится разработчик этого велосипеда
...
Рейтинг: 0 / 0
17.05.2017, 18:18
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454946
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Alexander Ryndin,

Да, все верно.
Мысль про велосипед меня тоже не покидает - решил на форуме проверить что я не один такой )))).
...
Рейтинг: 0 / 0
17.05.2017, 18:20
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454956
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ferdipux
Гость
Evolex_,

Вам Alexander Ryndin довольно подробно ответил.
Дополню из опыта - в SAP ERP - BW работает похожая схема. По опыту работы и разработки для нее:

1. Нужно предусмотреть как экстрактор дельт, так и экстрактор полного содержимого таблицы или с определенным фильтром. Для инициализации или решения проблем.
2. При расширении состава полей - нужно согласованно расширить объекты на стороне источника и затем обновить получатель.
3. На стороне DWH - желательна реализация схемы ODS, куда падают распакованные из очереди данные, и они затем асинхронно/пакетно применяются.
4. Ко всему этому нужно прикрутить регистрацию ошибок/сообщений и мониторинг

И как такой велосипед поддерживать - тоже отдельный вопрос.
...
Рейтинг: 0 / 0
17.05.2017, 18:31
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454978
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
FerdipuxИ как такой велосипед поддерживать - тоже отдельный вопрос.

а потом появляется еще 3-4 новых источника,
+ весь этот функционал нужно повторить на системах, модифицировать которые вы не имеете права, т.к. иначе с поддержки снимут ))

в общем, выглядит как попытка переложить etl на специалистов, которые занимаются системой-источником
...
Рейтинг: 0 / 0
17.05.2017, 19:14
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39454994
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Критик,

Желание использовать другой транспорт было как раз от тех кто занимается системой - источником. Наверное, не ожидали сами.
...
Рейтинг: 0 / 0
17.05.2017, 19:51
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39455022
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voyager_lan
Участник
Evolex_,

Есть похожие решения реализованные на Apache NiFi
...
Рейтинг: 0 / 0
17.05.2017, 21:23
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39455373
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Voyager_lan,

По крайней мере, из описания деталей на главной странице, непонятны особенности этой системы из-за которых ее следовало бы выделить из остальных для решения проблем описанных выше
...
Рейтинг: 0 / 0
18.05.2017, 13:27
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39459124
Фотография Dmitry.
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dmitry.
Участник
Evolex_Voyager_lan,

По крайней мере, из описания деталей на главной странице, непонятны особенности этой системы из-за которых ее следовало бы выделить из остальных для решения проблем описанных выше

готов рассказать особенности - но с чем сравнивать?
...
Рейтинг: 0 / 0
24.05.2017, 18:48
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39485421
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Есть мысль что тут пригодится ELT - типа hadoop (вместо ETL) это часть проблем, вроде, решит - загружаем все сообщения очереди через ELT потом можно будет пересматривать довольно долго (насколько хватит места) и изменять структуру того что загружается в DWH с полной перезагрузкой DWH без обращения к исходной системы
...
Рейтинг: 0 / 0
10.07.2017, 00:37
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39485424
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
Evolex_Есть мысль что тут пригодится ELT - типа hadoop (вместо ETL) это часть проблем, вроде, решит - загружаем все сообщения очереди через ELT потом можно будет пересматривать довольно долго (насколько хватит места) и изменять структуру того что загружается в DWH с полной перезагрузкой DWH без обращения к исходной системыомг
...
Рейтинг: 0 / 0
10.07.2017, 01:24
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39485425
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Alexander Ryndin,

?))))
...
Рейтинг: 0 / 0
10.07.2017, 01:33
| Ответить | Цитировать | Написать  
перевод транспорта извлечения данных полностью на очередь изменений объектов
    #39485427
Фотография Evolex_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Evolex_
Участник
Надо же чем-то появление очереди компенсировать )))
...
Рейтинг: 0 / 0
10.07.2017, 01:48
| Ответить | Цитировать | Написать  
21 сообщений из 21, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / перевод транспорта извлечения данных полностью на очередь изменений объектов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&msg=39485425&tid=1858188]:
 0ms
get settings:
 8ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 203ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 51ms
get tp. blocked users:
 1ms
others: 13ms
total:  307ms
созд. / загр.: 307ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]