Коллеги,

Передо мной встала задача разработки Operational Data Store и Data Warehouse. Система будет работать по принципу OLTP -> ODS -> DW.
Хотел бы попросить тех людей, кто с этим сталкивался, посоветовать best practices решения следующей проблемы: имеется N баз данных, они гетерогенны и естественно могут изменяться. Кроме того, требования бизнеса тоже могут измениться в какой-то момент, поэтому одним из критичных моментов разрабатываемой системы должна быть возможность гибко реагировать на изменение схем источников данных.
Как вы решаете эту проблему? Если мы говорим про ODS, то тут в общем я более менее понимаю - можно просто с нуля пересоздать требуемые таблицы и выкачать необходимую информацию из источников. Но как быть с DW где будет храниться уйма исторической информации? Есть ли какие-то стандартные, проверенные временем решения? Я спрашиваю это оторванно от каких-либо программных продуктов, нужно понять только принцип.

Спасибо.

Спасибо за ответы.
Вопрос вообще овхникает по следующей причине. Одна из систем, из которых будут строиться хранилище и ODS, лежит у внешней конторы. Эта база хранит информацию из модульной системы. Соответственно через какое-то время руководство может купить и внедрить еще один модуль, а это n-ое количество таблиц + возможные изменения в существующих. Более того, провайдер может вообще без нашего ведома изменить схему системы из соображений оптимизации или еще чего-либо.
Сейчас мы просто делаем дамп с нуля этой базы на регулярной основе: полностью трем существующий дамп, заново пресоздаем схему и выгружаем информацию. На данном этапе претензий к этой процедруе нет никаких.
Но что будет, когда у нас будет сделан DW и ODS? С ODS в принципе понятно - его можно и заново выгрузить, так как там больших объемов данных не будет.
Но вот как тогда быть с таблицей фактов из DW, которая будет содержать на порядок больше ненормализованной информации, причем часть из которой будет поступать не из legacy-систем, а напрямую из ODS? Выходит, что придется все заново процессить, а это крайне затратно по временным и компьютерным ресурсам.
Поэтому я просто хочу узнать если какие-либо паттерны, общие подходы к решению таких проблем? Понятно, что это так и так потребует много возни с DW, нужун именно реальный опыт решения таких ситуаций.