Проектирую хранилище данных. Стоит задача составить один справочник (клиентов) в ХД из справочников (клиентов) в операционных системах. Подскажите, что почитать на эту тему. Или подскажите какие есть паттерны. Желательно минимальное участие пользователей в этом процессе.

Кот МатроскинВ таких случаях ( много разнородных систем-источников) в хранилище грузят зачастую денормализованные данные, безо всяких справочников.

Не подходит. Справочник однозначно должен быть. Но спасибо за ответ :)

Васильев АндрейВ первую очередь - определиться с мастер-справочником, которому вы будете доверять и из которого будете заполнять измерение. Потом выбрать подходящий тип Slowly Changing Dimension
_____________________
С уважением , Андрей.

Мастер справочник выбрал. SCD не нужен.

Проблема в том, что грузить надо все справочники, для того чтобы привязывать транзакции к справочнику. Справочники частично пересекаются.. Отсюда вытекает, что нужно находить соответсвие мужду строками из справочника в первой системе и справочником во второй системе. Появляются такие ситуации:
1 - добавляется клиент1 из справочника 1
2 - добавляется клиент2 из справочника 2
3 - добавляются транзакции, которые привязываются на клиента1 и клиента2
4 - проходит update справочника 2, так что клиент1 теперь "равен" клиенту2.. коллизия . что делать?

интересны разные подходы к решению данной проблемы

SeVaВ MS SQL Server 2005 есть интересные приблуды для этого: Fuzzy Lookup,Fuzzy Grouping. Если не 2005, то погугли по Fuzzy Search

У меня Oracle, но поищу..

А6дулла автор4 - проходит update справочника 2, так что клиент1 теперь "равен" клиенту2.. коллизия . что делать?
Вот за этим и нужен SCD.
На оба справочника в системах-источниках вешается SCD, а согласование идет на уровне Surrogate Key, причем тоже с учетом истории, и возможно, с учетом возможности связывания сущностей из двух систем один-к-нескольким.

Не.. Или вы меня не поняли, или я вас не понял)

" коллизия " не в том, что я не знаю что писать в справочник, коллизия в том что есть транзакции привязанные к клиенту1 и транзакции привязанные к клиенту2. А теперь вдруг выясняется что это один и тот же клиент.. Вот как с этим быть? Если SCD мне чем-то помогут, распишите, пожалуйста, поподробней.

Так ведь до момента "А теперь вдруг выясняется" у меня не действовало никакой нормальной пары! У меня было две неполные пары, т.е. я думал что клиент есть в одной системе и его нет в другой.

SK_Пары1 | Код системы 1 = 1000 = Код системы 2 = NULL | срок действия с -бесконечность по этот момент.
SK_Пары2 | Код системы 1 = NULL = Код системы 2 = 2000 | срок действия с -бесконечность по этот момент.

SK_Пары1!=SK_Пары2

Или я опять не понял?

Вобщем пока придумали такой способ:

Было
Клиенты
GroupIDIDкод в системе 1код в системе 2имя11001000nullИванов А. Б.2200null2000А. Б. Иванов
Факты
ID клиентфакт100158200255

прошёл update клиентов. Стало
Клиенты
GroupIDIDкод в системе 1код в системе 2имя11001000nullИванов А. Б.2200null1000А. Б. Иванов
"Связываем" этих двух клиентов понимая что система 1 у нас приоритетная по данным, получаем
Клиенты
GroupIDIDкод в системе 1код в системе 2имя110010001000Иванов А. Б.120010001000Иванов А. Б.

Объединяем с фактами по ID, а если хотим посмотреть инфу по конкретному клиенту - используем GroupID. Вроде логично. Покритикуете?

Вобщем примерно понял что делать) Всем спасибо :)