Я новичек в OLAP и DWH. Читал этот форум, olap.ru, искал гуглом. Интересует непосредственная реализация загрузки (обновления) данных в DWH на SQL Server из OLTP на SQL Server. Непосредственных примеров нигде не нашел (плохо искал?). В частности: как обновлять измерения (справочники)? Простая перезагрузка (удаление и загрузка заново) не подходит, т.к. например, в измерении "продукция" товар раньше продавался, а сейчас в оперативной базе таких позиций нет. Сверять по ключам? Или хронить историю изменений для каждой таблицы. Кстати в оперативной базе в каждой таблице есть timestamp (rowversion). Может стоит и в хринилище то же сделать, чтобы сверять изменения. Справочники есть разные: от 10 позицый до десятков тысяч.

Пожалуйста, помогите найти оптимальный способ.

BormoglotТак у вас DWH в реляционной базе?
Нет. Оперативная база на MSSQL и DWH на MSSQL. Обычно какими способами обновляют в хранилище измерения (справочники из оперативной)? Используются ли в таких случаях timestamp (rowversion) или нет? Или обычно хранится история изменений для каждой таблицы?

BormoglotЕсли у вас справочники живут отдельно, то и обновляйте существующие записи и добавляйте новые, удалять существующие нельзя - и все.
Т.е. все строки уже присутствующие в измерении просто обновить (update)?
А стоит ли добавлять в измерения строки, которым нет соответствий в таблице фактов?

Андрей Прохоров
Ответ на это вопрос зависит от многих вещей:
- что вы хотите хранить в истории измерений
- какую модель используете для хранения истории
- как происходят изменения в источнике

Если товар удален из оперативной базы Вы хотите сделать отметку для этого товара в ХД?
Будете хранить историю изменений товара - названий, каких-либо параметров?
Есть ли иерархии, например, товар - группа товаров и т.д.? Они меняются? Если да, то как, только названия или товар может переместиться из группы в группу?

Если товар переместится из одной категории в другую (например увеличится вложенность подкатегорий) суть не изменится, т.е. историю хранить не надо.

Вопрос в другом: эти категории товаров планирую сделать parent-child, но уровни вложенности могут быть разные (задается пользователями). Насколько это правильно будет обрабатываться или все же лучше строго задать одинаковый уровень для всех и денормализовать?

И еще, есть измерение состоящие из неск. таблиц с отношением многие ко многим. Где-то на этом форуме видел, что это хорошо реализуется в AS2005
http://sqljunkies.com/WebLog/sqlbi/archive/2004/10/04/4447.aspx . Но есть дополнительная сложность - сюда нужно еще добавить SCD.