Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Инкрементальное пополнение хранилища. DTS / 8 сообщений из 8, страница 1 из 1
31.08.2005, 08:38
    #33242435
Инкрементальное пополнение хранилища. DTS
Господа, проблема в следующем:
Существует оперативная БД.
Я создал хранилище, которое должно пополняться из оперативной БД посредством DTS.
На http://olap.ru/basic/olap_intro4.asp приведён пример заполнения хранилища данными, но здесь предлагается очищать хранилище перед заполнением. В силу обстоятельств в моём хранилище данные удалять нельзя.
Как организовать в DTS инкрементальное добавление данных в хранилище (т.е. вносить только новую информацию)?
...
Рейтинг: 0 / 0
31.08.2005, 09:47
    #33242555
ASa
ASa
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инкрементальное пополнение хранилища. DTS
Отсекать существующие по ключевому полю.
Я делал для фактов две таблицы. 1. Основная. 2. Текущий месяц.
Все новые данные заливал в маленькую, проверяя на наличие записей.
По окончанию месяца маленькую заливаю в основную. Маленькую очищаю...
...
Рейтинг: 0 / 0
31.08.2005, 10:13
    #33242625
Инкрементальное пополнение хранилища. DTS
При такой схеме каждый раз всё больше и больше трафика уходить будет, т.к. собирать придётся всю информацию. Ну трафик не так страшно, но сколько нужно будет времени для обновления... Не годится.
...
Рейтинг: 0 / 0
01.09.2005, 06:43
    #33244773
Инкрементальное пополнение хранилища. DTS
Я имею в виду обновление таблиц измерений в первую очередь...
К примеру есть у меня таблица "Контрагенты". В оперативной БД В аналогичной таблице контрагенты могут удаляться, вставляться новые, а в хранилище мне нужно хранить всех контрагентов, которые когда-либо были в оперативной БД.
...
Рейтинг: 0 / 0
09.09.2005, 11:13
    #33260655
EugenT
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инкрементальное пополнение хранилища. DTS
Вячеслав БанкетЯ имею в виду обновление таблиц измерений в первую очередь...
К примеру есть у меня таблица "Контрагенты". В оперативной БД В аналогичной таблице контрагенты могут удаляться, вставляться новые, а в хранилище мне нужно хранить всех контрагентов, которые когда-либо были в оперативной БД.

Если измерение у Вас строится не по оперативной базе, то перед импортом в хранилище нужно просто проверять на наличие новых данных в выгрузке и их загружать, а измерение делать Incremental Update.
...
Рейтинг: 0 / 0
10.09.2005, 14:25
    #33262485
Валентин К
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инкрементальное пополнение хранилища. DTS
Интересная статья http://olap.ru/basic/olap_intro4.asp
Как всегда функционала на практике не хватило.

Я поддерживаю идею о наличии главного и промежуточного хранилища данных. Сначала закачать исследуемый период в промежуточное, потом промежуточное отбором изменений перенести в главное.

Можно сделать другой вариант: добавить флажок передачи в хранилище в таблички, из которых черпаются данные и подымать его для новых и измененных данных. При перекачивании данных использовать этот флажок, как ключ запросов, после чего его сбрасывать.
...
Рейтинг: 0 / 0
12.09.2005, 10:00
    #33263315
Вжик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инкрементальное пополнение хранилища. DTS
То, что Вы называете промежуточным хранилищем - является так называемым "Отстойником" в схеме ХД.
...
Рейтинг: 0 / 0
12.09.2005, 10:30
    #33263394
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инкрементальное пополнение хранилища. DTS
Прям каламбур напрашивается

Решение без отстойника - отстой.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Инкрементальное пополнение хранилища. DTS / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]