Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / подскажите дизайн ETL / 17 сообщений из 17, страница 1 из 1
14.06.2006, 16:53
    #33790889
ili
ili
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Здравствуйте!
Подскажите, пожалуйста, верное решение для ETL.
Надо переносить в staging db исторические данные таблиц сессий. Предполагается, что их размер будет даже в течение дня огромный. Как правильно организовать процесс переноса данных для последующего использования datawarehouse?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
14.06.2006, 22:47
    #33791593
AAron
AAron
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
не надо плодить темы.

собственно, подсказать что?
как переносить? или чем переносить? Или как проверять?

Можете использовать DTS, можете использовать SQL или специализированные средства. вариантов масса.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 02:00
    #33791660
ili
ili
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Спасибо за ответ.
Вопрос у меня, уж поверьте, не праздный, времени на решение, как всегда, нет. Не хочу делать ошибки, которые потом трудно исправлять. Поэтому и прошу совета у тех, кто решал такие задачи.
Переносить буду с помощью DTS.
Конкретный вопрос, как лучше писать данные, если за день может быть до 10 млн. записей. Каждый день в новую таблицу? Нумеровать как логи? Может лучше сразу писать в ту базу, в которую потом собираюсь переносить данные?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 09:36
    #33791871
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Исходите из удобства потребления этих данных.

Наверное, удобнее в одну таблицу валить - возможно, партиционированную.
Не забудьте в ней сделать поле "дата вставки", которое заполняйте DTS-ом в момент переливки.
На момент вставки можно отключать индексы, если они вообще планируются. Также советую bulk insert - быстрее ничего нет.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 10:43
    #33792075
серый ник...
серый ник...
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
ГликогенНе забудьте в ней сделать поле "дата вставки"
советники млин....)))) всем дядьку Кимбала читать, по ответам на форуме, ИМХО, никто еще специалистом не стал.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 11:30
    #33792245
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
По существу совета есть возражения, или просто взыграло чувство кухонного политического критика?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 11:52
    #33792344
серый ник...
серый ник...
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
ГликогенПо существу совета есть возражения, или просто взыграло чувство кухонного политического критика?
да, по существу процитированного мною совета, это, наверное, самая распространенная ошибка, но учить это не мое и не хочу ничего никому навязывать, тем более что обычно споры здесь скатываются во флуд (например, Вы уже начали упражняться в изяществе оскорблений).
могу только еще раз посоветовать автору топика почитать классиков
The Data Warehouse ETL Toolkit
Ralph Kimball
Joe Caserta
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 12:08
    #33792414
ili
ili
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Гликогену. Спасибо за ответ. Мне надо после успешного переноса данных в удалять их из базы OLTP. Я понимаю, что наиболее быстрый способ очистки Truncate table. Если писать в одну таблицу, то надо добавить поле partition. Зачем добавлять поле для DTS?
Серому нику... Ну читала я Кимбала, как раз Database Warehouse Toolkit ETL. Все равно вопросы есть по конкретному кейсу.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 12:26
    #33792518
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
авторно учить это не мое и

Надо же, учить - это не ваше, а создать два пустых поста с мессиджем "я здесь самый умный" - это как раз ваше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 13:15
    #33792721
серый ник...
серый ник...
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
авторНадо же, учить - это не ваше, а создать два пустых поста с мессиджем "я здесь самый умный" - это как раз ваше.
Извините, я всего лишь хотел указать Вам на ошибку, которую вы советуете повторить автору топика, а Вам это не понравилось)))
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 13:36
    #33792798
ili
ili
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Серый ник, не говорите загадками, объясните про ошибку, пожалуйста!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 14:40
    #33793069
серый ник...
серый ник...
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
iliСерый ник, не говорите загадками, объясните про ошибку, пожалуйста!
в фактах никаких дат\времени вставки и дат\времени модификаций, а также названия источников и прочей лабуды.
Это все заносится в протокол загрузки, а в факты ИД загрузки из этого протокола.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 15:07
    #33793188
ili
ili
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
А протокол загрузки делать отдельной таблицей и хранить в OLTP базе?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 15:25
    #33793268
inga
inga
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
серый ник... iliСерый ник, не говорите загадками, объясните про ошибку, пожалуйста!
в фактах никаких дат\времени вставки и дат\времени модификаций, а также названия источников и прочей лабуды.
Это все заносится в протокол загрузки, а в факты ИД загрузки из этого протокола.

в ХД для таблиц фактов - невопрос. а для sa таблиц зачем?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 15:26
    #33793270
inga
inga
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
iliА протокол загрузки делать отдельной таблицей и хранить в OLTP базе?

протокол загрузки - отдельная таблица. хранить там же где и таблицы которые вы загружаете.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
15.06.2006, 16:33
    #33793565
ili
ili
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Спасибо большое
Туман немного прояснился, хотя еще не все ясно, как делать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
16.06.2006, 11:02
    #33794888
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
подскажите дизайн ETL
Быть бОльшими конформистами, чем отцы-основатели, это, конечно, хорошо... :)

1. В книгах Кимбалла идет вал рекомендаций. Принять их все в типичной для российских проектов ситуации - где один-два исполнителя - это завалить проект по недостаточности ресурсов.
Поэтому рекомендации можно применять выборочно.

2. Возвращаясь к конкретике. В уже реализованных тиражных продуктах, как то MS SSABI и Cognos DecisionStream - по дефолту добавляются поля к таблицам доставки с метками даты вставки и процесса вставки.
Там что, по-вашему, дураки работают? ;)

Так что исходить нужно не из книжных догм, а из принципа разумной достаточности, и все у вас получится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / подскажите дизайн ETL / 17 сообщений из 17, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]