ReSQL.ru
     
powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / подскажите дизайн ETL
17 сообщений из 17, страница 1 из 1
подскажите дизайн ETL
    #33790889
ili
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ili
Гость
Здравствуйте!
Подскажите, пожалуйста, верное решение для ETL.
Надо переносить в staging db исторические данные таблиц сессий. Предполагается, что их размер будет даже в течение дня огромный. Как правильно организовать процесс переноса данных для последующего использования datawarehouse?
...
Рейтинг: 0 / 0
14.06.2006, 16:53
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33791593
AAron
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
AAron
Участник
не надо плодить темы.

собственно, подсказать что?
как переносить? или чем переносить? Или как проверять?

Можете использовать DTS, можете использовать SQL или специализированные средства. вариантов масса.
...
Рейтинг: 0 / 0
14.06.2006, 22:47
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33791660
ili
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ili
Гость
Спасибо за ответ.
Вопрос у меня, уж поверьте, не праздный, времени на решение, как всегда, нет. Не хочу делать ошибки, которые потом трудно исправлять. Поэтому и прошу совета у тех, кто решал такие задачи.
Переносить буду с помощью DTS.
Конкретный вопрос, как лучше писать данные, если за день может быть до 10 млн. записей. Каждый день в новую таблицу? Нумеровать как логи? Может лучше сразу писать в ту базу, в которую потом собираюсь переносить данные?
...
Рейтинг: 0 / 0
15.06.2006, 02:00
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33791871
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
Исходите из удобства потребления этих данных.

Наверное, удобнее в одну таблицу валить - возможно, партиционированную.
Не забудьте в ней сделать поле "дата вставки", которое заполняйте DTS-ом в момент переливки.
На момент вставки можно отключать индексы, если они вообще планируются. Также советую bulk insert - быстрее ничего нет.
...
Рейтинг: 0 / 0
15.06.2006, 09:36
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792075
серый ник...
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
серый ник...
Участник
ГликогенНе забудьте в ней сделать поле "дата вставки"
советники млин....)))) всем дядьку Кимбала читать, по ответам на форуме, ИМХО, никто еще специалистом не стал.
...
Рейтинг: 0 / 0
15.06.2006, 10:43
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792245
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
По существу совета есть возражения, или просто взыграло чувство кухонного политического критика?
...
Рейтинг: 0 / 0
15.06.2006, 11:30
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792344
серый ник...
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
серый ник...
Участник
ГликогенПо существу совета есть возражения, или просто взыграло чувство кухонного политического критика?
да, по существу процитированного мною совета, это, наверное, самая распространенная ошибка, но учить это не мое и не хочу ничего никому навязывать, тем более что обычно споры здесь скатываются во флуд (например, Вы уже начали упражняться в изяществе оскорблений).
могу только еще раз посоветовать автору топика почитать классиков
The Data Warehouse ETL Toolkit
Ralph Kimball
Joe Caserta
...
Рейтинг: 0 / 0
15.06.2006, 11:52
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792414
ili
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ili
Гость
Гликогену. Спасибо за ответ. Мне надо после успешного переноса данных в удалять их из базы OLTP. Я понимаю, что наиболее быстрый способ очистки Truncate table. Если писать в одну таблицу, то надо добавить поле partition. Зачем добавлять поле для DTS?
Серому нику... Ну читала я Кимбала, как раз Database Warehouse Toolkit ETL. Все равно вопросы есть по конкретному кейсу.
...
Рейтинг: 0 / 0
15.06.2006, 12:08
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792518
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
авторно учить это не мое и

Надо же, учить - это не ваше, а создать два пустых поста с мессиджем "я здесь самый умный" - это как раз ваше.
...
Рейтинг: 0 / 0
15.06.2006, 12:26
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792721
серый ник...
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
серый ник...
Участник
авторНадо же, учить - это не ваше, а создать два пустых поста с мессиджем "я здесь самый умный" - это как раз ваше.
Извините, я всего лишь хотел указать Вам на ошибку, которую вы советуете повторить автору топика, а Вам это не понравилось)))
...
Рейтинг: 0 / 0
15.06.2006, 13:15
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33792798
ili
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ili
Гость
Серый ник, не говорите загадками, объясните про ошибку, пожалуйста!
...
Рейтинг: 0 / 0
15.06.2006, 13:36
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33793069
серый ник...
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
серый ник...
Участник
iliСерый ник, не говорите загадками, объясните про ошибку, пожалуйста!
в фактах никаких дат\времени вставки и дат\времени модификаций, а также названия источников и прочей лабуды.
Это все заносится в протокол загрузки, а в факты ИД загрузки из этого протокола.
...
Рейтинг: 0 / 0
15.06.2006, 14:40
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33793188
ili
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ili
Гость
А протокол загрузки делать отдельной таблицей и хранить в OLTP базе?
...
Рейтинг: 0 / 0
15.06.2006, 15:07
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33793268
inga
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
inga
Участник
серый ник... iliСерый ник, не говорите загадками, объясните про ошибку, пожалуйста!
в фактах никаких дат\времени вставки и дат\времени модификаций, а также названия источников и прочей лабуды.
Это все заносится в протокол загрузки, а в факты ИД загрузки из этого протокола.

в ХД для таблиц фактов - невопрос. а для sa таблиц зачем?
...
Рейтинг: 0 / 0
15.06.2006, 15:25
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33793270
inga
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
inga
Участник
iliА протокол загрузки делать отдельной таблицей и хранить в OLTP базе?

протокол загрузки - отдельная таблица. хранить там же где и таблицы которые вы загружаете.
...
Рейтинг: 0 / 0
15.06.2006, 15:26
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33793565
ili
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ili
Гость
Спасибо большое
Туман немного прояснился, хотя еще не все ясно, как делать.
...
Рейтинг: 0 / 0
15.06.2006, 16:33
| Ответить | Цитировать | Написать  
подскажите дизайн ETL
    #33794888
Фотография Гликоген
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гликоген
Участник
Быть бОльшими конформистами, чем отцы-основатели, это, конечно, хорошо... :)

1. В книгах Кимбалла идет вал рекомендаций. Принять их все в типичной для российских проектов ситуации - где один-два исполнителя - это завалить проект по недостаточности ресурсов.
Поэтому рекомендации можно применять выборочно.

2. Возвращаясь к конкретике. В уже реализованных тиражных продуктах, как то MS SSABI и Cognos DecisionStream - по дефолту добавляются поля к таблицам доставки с метками даты вставки и процесса вставки.
Там что, по-вашему, дураки работают? ;)

Так что исходить нужно не из книжных догм, а из принципа разумной достаточности, и все у вас получится.
...
Рейтинг: 0 / 0
16.06.2006, 11:02
| Ответить | Цитировать | Написать  
17 сообщений из 17, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / подскажите дизайн ETL
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]