Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Грустно, но с MS SQL 2005 тоже придется распрощаться / 16 сообщений из 16, страница 1 из 1
05.02.2006, 17:12
    #33524324
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Какая жалость :(

Но, поработав в Oracle 9 с материализованными представлениями, попробовал использовать их аналог в MSSQL функционал - indexed views.

Как оказалось,
"
MSSQL 2005 still has a significant list of restricted functions and aggregations. The Indexed View in MSSQL still has a lot of limitations as compared with the Oracle one. For example, the Indexed View definition could not contain the following very useful aggregations, functions and options, namely derived table (sub query in FROM list), reference to another view, DISTINCT, EXISTS, NOT EXISTS, self-join, expressions on aggregate results (e.g. SUM(x)+SUM(x)), STDEV, STDEVP, VAR, VARP, AVG, Subquery, SUM on nullable expressions and UNION.
"

2005-е ограничения в этом деле суксь даже по сравнению с Oracle 9!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.02.2006, 21:08
    #33524519
Владимир Штепа
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
ГликогенКакая жалость :(

Но, поработав в Oracle 9 с материализованными представлениями, попробовал использовать их аналог в MSSQL функционал - indexed views.

Как оказалось,
"
MSSQL 2005 still has a significant list of restricted functions and aggregations. The Indexed View in MSSQL still has a lot of limitations as compared with the Oracle one. For example, the Indexed View definition could not contain the following very useful aggregations, functions and options, namely derived table (sub query in FROM list), reference to another view, DISTINCT, EXISTS, NOT EXISTS, self-join, expressions on aggregate results (e.g. SUM(x)+SUM(x)), STDEV, STDEVP, VAR, VARP, AVG, Subquery, SUM on nullable expressions and UNION.
"

2005-е ограничения в этом деле суксь даже по сравнению с Oracle 9!

Неудели это для вас последняя капля. MS делает ставку на AS и там есть на что посмотреть и немало, по сравнению c лариковским AWM.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
05.02.2006, 23:58
    #33524646
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Лариковский OLAP я не рассматриваю в принципе - там ситуация с клиентами еще хуже, чем у MSAS 2005 :)
Я же писал - сейчас использую MSAS 2000.

С Mat.Views заполнение/пополнение DWH кардинально быстрее - к OLAP это никаким боком не относится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 00:10
    #33524656
Владимир Штепа
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Гликоген
С Mat.Views заполнение/пополнение DWH кардинально быстрее.

А пример не приведете, где вам на этапе ETL матвьюхи сгодились?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 10:16
    #33525005
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Любой большой запрос для подготовки факта с лукапами в справочные таблицы.

ну и NOLOGGING в MSSQL нет
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 10:33
    #33525047
Владимир Штепа
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
ГликогенЛюбой большой запрос для подготовки факта с лукапами в справочные таблицы.

ну и NOLOGGING в MSSQL нет

а как у вас ETL и хранилище построено?
IMHO, у вас что-то с дизаном ETL желает лучшего.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 11:36
    #33525317
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Возможно ;)

Зато первый результат был ч/з 2 недели, а сейчас, через 2 месяца - есть функционирующая система с остатками и продажами розничной сети на базе 2-х учетных систем.

Я действительно не делаю изначально первичную выгрузку/дельту. Первичный дизайн всех моих проектов строится на полном обновлении данных ежесуточно, и только потом, если кончается "окно" - делаю дельту.
Это самый экономящий трудозатраты и минимизирующий кодинг способ.

Ведь в ETL как - чем больше кода (а инициализация/дельта его почти удваивает) - тем больше ошибок. И больше время ввода в строй.

PowerPlay Transformer, с которым я начал текущий проект, поддерживает инкрементные загрузки только в виде "это данные с инкрементом - добавим-ка их в куб". В результате изменчивость данных в последнем периоде не может быть реализована. Приходится полностью перепроцессировать весь куб.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 11:50
    #33525386
Jurii
Jurii
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
2 Гликоген:

PowerPlay Transformer, с которым я начал текущий проект, поддерживает инкрементные загрузки только в виде "это данные с инкрементом - добавим-ка их в куб". В результате изменчивость данных в последнем периоде не может быть реализована. Приходится полностью перепроцессировать весь куб.

Зачем же полностью перепроцессить весь куб - подкачивайте просто каждый раз последний месяц (или другой кусок в зависимости от того, как далеко в прошлое у вас в текущем периоде правятся данные).
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 11:55
    #33525400
DmitryS
DmitryS
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Гликоген, т.е. на SCD не обращаете внимания?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 11:55
    #33525402
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Юра, и как вы себе представляете "подкачку" изменившихся данных в PPTS?
У него просто нет такого режима. Он их только добавляет!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 11:59
    #33525414
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
DmitryS,
всему свое время.

На фоне внедрения новой ERP и двух параллельно работающих учетных систем, из которых одна в ближайшее время будет заменена, постоянной смены бизнес-процессов и иерархий, вопрос о том, чтобы отслеживать изменения пока никого не интересовал.

Я-то, конечно, об SCD знаю, но я же себе не враг - ставить такой гимор в самом начале :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
06.02.2006, 12:35
    #33525573
Jurii
Jurii
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
2 Гликоген:

Юра, и как вы себе представляете "подкачку" изменившихся данных в PPTS?
У него просто нет такого режима. Он их только добавляет!

Подкачивать данные нужно к бэкапу куба на конец закрытого периода. Например у меня сейчас есть куб на 31 декабря 2005 года, и я каждый день подкачиваю к нему данные с 1 января до текущей даты. Когда закроется январь - сделаю бэкап на 31 января и т.д.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2006, 08:31
    #33527432
awg1
awg1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Jurii2 Гликоген:

Юра, и как вы себе представляете "подкачку" изменившихся данных в PPTS?
У него просто нет такого режима. Он их только добавляет!

Подкачивать данные нужно к бэкапу куба на конец закрытого периода. Например у меня сейчас есть куб на 31 декабря 2005 года, и я каждый день подкачиваю к нему данные с 1 января до текущей даты. Когда закроется январь - сделаю бэкап на 31 января и т.д.
Не всегда возможно, особенно в начале эксплуатации OLTP-системы или при переходе с системы на систему, обеспечить закрытие периодов. Слишком велико количество ошибок и нестыковок в OLTP. Для начального этапа, то что делает Гликоген вполне приемлемо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2006, 12:54
    #33528386
Jurii
Jurii
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
2 awg1:

Не всегда возможно, особенно в начале эксплуатации OLTP-системы или при переходе с системы на систему, обеспечить закрытие периодов. Слишком велико количество ошибок и нестыковок в OLTP. Для начального этапа, то что делает Гликоген вполне приемлемо.

Г-н Гликоген говорил, что проект у него для розничной сети. В рознице, если Вы не знаете, основной объем данных - это чеки, которые задним числом не правятся. По ним можно вообще последние 7 дней подкачивать. А закупочные документы и внутренние перемещения - их немного, их можно и за всю историю постоянно заливать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2006, 14:23
    #33528720
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
Чеки пока не грузятся. Хватает z-отчетов позаглаза. Чеки в HQ стали ходить только месяц как.

Я уже объяснил, почему у меня нет механизма "пополнения". Сколько можно? %)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
07.02.2006, 17:36
    #33529441
Гликоген
Гликоген
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Грустно, но с MS SQL 2005 тоже придется распрощаться
В обеих розничных сетях где я имел счастье внедряться с DWH, проблема была в отставании поступления данных.

Данные завершившейся недели спокойно могут приходить еще пару недель. А некоторые вообще не доходят - админ забыл где-то галочку поставить - через OLAP только и обнаружили %)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Грустно, но с MS SQL 2005 тоже придется распрощаться / 16 сообщений из 16, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]