Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Утечка! / 20 сообщений из 20, страница 1 из 1
15.06.2004, 21:05
    #32562537
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Привет!

При формировании куба из таблицы фактов берется строк меньше, чем в ней есть! При расчете там крутится counter и не доходит до длины таблицы!

Что может на это влиять? Я явно нигде никаких фильтров не задавал!
Пытаюсь понять какие именно он строки не взял, по пока это не удалось...

Сервер: MS AS, источник MS SQL.

Заранее спасибо!
...
Рейтинг: 0 / 0
15.06.2004, 21:12
    #32562552
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Нашел!
Это несуществующие ключи измерения.
...
Рейтинг: 0 / 0
15.06.2004, 21:16
    #32562559
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Хорошее правило, всегда иметь FK на полях, по которым осуществляется соединение таблиц в схеме измерения или куба.
...
Рейтинг: 0 / 0
15.06.2004, 21:22
    #32562561
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
В смысле Failure Key?
Он же Default Member?
...
Рейтинг: 0 / 0
15.06.2004, 21:30
    #32562567
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
В SQL базе должен быть Foregn Key Not Null
...
Рейтинг: 0 / 0
15.06.2004, 21:47
    #32562574
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Ограничение целостности в моем случае не подойдет.
В моем случае это номально, что у строк прописан тариф, который давно не существует. Перед формарованием куба я сделал подмену на ссылку на тариф "Unknown".
...
Рейтинг: 0 / 0
16.06.2004, 02:38
    #32562688
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
прописан тариф, который давно не существует

если он не существует в оперативной базе, то в хранилище он должен существовать
...
Рейтинг: 0 / 0
16.06.2004, 09:42
    #32562866
LordOfSilence
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
авторПеред формарованием куба я сделал подмену на ссылку на тариф "Unknown".

Все правильно. Но этот же тариф Unknown должен существовать в таблице, по которой строится измерение тарифа.
...
Рейтинг: 0 / 0
16.06.2004, 10:53
    #32563032
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Но этот же тариф Unknown должен существовать в таблице

Правильно, и эта таблица должна находиться в DWH, а не в OLAP, и если в таблицу фактов, находщуюся тоже в DWH, вставляются записи, в которых есть ссылки на несуществующие записи в таблце измрения, то эти записи должны быть вставлены в таблцу измрения.


з.ы. Читайте классику DWH и ETL.
...
Рейтинг: 0 / 0
16.06.2004, 11:31
    #32563153
LordOfSilence
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
backfireз.ы. Читайте классику ...

А у нас "судьба такой"... В юности заставляли читать классиков марксизма-ленинизма, теперь вот надо читать классику DWH и ETL. ;-)
...
Рейтинг: 0 / 0
16.06.2004, 12:12
    #32563250
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
LordOfSilenceА у нас "судьба такой"... В юности заставляли читать классиков марксизма-ленинизма, теперь вот надо читать классику DWH и ETL. ;-)

Вы не одиноки, мы тоже это пережили и даже состояли. :-)
...
Рейтинг: 0 / 0
16.06.2004, 18:27
    #32564350
Михаил
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Спасибо за совет!
Как раз этого важного момента у меня и не было: накопления в DWH исторических тарифов. Теперь, соответственно, сделаю.
...
Рейтинг: 0 / 0
22.06.2004, 12:28
    #32571374
Утечка!
В следующей версии это будет подругому. Каждый уровень будет иметь Неизвестный элемент всегда. При чтении данных можно будет заставить сервер не пропускать такие записи.
...
Рейтинг: 0 / 0
22.06.2004, 13:18
    #32571568
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Александр БергерПри чтении данных можно будет заставить сервер не пропускать такие записи.

Как? Там что Joins стали левыми?
...
Рейтинг: 0 / 0
22.06.2004, 13:19
    #32571570
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Совет по работе с выпадениями.
1) Сделайте Optimize Schema
2) Включите счетчик ошибок до 100
3) Дайти имя файла для складирования error key

В результате куб будет значительно быстрее процессироваться и вы будете видеть какие элементы выпадают.
...
Рейтинг: 0 / 0
22.06.2004, 18:36
    #32572542
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Владимир ИвановСовет по работе с выпадениями.
1) Сделайте Optimize Schema
2) Включите счетчик ошибок до 100
3) Дайти имя файла для складирования error key

В результате куб будет значительно быстрее процессироваться и вы будете видеть какие элементы выпадают.


Nu na schet znachitelno bistree ya bi zasomnevalsya.

Bistree vipolnyaetsya tolko SQL-zapros, t.k. join po optimizirovannim izmereniyam ne delaetsya, no eto ne glavnii rashod vremeni pri processinge. V osnovnom vremya tratitsya na raschet aggregacii, a na eto optimizaciya schemi cuba ne vliyaet.
...
Рейтинг: 0 / 0
23.06.2004, 09:16
    #32572957
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
На кубах свыше 15 млн. фактов и при 15 измерениях обычно SQL-запрос занимает около 50% времени процессирования куба.
Но главное даже часто не в этом. Оптимизированная схема видит выпадения элементов. Примерно также Юкон обходится без join
...
Рейтинг: 0 / 0
23.06.2004, 10:19
    #32573099
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Владимир ИвановНа кубах свыше 15 млн. фактов и при 15 измерениях обычно SQL-запрос занимает около 50% времени процессирования куба.
Но главное даже часто не в этом. Оптимизированная схема видит выпадения элементов. Примерно также Юкон обходится без join

У меня другие цифры. Приблизительно 20-25% закачка на неоптимизированном кубе и 15-20% на оптимизированном.

Если в DWH иметь FK в таблице фактов, то выпадающих элементов не будет по определению.
...
Рейтинг: 0 / 0
23.06.2004, 11:40
    #32573323
Владимир Иванов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Вы еще не учитываете, что алгоритмы поиска выпавших элементо обычно более тяжелые, чем просто вытягивание фактов. Так как поиск выпавших элементов это "шерстить" факты довольно тяжелыми конструкциями на базе exists. Пользователям очень часто эти элементы и не нужны. Например по ряду GSM-услуг (картинки, меллодии) можно иметь классификатор в 100 позиций, который толком ни кто не ведет. Те кто решали такие задачи понимают почему его не ведут. Восстановленный номер услуги типа 43658459 почти ни чего не дает для анализа (хотя недавно стали использовать эвристики для определения того что это было), а без него в других измерениях данные выпадают. Выпадение элементов, причем часто молчаливое, это серьезный дефект MS AS 2K.
...
Рейтинг: 0 / 0
23.06.2004, 11:50
    #32573356
Владимир Штепа
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Утечка!
Владимир, как я вижу, мы используем разные философии.

Вы пытаетесь производить "очистку" или делать заключение о их чистоте при процессинге кубов, я же еще до запуска процессинга имею 100% чистый DWH.

Да, это выставляет больше требований к ETL, но проблема очистки данных и должна решаться на этапе переноса данных из Stage Area в Subject Area, но не позже.
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Утечка! / 20 сообщений из 20, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]