powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Утечка!
20 сообщений из 20, страница 1 из 1
Утечка!
    #32562537
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет!

При формировании куба из таблицы фактов берется строк меньше, чем в ней есть! При расчете там крутится counter и не доходит до длины таблицы!

Что может на это влиять? Я явно нигде никаких фильтров не задавал!
Пытаюсь понять какие именно он строки не взял, по пока это не удалось...

Сервер: MS AS, источник MS SQL.

Заранее спасибо!
...
Рейтинг: 0 / 0
Утечка!
    #32562552
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Нашел!
Это несуществующие ключи измерения.
...
Рейтинг: 0 / 0
Утечка!
    #32562559
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хорошее правило, всегда иметь FK на полях, по которым осуществляется соединение таблиц в схеме измерения или куба.
...
Рейтинг: 0 / 0
Утечка!
    #32562561
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В смысле Failure Key?
Он же Default Member?
...
Рейтинг: 0 / 0
Утечка!
    #32562567
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В SQL базе должен быть Foregn Key Not Null
...
Рейтинг: 0 / 0
Утечка!
    #32562574
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ограничение целостности в моем случае не подойдет.
В моем случае это номально, что у строк прописан тариф, который давно не существует. Перед формарованием куба я сделал подмену на ссылку на тариф "Unknown".
...
Рейтинг: 0 / 0
Утечка!
    #32562688
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
прописан тариф, который давно не существует

если он не существует в оперативной базе, то в хранилище он должен существовать
...
Рейтинг: 0 / 0
Утечка!
    #32562866
LordOfSilence
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
авторПеред формарованием куба я сделал подмену на ссылку на тариф "Unknown".

Все правильно. Но этот же тариф Unknown должен существовать в таблице, по которой строится измерение тарифа.
...
Рейтинг: 0 / 0
Утечка!
    #32563032
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но этот же тариф Unknown должен существовать в таблице

Правильно, и эта таблица должна находиться в DWH, а не в OLAP, и если в таблицу фактов, находщуюся тоже в DWH, вставляются записи, в которых есть ссылки на несуществующие записи в таблце измрения, то эти записи должны быть вставлены в таблцу измрения.


з.ы. Читайте классику DWH и ETL.
...
Рейтинг: 0 / 0
Утечка!
    #32563153
LordOfSilence
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
backfireз.ы. Читайте классику ...

А у нас "судьба такой"... В юности заставляли читать классиков марксизма-ленинизма, теперь вот надо читать классику DWH и ETL. ;-)
...
Рейтинг: 0 / 0
Утечка!
    #32563250
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
LordOfSilenceА у нас "судьба такой"... В юности заставляли читать классиков марксизма-ленинизма, теперь вот надо читать классику DWH и ETL. ;-)

Вы не одиноки, мы тоже это пережили и даже состояли. :-)
...
Рейтинг: 0 / 0
Утечка!
    #32564350
Михаил
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо за совет!
Как раз этого важного момента у меня и не было: накопления в DWH исторических тарифов. Теперь, соответственно, сделаю.
...
Рейтинг: 0 / 0
Утечка!
    #32571374
В следующей версии это будет подругому. Каждый уровень будет иметь Неизвестный элемент всегда. При чтении данных можно будет заставить сервер не пропускать такие записи.
...
Рейтинг: 0 / 0
Утечка!
    #32571568
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Александр БергерПри чтении данных можно будет заставить сервер не пропускать такие записи.

Как? Там что Joins стали левыми?
...
Рейтинг: 0 / 0
Утечка!
    #32571570
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Совет по работе с выпадениями.
1) Сделайте Optimize Schema
2) Включите счетчик ошибок до 100
3) Дайти имя файла для складирования error key

В результате куб будет значительно быстрее процессироваться и вы будете видеть какие элементы выпадают.
...
Рейтинг: 0 / 0
Утечка!
    #32572542
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир ИвановСовет по работе с выпадениями.
1) Сделайте Optimize Schema
2) Включите счетчик ошибок до 100
3) Дайти имя файла для складирования error key

В результате куб будет значительно быстрее процессироваться и вы будете видеть какие элементы выпадают.


Nu na schet znachitelno bistree ya bi zasomnevalsya.

Bistree vipolnyaetsya tolko SQL-zapros, t.k. join po optimizirovannim izmereniyam ne delaetsya, no eto ne glavnii rashod vremeni pri processinge. V osnovnom vremya tratitsya na raschet aggregacii, a na eto optimizaciya schemi cuba ne vliyaet.
...
Рейтинг: 0 / 0
Утечка!
    #32572957
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
На кубах свыше 15 млн. фактов и при 15 измерениях обычно SQL-запрос занимает около 50% времени процессирования куба.
Но главное даже часто не в этом. Оптимизированная схема видит выпадения элементов. Примерно также Юкон обходится без join
...
Рейтинг: 0 / 0
Утечка!
    #32573099
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир ИвановНа кубах свыше 15 млн. фактов и при 15 измерениях обычно SQL-запрос занимает около 50% времени процессирования куба.
Но главное даже часто не в этом. Оптимизированная схема видит выпадения элементов. Примерно также Юкон обходится без join

У меня другие цифры. Приблизительно 20-25% закачка на неоптимизированном кубе и 15-20% на оптимизированном.

Если в DWH иметь FK в таблице фактов, то выпадающих элементов не будет по определению.
...
Рейтинг: 0 / 0
Утечка!
    #32573323
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы еще не учитываете, что алгоритмы поиска выпавших элементо обычно более тяжелые, чем просто вытягивание фактов. Так как поиск выпавших элементов это "шерстить" факты довольно тяжелыми конструкциями на базе exists. Пользователям очень часто эти элементы и не нужны. Например по ряду GSM-услуг (картинки, меллодии) можно иметь классификатор в 100 позиций, который толком ни кто не ведет. Те кто решали такие задачи понимают почему его не ведут. Восстановленный номер услуги типа 43658459 почти ни чего не дает для анализа (хотя недавно стали использовать эвристики для определения того что это было), а без него в других измерениях данные выпадают. Выпадение элементов, причем часто молчаливое, это серьезный дефект MS AS 2K.
...
Рейтинг: 0 / 0
Утечка!
    #32573356
Владимир Штепа
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Владимир, как я вижу, мы используем разные философии.

Вы пытаетесь производить "очистку" или делать заключение о их чистоте при процессинге кубов, я же еще до запуска процессинга имею 100% чистый DWH.

Да, это выставляет больше требований к ETL, но проблема очистки данных и должна решаться на этапе переноса данных из Stage Area в Subject Area, но не позже.
...
Рейтинг: 0 / 0
20 сообщений из 20, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Утечка!
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]