powered by simpleCommunicator - 2.0.28     © 2024 Programmizd 02
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / При обработке OLAP куба не все строки считываются, ошибок целостности нет
5 сообщений из 5, страница 1 из 1
При обработке OLAP куба не все строки считываются, ошибок целостности нет
    #40111171
13Q
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13Q
Гость
Есть куб который теряет примерно 0,4% строк при обработке таблицы фактов.
При этом есть такой же куб, который обрабатывается без потерь.
Между кубами всего два различия (и витрина почти полностью общая):
В кубе с потерями реализована связь Many to Many и группы мер поделены на партиции.

Голову сломал что может идти не так что куб теряет строки.
Уверенность что он именно их теряет проистекает из того, что в отчете об результатах процесинга он выводит кол-во обработанных строк, и оно меньше чем в таблице под группой мер.

Кто ни будь может сталкивался с чем ни будь подобным?
Буду рад любым комментариям куда стоит копать.
...
Рейтинг: 0 / 0
При обработке OLAP куба не все строки считываются, ошибок целостности нет
    #40111206
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
13Q,

проверьте корректность задания границ секций
проверьте наличие всех связей в m2m
...
Рейтинг: 0 / 0
При обработке OLAP куба не все строки считываются, ошибок целостности нет
    #40111246
13Q
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13Q
Гость
ShIgor,

С партициями все четко, границы проставлены верно, да и потеря размазывается по дате равномерно.
Потери связей в m2m тоже нету (по крайней мере sql запросами к таблицам).

Пункты из этой статьи также проверил, но пока мимо: https://social.technet.microsoft.com/wiki/contents/articles/31314.ssas-troubleshooting-less-data-in-cube-than-in-fact-table.aspx

Думаю собирать поэтапно третий куб, и попытаться отловить на каком моменте строки срезаться начинают.

m2m у меня оптимизировано по матричному типу.

Вообще замечал ошибки целостности, когда строке из факта не находился ключ из ТОЙ ЖЕ ТАБЛИЦЫ ФАКТОВ (заказы меня и фактами и измерением идет) - вот как это возможно, в голове не укладывается, выглядит как будто считывается реляционнка кривовато.

Модератор: Вложение удалено.

Модератор: Вложение удалено.
...
Рейтинг: 0 / 0
При обработке OLAP куба не все строки считываются, ошибок целостности нет
    #40111514
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
13Q,

2 случая из моей практики:

m2m использовалось для пересчета единиц без дополнительной промежуточной таблицы. в основной группе мер есть мера у которой указана MeasureExpression с другой мерой из вспомогательной группы мер через m2m. при отсутствии необходимого факта в вспомогательной группе мер, запись из основной исчезает как будто и не поступала вовсе, ошибок при обработке не возникает. проверено с одной единственной записью в основной группе.

второй вообще не связан с m2m. скорее с кривым дизайном. решили собирать куб на оперативных данных. т.к. обработка измерения происходит до обработки фактов, то в факты, в момент пересчета измерения, успевали попасть новые данные. но это ловилось легко при обработке групп мер - отсутствие ключей в измерении, эти ошибки логируются нормально.

ну и 3 случай не мой, просто как анекдот вспоминаю.. границы партиций были месячные и их кое-кто всунул так: дата > '20210101' and дата < '20210201' и так для каждого месяца, надо ж было так получится (сарказм), что кое-кто другой всунул факты с датами точно '20210101 00:00:00.000'. причем видят, что именно эти факты и не попадают но не понимают почему.
...
Рейтинг: 0 / 0
При обработке OLAP куба не все строки считываются, ошибок целостности нет
    #40112124
13Q
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
13Q
Гость
ShIgor,

Спасибо большое за ваши советы. Я разобрался почему терялись строки - они отфильтровывались по одной из таблиц измерений, я это увидел проанализировав скрипт, которым SSAS забирает данные из реляционной бд
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / При обработке OLAP куба не все строки считываются, ошибок целостности нет
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]