|
При обработке OLAP куба не все строки считываются, ошибок целостности нет
|
|||
---|---|---|---|
#18+
Есть куб который теряет примерно 0,4% строк при обработке таблицы фактов. При этом есть такой же куб, который обрабатывается без потерь. Между кубами всего два различия (и витрина почти полностью общая): В кубе с потерями реализована связь Many to Many и группы мер поделены на партиции. Голову сломал что может идти не так что куб теряет строки. Уверенность что он именно их теряет проистекает из того, что в отчете об результатах процесинга он выводит кол-во обработанных строк, и оно меньше чем в таблице под группой мер. Кто ни будь может сталкивался с чем ни будь подобным? Буду рад любым комментариям куда стоит копать. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.11.2021, 23:09 |
|
При обработке OLAP куба не все строки считываются, ошибок целостности нет
|
|||
---|---|---|---|
#18+
13Q, проверьте корректность задания границ секций проверьте наличие всех связей в m2m ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2021, 08:59 |
|
При обработке OLAP куба не все строки считываются, ошибок целостности нет
|
|||
---|---|---|---|
#18+
ShIgor, С партициями все четко, границы проставлены верно, да и потеря размазывается по дате равномерно. Потери связей в m2m тоже нету (по крайней мере sql запросами к таблицам). Пункты из этой статьи также проверил, но пока мимо: https://social.technet.microsoft.com/wiki/contents/articles/31314.ssas-troubleshooting-less-data-in-cube-than-in-fact-table.aspx Думаю собирать поэтапно третий куб, и попытаться отловить на каком моменте строки срезаться начинают. m2m у меня оптимизировано по матричному типу. Вообще замечал ошибки целостности, когда строке из факта не находился ключ из ТОЙ ЖЕ ТАБЛИЦЫ ФАКТОВ (заказы меня и фактами и измерением идет) - вот как это возможно, в голове не укладывается, выглядит как будто считывается реляционнка кривовато. Модератор: Вложение удалено. Модератор: Вложение удалено. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2021, 11:25 |
|
При обработке OLAP куба не все строки считываются, ошибок целостности нет
|
|||
---|---|---|---|
#18+
13Q, 2 случая из моей практики: m2m использовалось для пересчета единиц без дополнительной промежуточной таблицы. в основной группе мер есть мера у которой указана MeasureExpression с другой мерой из вспомогательной группы мер через m2m. при отсутствии необходимого факта в вспомогательной группе мер, запись из основной исчезает как будто и не поступала вовсе, ошибок при обработке не возникает. проверено с одной единственной записью в основной группе. второй вообще не связан с m2m. скорее с кривым дизайном. решили собирать куб на оперативных данных. т.к. обработка измерения происходит до обработки фактов, то в факты, в момент пересчета измерения, успевали попасть новые данные. но это ловилось легко при обработке групп мер - отсутствие ключей в измерении, эти ошибки логируются нормально. ну и 3 случай не мой, просто как анекдот вспоминаю.. границы партиций были месячные и их кое-кто всунул так: дата > '20210101' and дата < '20210201' и так для каждого месяца, надо ж было так получится (сарказм), что кое-кто другой всунул факты с датами точно '20210101 00:00:00.000'. причем видят, что именно эти факты и не попадают но не понимают почему. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.11.2021, 19:49 |
|
При обработке OLAP куба не все строки считываются, ошибок целостности нет
|
|||
---|---|---|---|
#18+
ShIgor, Спасибо большое за ваши советы. Я разобрался почему терялись строки - они отфильтровывались по одной из таблиц измерений, я это увидел проанализировав скрипт, которым SSAS забирает данные из реляционной бд ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2021, 16:55 |
|
|
start [/forum/topic.php?fid=49&fpage=2&tid=1857066]: |
0ms |
get settings: |
11ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
293ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
2ms |
others: | 266ms |
total: | 653ms |
0 / 0 |