|
SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
|
|||
---|---|---|---|
#18+
a_voronin iliko67, На каждый атрибут измерения создаются файлы. Правильная практика для куба большого объема внимательно относиться к ключам и названием. Делать у атрибута легкий интовый ключ, а для названия подставлять текстовое поле. Это относить ко всем атрибутам, а не только ключевому в измерении. Спасибо за рекомендации a_voronin Делать у атрибута легкий интовый ключ Сделал неправильно - пошел по пути наименьшего сопротивления В 1С ключевые поля Binary(16) - сделал CAST(IDREF As Bigint) -- получились все ключи уникальные но без обратного преобразования в 1С и понятно что не легкие Переводить все справочники и перечисления в легкие ключи (int) не так просто т.е. надо вытаскивать из всех справочников коды (а их может и не быть), а перечисления вообще без кодов , а если документы вытаскивать то вообще проблема какие преобразования делать . Даже на 1с77 пришлось для документов ключ bigint делать Пути для оптимизации понятны -- буду делать Примечание: чуть-чуть пересекается с темой "зачем эти преобразования" ... ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2020, 08:07 |
|
SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
|
|||
---|---|---|---|
#18+
iliko67 В 1С ключевые поля Binary(16) - сделал CAST(IDREF As Bigint) -- получились все ключи уникальные но без обратного преобразования в 1С и понятно что не легкие 16 байт преобразовали в 8? Что будете делать с неминуемой неоднозначностью? Если ее нет сейчас, то она возникнет завтра-через неделю-через месяц. Ну и изменение ключа повлечет за собой слом всех сохраненных пользователями эксельных отчетов. А что будете делать, когда появится еще один источник данных, кроме 1с? Да хотя бы еще один экземпляр 1ски? Имхо, в корне неверный подход. Должно быть dwh с независимыми суррогатными ключами. Ps merlion? ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2020, 09:35 |
|
SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
|
|||
---|---|---|---|
#18+
Критик Ps merlion? Сеть "Красное и белое" https://ru.wikipedia.org/wiki/Красное_и_Белое Критик 16 байт преобразовали в 8? Что будете делать с неминуемой неоднозначностью? Если ее нет сейчас, то она возникнет завтра-через неделю-через месяц. База в 1С8 живет 7 лет и общим сканированием ключей bigint по всем документам и справочникам повторения нет (пока) В каждом магазине (8500 магазинов) своя база - каждый день идет обмен (товары централизованно вводятся) и коллизий не возникает, также есть стыковка со сторонними программами Критик А что будете делать, когда появится еще один источник данных, кроме 1с? Да хотя бы еще один экземпляр 1ски? Вот у нас сделали отдельную базу 1С для хранения детальных чеков до товара И внутренние разработчики ничего "умнее" не придумали как сделать регистр сведений с ключевыми полями НомерМагазина (varchar(5)) + КодТовара(varchar(5))+НомерЧека(varchar(18)) и отдельно регистр с шапкой чека с ключевыми полями Период(Date) + НомерМагазина (varchar(5)) + НомерЧека(varchar(18)) Так загрузка этих данных занимает 50% от загрузки всех данных Критик Ну и изменение ключа повлечет за собой слом всех сохраненных пользователями эксельных отчетов. Ну насколько я понял - слетят фильтры - когда в отчете отфильтровано по определенному товару и магазину - это не страшно .... Таких отчетов единицы - пользуются OLAP пока 30 аналитиков -- т.е. проект пока в этапе опытно-промышленной эксплуатации (начали интенсивно с 1 марта пользоваться) И мои аналитики занимаются в корне неправильным формированием отчетов 1.Формируют "простыню" (без кодов товара) по всем товарам по датам без всякой фильтрации с выводом в столбцах всех атрибутов товара 2.Переводят эту таблицу в POWER BI и там уже делают DashBoard -- либо свою сводную делают 3.Стыковку с пока недостающими данными из 1С делают по наименованию товара через ВПР() ..... С переходом на 2019 убираю лишние атрибуты . Пример дублировал наименование отдельным атрибутом (был случай в предыдущих местах когда пользователям было нужно и краткое наименование и полное) - здесь это избыточное поле тормозящее расчеты В любом случае придется моим аналитикам отчеты переделывать Критик Должно быть dwh с независимыми суррогатными ключами. Внутрь OLAP особо никогда не залезал, но проанализировал сейчас структуру и понятно что можно в 2 раза утрамбовать с переходом на суррогатные ключи ... |
|||
:
Нравится:
Не нравится:
|
|||
25.07.2020, 11:38 |
|
|
start [/forum/topic.php?fid=49&msg=39983886&tid=1857279]: |
0ms |
get settings: |
7ms |
get forum list: |
14ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
30ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
45ms |
get tp. blocked users: |
2ms |
others: | 299ms |
total: | 417ms |
0 / 0 |