powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
3 сообщений из 28, страница 2 из 2
SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
    #39983870
iliko67
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin
iliko67,

На каждый атрибут измерения создаются файлы. Правильная практика для куба большого объема внимательно относиться к ключам и названием. Делать у атрибута легкий интовый ключ, а для названия подставлять текстовое поле. Это относить ко всем атрибутам, а не только ключевому в измерении.


Спасибо за рекомендации
a_voronin

Делать у атрибута легкий интовый ключ


Сделал неправильно - пошел по пути наименьшего сопротивления
В 1С ключевые поля Binary(16) - сделал CAST(IDREF As Bigint) -- получились все ключи уникальные но без обратного преобразования в 1С и понятно что не легкие

Переводить все справочники и перечисления в легкие ключи (int) не так просто
т.е. надо вытаскивать из всех справочников коды (а их может и не быть),
а перечисления вообще без кодов , а если документы вытаскивать то вообще проблема какие преобразования делать . Даже на 1с77 пришлось для документов ключ bigint делать

Пути для оптимизации понятны -- буду делать

Примечание: чуть-чуть пересекается с темой "зачем эти преобразования" ...
...
Рейтинг: 0 / 0
SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
    #39983877
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
iliko67

В 1С ключевые поля Binary(16) - сделал CAST(IDREF As Bigint) -- получились все ключи уникальные но без обратного преобразования в 1С и понятно что не легкие


16 байт преобразовали в 8?
Что будете делать с неминуемой неоднозначностью? Если ее нет сейчас, то она возникнет завтра-через неделю-через месяц.
Ну и изменение ключа повлечет за собой слом всех сохраненных пользователями эксельных отчетов.
А что будете делать, когда появится еще один источник данных, кроме 1с? Да хотя бы еще один экземпляр 1ски?

Имхо, в корне неверный подход.
Должно быть dwh с независимыми суррогатными ключами.

Ps merlion?
...
Рейтинг: 0 / 0
SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
    #39983886
iliko67
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Критик

Ps merlion?

Сеть "Красное и белое"
https://ru.wikipedia.org/wiki/Красное_и_Белое

Критик

16 байт преобразовали в 8?
Что будете делать с неминуемой неоднозначностью? Если ее нет сейчас, то она возникнет завтра-через неделю-через месяц.

База в 1С8 живет 7 лет и общим сканированием ключей bigint по всем документам и справочникам повторения нет (пока)
В каждом магазине (8500 магазинов) своя база - каждый день идет обмен
(товары централизованно вводятся) и коллизий не возникает, также есть стыковка со сторонними программами

Критик

А что будете делать, когда появится еще один источник данных, кроме 1с? Да хотя бы еще один экземпляр 1ски?

Вот у нас сделали отдельную базу 1С для хранения детальных чеков до товара
И внутренние разработчики ничего "умнее" не придумали как сделать регистр сведений с ключевыми полями НомерМагазина (varchar(5)) + КодТовара(varchar(5))+НомерЧека(varchar(18)) и отдельно регистр с шапкой чека
с ключевыми полями Период(Date) + НомерМагазина (varchar(5)) + НомерЧека(varchar(18))
Так загрузка этих данных занимает 50% от загрузки всех данных

Критик

Ну и изменение ключа повлечет за собой слом всех сохраненных пользователями эксельных отчетов.

Ну насколько я понял - слетят фильтры - когда в отчете отфильтровано по определенному товару и магазину - это не страшно ....

Таких отчетов единицы - пользуются OLAP пока 30 аналитиков -- т.е. проект пока в этапе опытно-промышленной эксплуатации (начали интенсивно с 1 марта пользоваться)
И мои аналитики занимаются в корне неправильным формированием отчетов
1.Формируют "простыню" (без кодов товара) по всем товарам по датам без всякой фильтрации с выводом в столбцах всех атрибутов товара
2.Переводят эту таблицу в POWER BI и там уже делают DashBoard
-- либо свою сводную делают
3.Стыковку с пока недостающими данными из 1С делают по наименованию товара через ВПР() .....

С переходом на 2019 убираю лишние атрибуты . Пример дублировал наименование отдельным атрибутом (был случай в предыдущих местах когда пользователям было нужно и краткое наименование и полное) - здесь это избыточное поле тормозящее расчеты
В любом случае придется моим аналитикам отчеты переделывать

Критик

Должно быть dwh с независимыми суррогатными ключами.

Внутрь OLAP особо никогда не залезал, но проанализировал сейчас структуру и понятно что можно в 2 раза утрамбовать с переходом на суррогатные ключи
...
Рейтинг: 0 / 0
3 сообщений из 28, страница 2 из 2
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / SSAS2019: Увеличение в 4 раза времени процессинга куба при переходе с SSAS 2008R2
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (9): Анонимы (7), Yandex Bot 5 мин., Bing Bot 8 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]