ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / SSAS: одно измерение для нескольких баз возможно-ли?
18 сообщений из 18, страница 1 из 1
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661202
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
Коллеги,

имеется одно очень тяжелое измерение (почти пара десятков миллионов членов, около полусотни атрибутов, с десяток пользовательских иерархий). используется в нескольких базах (проекты, задачи и цели разные).
Естественно, процессится оно (измерение) тяжело и долго..
Возможно-ли организовать обработку таким образом, чтобы процессилось оно один раз и потом тупо копировалось в разные базы.

может кто такие задачи решал?

спасибо.
...
Рейтинг: 0 / 0
15.06.2018, 12:08
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661203
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
ShIgor,

а, ну да забыл, линковать не предлагайте пожалуйста.
...
Рейтинг: 0 / 0
15.06.2018, 12:09
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661231
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
про каждый тип процессинга в доке написано приводит ли он к процессингу связанных обектов,
удаляет ли индексы и связи...
измерение же в кубе не само по себе лежит, а со связями, агрегатами и mdx-ом
...
Рейтинг: 0 / 0
15.06.2018, 12:56
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661243
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
попытки attach/detach/ подмены с клонированием ID, даже если возможно какими-то кустарными способами - я-бы не рассматривал как серьёзное решение.

в чём именно проблема при процессинге? если тяжесть в поднятии данных из источника (view) из-за сложной логики/трансформаций on-a-fly то можно просто материализовать сначала в таблицу.

(как вариант процессить остальные измерения не из SQL, а из MDX/DAX/DMX источника {который только что отпроцессили})

всё остальное скорее относится к оптимизациям самого измерения (типы данных, properties, ключи, и пр., бывает нагородят в DSV связей и строят измерение на стороне SSAS из десятков объектов - а SSAS потом приходится кучу цепей из join-ов строить по комбинированным ключам) и другим методам ускорения получения данных (конфигурация обоих серверов {источник/ssas-настройки под process} железо/сеть/диски/структура запроса..) и организации операции process (например отдельным job-om или separate transaction чтобы временная копия меньше ресурсов требовала перед commit)

иногда стоит посмотреть что там в результате на диске получается в директории измерения (тоже по весу - какие именно атрибуты тяжелые и какой тип store)

process-as-table тип для такого количества строк наверняка только ухудшит ситуацию.

это если проблемы именно с измерением (и оно хотя-бы иногда получает порцию process-full), бывает что выглядит как затык в измерении - а на самом деле висит на MG-индексах или чём-то ещё.
...
Рейтинг: 0 / 0
15.06.2018, 13:16
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661244
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
верно Дедушка советует, убей всё кроме измерения в отдельную тестовую базу, и там удостоверься после каких 100 process_update (с существенными изменениями данных на стороне источника) что проблема всё ещё существует.
...
Рейтинг: 0 / 0
15.06.2018, 13:20
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661254
sese
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
sese
Гость
Да простят меня благородные доны,

Но измерение в пару десятков миллионов членов я понимаю только одно-атрибутное и то в виде исключения (аналитика - это взгляд с высоты птичьего полета, знаете ли, и все, что близко к атомарности - не предмет аналитики =)

А если там еще полсотни атрибутов и десяток иерархий, то это... отдельные измерения, разделенные по смыслу, со своими ключами в таблице фактов.

В моем околотке сделано именно так. Древо типов товара - одно измерение, Бренд - другое измерение, Характеристики товара (не перегревать/не охлаждать/etc) - это отдельное junk измерение. И еще наберется по мелочи. А товар, коего под 20 млн - одноатрибутное измерение.

Соррьки, если я не в кассу со своим комментарием =)
...
Рейтинг: 0 / 0
15.06.2018, 13:48
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661265
Фотография vikkiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vikkiv
Участник
sese,

это-же место для проброса идей, даже несмотря на жестко поставленную задачу ТС-ом (на которую ни один из ответов пока не даёт решения)

вариантов возможных подходов хватает - для разных ситуаций, всегда будут какие-нибудь преимущества/недостатки метода которые собственно и нужно сбалансировать выбором решения.

на больших системах такой подход приведёт утяжелению MG для хранения ключей и как следствие большей нагрузкой на память для storage engine на партиции при сканировании одинакового диапазона времени (так-же навигация между атрибутами внутри одного измерения быстрее с т.зр. query performance). Иногда оправдано больше давать нагрузку на измерения (которые всё равно в памяти), иногда на MG/партиции - чисто на вкус и выбор архитектора под характер использования.
...
Рейтинг: 0 / 0
15.06.2018, 14:02
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661309
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
vikkivверно Дедушка советует, убей всё кроме измерения в отдельную тестовую базу, и там удостоверься после каких 100 process_update (с существенными изменениями данных на стороне источника) что проблема всё ещё существует.

колхоз же получится,
нет, работать будет, но потом от вендора прилетит SP, который все это дело на раз-два поломает

я бы провел работу над
1) материализаций измерения
2) анализом логов 101010101001, чтобы выкинуть неиспользуемые/редкоиспользуемые атрибуты
3) оптимизацией измерения в части хранимых там данных (например, там какие-нибудь даныне в bigint, хотя хватает и tinyint)

ну и конечно, нужно понять, что тормозит при процессинге - сервер-источник, сеть или сервер-приемник,
затем устранить причину (хотя подозреваю, что SSAS кушает на 100% одно ядро, тогда только апгрейд)
...
Рейтинг: 0 / 0
15.06.2018, 14:49
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661320
Фотография Дедушка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Дедушка
Участник
ну, как вариант:
перейти на ROLAP если источник позволяет
(что оставить в молап, а что перевести в ролап нужно смотреть)
тогда при апдейт процессинге куб не будет затрагиваться
...
Рейтинг: 0 / 0
15.06.2018, 15:03
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661321
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
затык просто во времени обработки.
построено на вьюхе, которая в свою очередь объединяет 2 таблицы примерно одинакового размера (+- 1%), связь по id 1:1
ключ измерения бигинт уникальный. есть несколько атрибутов у которых ключом является строка но они все на сотни членов, не больше, кроме одного, почти под миллион (varchar(64))
замечены такие нюансы:
при обработке атрибута являющегося простой копией ключевого атрибута тормозов нет, Rows read/sec > 1млн строк.
при обработке простых атрибутов, не участвующих в пользовательских иерархиях или являющихся листовым уровнем пользовательской иерархии тоже тормозов нет.
при обработке атрибутов являющихся верхними уровнями возникают тормоза, особенно если на уровне под миллион и больше членов.
и самое интересное, при обработке ключевого атрибута Rows read/sec совсем падает до 30тыс/сек
дальше все висит на создании индексов для польз.иерархий и ключ атрибута.
В % соотношении выглядит это так:
5% чтение атрибутов + 25% чтение атрибутов польз.иерархий нелистовых уровней + 20% создание их индексов, остальное ключевой атрибут.

тестировал так же на копии результата вьюхи в локальной таблице с кластерным columnstore индексом (SQL 2016 SP2, памяти на сервере 256Гб (64 под SQL, остальное SSAS забирает как хочет, система отдает практически все, в кэше остается не больше 5Гб)
для каждого текстового атрибута при переливке создавался ключ (checksum, int)
прирост в скорости не более 10-15% за счет отсутствия переливки по сети.

но это все о производительности... да и с оптимизацией все понятно..
а вопрос приведения многократного выполнения одних и тех же задач к разовому остается открытым.
...
Рейтинг: 0 / 0
15.06.2018, 15:03
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661418
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Критик
Участник
ShIgor,

Объединить ваши проекты в один?
...
Рейтинг: 0 / 0
15.06.2018, 17:52
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661422
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
Критик,

В смысле наделать разных кубов, но база будет одна?..
мысль конечно интересная...

а есть кто-нибудь у кого так? поделитесь мнением...
...
Рейтинг: 0 / 0
15.06.2018, 18:00
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39661488
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voyager_lan
Участник
ShIgor,

Критик дело говорит.
Приходилось так поступать пару раз. Задачи ведь (скорее всего) одной области, если используется то же самое измерение.
...
Рейтинг: 0 / 0
16.06.2018, 00:27
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39662471
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
a_voronin
Участник
ShIgor,

Вопрос, а зачем такое тяжелое измерение? Его кто-то по элементам смотрит? Сдается мне тут архитектурно что-то не так. Это сводит на нет вес эффект от OLAP.
...
Рейтинг: 0 / 0
19.06.2018, 14:01
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39662931
Andy_OLAP
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Andy_OLAP
Участник
a_voroninShIgor,

Вопрос, а зачем такое тяжелое измерение? Его кто-то по элементам смотрит? Сдается мне тут архитектурно что-то не так. Это сводит на нет вес эффект от OLAP.
А это наверное измерение позиций заказов. Это даже не аналог измерения чеков, а скорее аналог измерения строк чеков.
Автор темы, я таки прав?
...
Рейтинг: 0 / 0
20.06.2018, 11:40
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39663067
ShIgor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ShIgor
Участник
Andy_OLAP,

нет.. с чеками я поступил проще.
нумерация чеков начинается на каждой кассе с 1 на каждую смену. смены открывают закрывают каждый день, поэтому необходимости держать больше 10000 тыс членов в измерении номер чека нет необходимости.
номер позиции в чеке не учитывается вообще нигде, их можно расположить по времени создания. время создания строки в секундах, так что в этом измерении больше 86400 членов тоже никогда не будет (даже больше скажу, грануляция вообще 1 минута).
товаров - 30тыс
ккм - десяток тыс
смен - ну скока там дней за 10 лет * на кол-во ккм
так что это все копейки..

ну, теперь догадался какое, которое не только в группировке, но и по элементам интереснее всего остального?
...
Рейтинг: 0 / 0
20.06.2018, 14:48
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39663135
Voyager_lan
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Voyager_lan
Участник
ShIgor,
Классика. Сквозные бизнес-процессы никто не отменял :)
...
Рейтинг: 0 / 0
20.06.2018, 15:45
| Ответить | Цитировать | Написать  
SSAS: одно измерение для нескольких баз возможно-ли?
    #39667661
Фотография StarikNavy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
StarikNavy
Участник
ShIgor,

в итоге, решение только одно: сливать базы в одну
...
Рейтинг: 0 / 0
29.06.2018, 15:42
| Ответить | Цитировать | Написать  
18 сообщений из 18, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / SSAS: одно измерение для нескольких баз возможно-ли?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=49&msg=39661488&tid=1857853]:
 0ms
get settings:
 12ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 152ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 50ms
get tp. blocked users:
 1ms
others: 239ms
total:  488ms
созд. / загр.: 488ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]