Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Olap. Выбор способа обработки\хранения / 13 сообщений из 13, страница 1 из 1
07.03.2018, 10:03
    #39611655
Steevenson
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Добрый день. Нужен совет знающих людей, т.к. я новичок в этом деле.

суть проблемы следующая:
Есть запрос. который выполняется примерно минуты 3-5, по которому нужно смотреть данные людям, которые не смыслят в бд, и тд., т.е. для них все оформлено в экселе в сводной таблице. Запрос обернул в куб (весь куб получает данные из таблицы, которая сформирована с помощью этого именованного запроса). В запросе ОЧЕНЬ много данных - за несколько лет. Начитавшись форумов и мануалов я разделил в кубе на секции, одна из которых - все данные ДО марта 2018, остальное - после.
секция до марта 2018 года хранится в molap, после - rolap. Теперь суть проблемы:
при нажатии кнопки обновления в экселе проходит длительное время ( секунд 15) прежде чем обновятся данные. Оно бы и ничего, если бы это было только при обновлении. такое же время проходит и если развернуть в сводной таблице строку с данными, чего очень хотелось бы избежать.
Получалось этого избежать, когда не было никакого развития на секции, все хранилось в molap, а сам куб процессился с помощью джоба раз в 15-20 минут. Данные обновлялись без задержки, секции быстро раскрывались и тд.

Вопрос - можно ли достичь быстрого обновления данных и быстрого раскрытия сводной таблицы без использования джобов для процессинга куба? Если да, то прошу подсказать что и как.
...
Рейтинг: 0 / 0
07.03.2018, 10:21
    #39611656
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

В ms sql management studio запрос как работает?
Я сталкивался с похожим случаем - это особенность работы с excel.
...
Рейтинг: 0 / 0
07.03.2018, 10:27
    #39611660
Steevenson
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Полковник.Steevenson,

В ms sql management studio запрос как работает?


не совсем понял вопрос "как работает запрос". Он выполняется примерно 2-3 минуты сейчас.

Полковник.Я сталкивался с похожим случаем - это особенность работы с excel.

К сожалению опыта не имею, но, опять же, как описал - если все хранить в molap, без партицирования (короче не заморачиваясь) и просто сделать джоб, который будет процесить измерение и куб каждые 15-20 минут, то все замечательно. После процессинга куба в экселе все без задержек открывается, нужно только раз в 15-20 минут тыкать "обновить все", и данные мгновенно загрузятся. Но я не хочу использовать джобы.
...
Рейтинг: 0 / 0
07.03.2018, 10:32
    #39611665
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

в кубе,в партициях Slice прописали?
...
Рейтинг: 0 / 0
07.03.2018, 10:34
    #39611666
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

2) на сколько нужен вариант "после - rolap"? если сделать новую партицию molap, сколько она процесится по времени? (если мало, и при molap Эксель будет работать быстрее (проверьте сами) то можно настроить ее процессинг каждый час/15 минут)
...
Рейтинг: 0 / 0
07.03.2018, 10:45
    #39611678
Полковник.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

Есть разница по скорости работы одной и той же выборки в excel и msms?
...
Рейтинг: 0 / 0
07.03.2018, 10:47
    #39611681
Steevenson
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
StarikNavySteevenson,

в кубе,в партициях Slice прописали?

что из этого Slice?) у меня просто интерфейс на русском языке)


StarikNavy (если мало, и при molap Эксель будет работать быстрее (проверьте сами) то можно настроить ее процессинг каждый час/15 минут)

процессится относительно быстро, я пробовал с Molap без обновления, но с ручным процессингом. Если честно, то я путаюсь пока в этих настройках. Какие настройки изменить, что бы обновление было каждый час\15 минут?
я включал периодическое обновление кэша каждые 10 минут.

Вообще, если не сложно, можете вкратце за что каждая из настроек на скрине отвечает? я пока не силен в терминах
...
Рейтинг: 0 / 0
07.03.2018, 10:48
    #39611684
Steevenson
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Полковник., в экселе обновление данных (когда секция rolap) идет секунд ~15-20, но нужна каждые 15 сек ждать и когда разворачиваю сводную таблицу (на плюсик тыкаю)

в smss 2-3 минуты обновление идет. Это если полная выборка ( без выбора дат)
...
Рейтинг: 0 / 0
07.03.2018, 11:18
    #39611709
Дедушка
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

Добейтесь того чтобы ваш именованный запрос с фильтром "после марта 2018" выполнялся быстро (фильтованные индексы, секционирование, быстрые диски и тд.).
...
Рейтинг: 0 / 0
07.03.2018, 12:02
    #39611740
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

>>что из этого Slice?
это свойство, подсказывает олапу, в какую партицию за данными лезть

>>процессится относительно быстро, я пробовал с Molap без обновления
эксель при этом быстрее работает?

>> Какие настройки изменить, что бы обновление было каждый час\15 минут?
погуглите для rolap, для molap настраивате джоб и процессите с нужной частотой
...
Рейтинг: 0 / 0
07.03.2018, 12:11
    #39611747
Steevenson
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
StarikNavySteevenson,

>>что из этого Slice?
это свойство, подсказывает олапу, в какую партицию за данными лезть

А где найти это свойство?

StarikNavy>>процессится относительно быстро, я пробовал с Molap без обновления
эксель при этом быстрее работает?

мгновенно


StarikNavy>> Какие настройки изменить, что бы обновление было каждый час\15 минут?
погуглите для rolap, для molap настраивате джоб и процессите с нужной частотой


эх, изначально то вопрос стоял можно ли без джоба это сделать
...
Рейтинг: 0 / 0
07.03.2018, 16:51
    #39611956
StarikNavy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

на гугле совсем забанили? )
https://www.google.ru/search?newwindow=1&biw=1099&bih=778&tbm=isch&sa=1&ei=fu2fWp-vL8bgkgXj-LIw&q=olap partition properties slice&oq=olap partition properties slice&gs_l=psy-ab.3...24639.35334.0.35989.24.24.0.0.0.0.106.1885.21j3.24.0....0...1c.1.64.psy-ab..0.4.332...0j0i13k1.0.OiSLtp8VEGM#imgrc=l6H76NoHoVAWHM:

чем джоб мешает? просто скорей всего ваша настройка rolap лезет за свежими данными в базу, а не из куба берет, поэтому и предложил вернуться в molap

может кто еще подскажет, как правильно rolap готовить
...
Рейтинг: 0 / 0
07.03.2018, 17:55
    #39611991
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Olap. Выбор способа обработки\хранения
Steevenson,

1) Убедитесь, что иерархии в календаре имеют Rigid связи
2) Проставьте всем партициям свойство Slice, замапленное на этот календарь
3) Имейте ввиду, что при сбрасывании кеша -- он сбрасывается на всю группу мер (отдельного кеша под партиции нет)
4) Можно сделать такой маневр

a) Группа мер Историческая -> Показатель [X_Исторический] .
b) Группа мер Недавняя -> Показатель [X_Недавний].
c) Вычисления -> Показатель [X] AS [X_Исторический] + [X_Недавний]
...
Рейтинг: 0 / 0
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Olap. Выбор способа обработки\хранения / 13 сообщений из 13, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]