|
|
|
Проблема с процессингом большого измерения
|
|||
|---|---|---|---|
|
#18+
В кубе есть измерение большим количеством элементов, поряда 150млн. (фактически мера в измерении) При его процессинге была ошибка: Ошибка файловой системы: Хранилище строк или двоичных объектов с уровнем совместимости в "1050" имеет максимальный размер файла в 4 гигабайта. Чтобы сохранить дополнительные строки, можно поменять значение свойства StringStoresCompatibilityLevel связанного измерения или меры числа различных объектов на "1100" и выполнить обработку повторно. Эта возможность доступна только в базах данных с уровнем совместимости "1100" или выше. Физический файл: \\?\f:\OlapDBFiles\LoyaltyFullOlapCube_TestG.0.db\GenderDim.0.dim\12.Card - Id.ksstore. Логический файл: . Изменил для измерения свойство StringStoresCompatibilityLevel на 1100. Попытлся выполнить процессинг этого измерения, но не смог дождаться его завершения. Действие выполнялось порядка 20 часов, а затем отменил. Кто-то сталкивался с подобной ситуацией? Ипользую Analysis Services 2012 + MS SQL 2008. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.03.2014, 19:46 |
|
||
|
Проблема с процессингом большого измерения
|
|||
|---|---|---|---|
|
#18+
есть возможность развернуть проект с нуля? если не получится - гляньте у измерения режим обработки (в свойствах), там можно задать, какие запросы будут посылатся источнику (выборка всего и сразу или куча запросов с distinct) да, предварительно я бы глянул, что происходит на сервере-источнике, когда у вас была ситуация "Действие выполнялось порядка 20 часов" ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.03.2014, 20:23 |
|
||
|
Проблема с процессингом большого измерения
|
|||
|---|---|---|---|
|
#18+
Критик, Для теста как раз и разворачивал проект с нуля (создвал ною базу данных на Analysis Server-е). Режим обработки стоит ByAttribute, соответственно куча запросов с distinct. А вот что происходит на сервере источнике нужно проверить. Но когда выполнялось действие в течении 20 часов, Management Studio выдавал повторяющиеся следующие строки: .... Началось создание группы записей "1" для атрибута "Purchase". Группирование записей 1 для атрибута "Purchase" завершено. Началось создание группы записей "1" для атрибута "Purchase". Группирование записей 1 для атрибута "Purchase" завершено. Началось создание группы записей "1" для атрибута "Purchase". Группирование записей 1 для атрибута "Purchase" завершено. .... создалось впечатление, что не может быть выполнена какая то операция и он начинает ее заново. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.03.2014, 20:37 |
|
||
|
Проблема с процессингом большого измерения
|
|||
|---|---|---|---|
|
#18+
У меня было похожее (правда в код ошибок я глубоко не вникал), но то же самое было на SSAS 2008 R2. Процессил измерение с 250 миллионами member-ов - всегда завершалось с ошибкой. Хотя 20 часов, которые вы пишете, это непонятно что за железо, у меня процессинг падал через час, где-то на 70% до завершения. Сначала уменьшил число member-ов до 150 миллионов - не помогло. Оптимизировал задачу следующим образом: - срезал количество member-ов до минимума, необходимого для задачи, осталось 55 миллионов, - удалил все иерархии в этом измерении, вынес атрибуты этого измерения в отдельные измерения и все нормально отпроцессилось. Возможно, этот баг мигрировал из старых версий в SSAS 2012. Чтобы процессить такие измерения быстро, имейте не меньше 64 гига памяти под SSAS, своп-файл под сотню гигов и быстрые диски. Имейте в виду, чтобы просто загрузить только ключи для такого измерения в память, необходимо 150 миллионов * 64 байта = порядка 10 Gb оперативной памяти. Для борьбы с этим явлением составлял план, и если бы 52 миллиона member-ов не отпроцессится, то хотел попробовать объявить этот dimension как ROLAP, и сделать в базе несколько дополнительны индексов по таблицам, чтобы работало быстрее. Попробуйте, может быть поможет, я тратить время на разбирательство с 250 млн members не захотел. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.03.2014, 13:02 |
|
||
|
Проблема с процессингом большого измерения
|
|||
|---|---|---|---|
|
#18+
У меня есть атрибуты, которые нужны 1 в год. Я где -то читал, что есть такая настройка , что данные по атрибутам начинают считаться только когда к ним обращаются. И что это сильно ускоряет процессинг. Можете кинуть ссылкой? спасибо! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.01.2018, 00:38 |
|
||
|
|

start [/forum/topic.php?fid=49&fpage=25&tid=1858009]: |
0ms |
get settings: |
9ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
42ms |
get topic data: |
26ms |
get forum data: |
3ms |
get page messages: |
53ms |
get tp. blocked users: |
2ms |
| others: | 15ms |
| total: | 168ms |

| 0 / 0 |

Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
... ля, ля, ля ...