powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Проблема с процессингом большого измерения
5 сообщений из 5, страница 1 из 1
Проблема с процессингом большого измерения
    #38598464
heliosz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
В кубе есть измерение большим количеством элементов, поряда 150млн. (фактически мера в измерении) При его процессинге была ошибка:
Ошибка файловой системы: Хранилище строк или двоичных объектов с уровнем совместимости в "1050" имеет максимальный размер файла в 4 гигабайта. Чтобы сохранить дополнительные строки, можно поменять значение свойства StringStoresCompatibilityLevel связанного измерения или меры числа различных объектов на "1100" и выполнить обработку повторно. Эта возможность доступна только в базах данных с уровнем совместимости "1100" или выше. Физический файл: \\?\f:\OlapDBFiles\LoyaltyFullOlapCube_TestG.0.db\GenderDim.0.dim\12.Card - Id.ksstore. Логический файл: .

Изменил для измерения свойство StringStoresCompatibilityLevel на 1100. Попытлся выполнить процессинг этого измерения, но не смог дождаться его завершения. Действие выполнялось порядка 20 часов, а затем отменил.
Кто-то сталкивался с подобной ситуацией?

Ипользую Analysis Services 2012 + MS SQL 2008.
...
Рейтинг: 0 / 0
Проблема с процессингом большого измерения
    #38598483
Фотография Критик
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
есть возможность развернуть проект с нуля?

если не получится - гляньте у измерения режим обработки (в свойствах), там можно задать, какие запросы будут посылатся источнику (выборка всего и сразу или куча запросов с distinct)

да, предварительно я бы глянул, что происходит на сервере-источнике, когда у вас была ситуация "Действие выполнялось порядка 20 часов"
...
Рейтинг: 0 / 0
Проблема с процессингом большого измерения
    #38598494
heliosz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Критик,

Для теста как раз и разворачивал проект с нуля (создвал ною базу данных на Analysis Server-е).
Режим обработки стоит ByAttribute, соответственно куча запросов с distinct.
А вот что происходит на сервере источнике нужно проверить. Но когда выполнялось действие в течении 20 часов, Management Studio выдавал повторяющиеся следующие строки:
....
Началось создание группы записей "1" для атрибута "Purchase".
Группирование записей 1 для атрибута "Purchase" завершено.
Началось создание группы записей "1" для атрибута "Purchase".
Группирование записей 1 для атрибута "Purchase" завершено.
Началось создание группы записей "1" для атрибута "Purchase".
Группирование записей 1 для атрибута "Purchase" завершено.
....


создалось впечатление, что не может быть выполнена какая то операция и он начинает ее заново.
...
Рейтинг: 0 / 0
Проблема с процессингом большого измерения
    #38599074
OldNov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня было похожее (правда в код ошибок я глубоко не вникал), но то же самое было на SSAS 2008 R2. Процессил измерение с 250 миллионами member-ов - всегда завершалось с ошибкой. Хотя 20 часов, которые вы пишете, это непонятно что за железо, у меня процессинг падал через час, где-то на 70% до завершения. Сначала уменьшил число member-ов до 150 миллионов - не помогло. Оптимизировал задачу следующим образом:

- срезал количество member-ов до минимума, необходимого для задачи, осталось 55 миллионов,
- удалил все иерархии в этом измерении, вынес атрибуты этого измерения в отдельные измерения

и все нормально отпроцессилось. Возможно, этот баг мигрировал из старых версий в SSAS 2012.
Чтобы процессить такие измерения быстро, имейте не меньше 64 гига памяти под SSAS, своп-файл под сотню гигов и быстрые диски. Имейте в виду, чтобы просто загрузить только ключи для такого измерения в память, необходимо 150 миллионов * 64 байта = порядка 10 Gb оперативной памяти.

Для борьбы с этим явлением составлял план, и если бы 52 миллиона member-ов не отпроцессится, то хотел попробовать объявить этот dimension как ROLAP, и сделать в базе несколько дополнительны индексов по таблицам, чтобы работало быстрее. Попробуйте, может быть поможет, я тратить время на разбирательство с 250 млн members не захотел.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
Проблема с процессингом большого измерения
    #39587692
кириллk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня есть атрибуты, которые нужны 1 в год.
Я где -то читал, что есть такая настройка , что данные по атрибутам начинают считаться только когда к ним обращаются.
И что это сильно ускоряет процессинг. Можете кинуть ссылкой?
спасибо!
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / Проблема с процессингом большого измерения
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]