powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS 2k SP3a Инкрементальное обновление измерений
22 сообщений из 22, страница 1 из 1
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024186
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Господа! Доброго времени суток!
Интересует subj когда измерения толстые и не очень. Наблюдаются грабли такого рода - кричит служба
Analysis Server Error: Detected two sibling members with the same name:
хотя никаких дубликатов нет и в помине. Смотрим таблицу источник, смотрим запрос посылаемый на MSSQL. Нет дубликатов. А вот MSAS находит... Следопыт...
Происходит это (у меня по крайней мере) в измерении толстом на ~800K элементов(5 уровней) и в не очень толстом ~10K (1 уровень).
При полном репроцессе - чики пуки. Но полный репроцесс - это вырванные нервы посреди рабочего дня.
Это мне одному такой фарт подвалил или я не одинок?
Ну и может пару аккордов для бубна кто подскажет.
Заранее благодарен.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024308
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Просто в куб летят факты, которые уже там есть.

Какие условия на Incremental Update?
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024479
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кхм... Читаем выше. Процессим измерения .
Может отдельно не указал, добавляю.
Для каждого измерения своя таблица/view источник. Значения уникальны там где надо.
Указанные Dimentions - Shared.
Кубы в которых оные юзаются достаточно упитанные ~30-50 Mегафактов.
Схемы оптимизированы.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024509
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Какие условия на Incremental Update?
например, "период"=4 или ...


Просто у вас получается, что заданы условия при которых беруться старые данные, уже хранящиеся в кубе
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024551
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Пардон...может отупел. Что значит "какие условия"? Где пнуть, чтоб посмотреть/установить?
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024741
Насколько я понимаю, инкрементально эта штука элементы только добавляет (в общем случае, игнорируя нюансы), т.е. не удаляет и не перемещает в иерархии. Может быть перемещение в иерархии обрабатывается в виде добавления элемента в новой позиции, не удаляя его в старой, и это воспринимается как дубль? Не проверял
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024747
Насколько я понимаю, инкрементально эта штука только добавляет элемент (в общем случае, игнорируя нюансы), т.е. не удаляет и не перемещает в иерархии. Может быть перемещение в иерархии обрабатывается в виде добавления элемента в новой позиции, не удаляя его в старой, и это воспринимается как дубль? Не проверял.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024765
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ни фига. Всё эта штука делает и добавляет и удаляет и перемещает.
Неужели не наталкивались на сообсченице Attempt to delete member that is in use . Это при удалении.
Вот при добавлении не ясно - после какого момента/порога/звездосочетания планка падает и появляются вышеописанные грабли.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33024838
Я натыкался на следующее сообщение в BOL:
Rebuilding the Structure of a Dimension
The Rebuild the dimension structure option re-creates and loads the dimension. This processing option is required after:
The structure of the dimension is changed. For example, after you add or remove a level in the hierarchy.

Relationships between members in the dimension hierarchy are changed. For example, after you redefine sales regions so that cities are now in different regions.
Я так понимаю это и есть перемещение внутри иерархии. Причем повторяю, в общем случае (т.е. не changing). Для changing-измерения куча нюансов.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33025263
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Например,

Если вы обновляете куб из Analysis Manager c помощью мастера, доходите до окна
Create a filter expression,

здесь надо указать, например:

"Год"=2005 and "Период=4",

чтоб в результате запроцессить только новые данные четвертого периода из таблицы фактов.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33025564
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Валентин К.
Измерения не changing. Происходит в основном добавление, когда-никогда изменение. Меняется имя, т.е. только то что мы видим. Всяких там "переездов" нет.
2 Eldar
Вот такие действия произвожу при процессе из AM. Не нахожу Create a filter expression
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33025709
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну раз уж картинками
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33025864
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну всё. Объясни мне, дэбылу, как до этой формы дойти при процессе измерения. Где эта волшебная кнопка вызова простановки фильтра?
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33026002
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Как где?
Жмешь
process
выбираешь
Incremental Update
это то что на твоих картинках
Жмешь ОК
появляется диалог с выбором что процессить
жмешь ОК
появляется моя картинка :))
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33026189
Alex Fox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Значит я живу на марсе... после <ОК> на моей картинке сразу идет процесс, и никакого фильтра.
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33026405
Dmitry Biryukov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
имхо, картинка Эльдара от процессинга партиции, а не измерения
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33026687
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ОК, попробуй тогда через DSO
создай в DTS-пакете Analysis Services Processing Task
выбери свой куб, опцию Incremental Update
там увидишь Filter
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33026732
Беляев
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Инкрементальный процессинг куба и измерения - разные вещи.
При процессинге куба фильтр можно указать, при процессинге измерения - нет
Уважаемый Eldar не путайте бедного Alex Fox

Владислав Беляев
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33026753
Eldar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
ОПС...и только сейчас я это заметил
приношу свои извенения

какой-то расеяный стал в последнее время


Попробуй тогда разрешить sibling members
и посмотри какие именно элементы повторяются
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33060646
redcossack
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Правильно ли я понимаю, что rebuild the dimension structure реально никогда не нужен для измерений, состоящих из одного уровня , т.е. может потребоваться только для многоуровневых измерений.
Не так давно работаю с MS Analysis Services и до сих пор мы пользовались только полным репроцессингом измерений и кубов. Но так как есть неизменяющиеся "исторические" данные, хотелось бы их "заморозить" в партициях, которые бы не подвергались репроцессингу. Для этого нужно иметь возможность использовать для общих измерений incremental update . Особенность структуры базы в том, что многоуровневых измерения всего два, и это date dimensions , стабильные по природе. Остальное - это одноуровневые обычные и виртуальные измерения.
Поэкспериментировал с изменениями базовых таблиц измерений и таблицы фактов и с incremental процессингом измерений и куба - вроде все нормально, без проблем. Добавляет члена в измерение при добавлении строки в таблицу измерения. Если удалить из таблицы измерения строку (а в таблице фактов данные под эту строку оставить или удалить), то в измерении член остается, но в кубе данных для него нет. Даже корректно в кубе отражаются изменения связей между измерениями, построенными на основе одной таблицы (скажем, объект и его свойства), когда, например, значение свойства меняется с одного на другое или на совсем новое. Так что вроде все нормально.
Прав ли я, что в данном случае можно смело переходить на incremental update для измерений, перестать процессить партиции с историческими данными и использовать refresh data для партиций с динамическими данными?
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33060661
redcossack
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Забыл добавить, что, конечно, моя осторожность связана с непредсказуемым характером изменений в базовых таблицах измерений
...
Рейтинг: 0 / 0
MS AS 2k SP3a Инкрементальное обновление измерений
    #33063644
Владимир Иванов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Все это конечно хорошо, но на больших решениях (а для них Inc в основном и сделан) глючит он несусветно.
На многих сайтах потому от него и отказались.
Вроде backfire тоже не использует.
Мы когда как.
...
Рейтинг: 0 / 0
22 сообщений из 22, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / MS AS 2k SP3a Инкрементальное обновление измерений
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]