Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Простите, что пристаю с дурацкими вопросами и не сочтите за оффтопик... просто я полагаю, что здесь собираются люди умные и готовые помочь. Подскажите, пожалуйста, где можно детально прочитать о том, _как именно_ what-if анализ проводится с помощью инструментов OLAP. Есть несколько статей, в которых говорится о том, что это возможно, но я почему-то плохо себе представляю как. Заодно, подскажите, какие еще виды анализа (кроме тривиальных) возможны с помощью OLAP. Интересует как принципиальная возможность, так и возможности конкретных инструментов: - Microsoft Analysis Services - Cognos PowerPlay - Hyperion Solutions Essbase - MicroStrategy Заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2003, 16:24 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
what-if обычно атрибут бизнес-решения, а не инструмента. Например, в MS Project 2003 есть what-if моделирование портфелей проектов с отображением через результатов MS AS Другой метод решения, это использование what-if моделирования через write-back, но тут ждите Picasso. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2003, 17:16 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Спасибо. Так, в общем-то, все логично получается. И еще вот вы упомянули write-back... я не совсем понимаю что это такое :), но встречался с заявлениями о том, что некоторые инструменты (обычно класса MOLAP) позволяют изменять данные (да еще и multiuser). А вот ЗАЧЕМ это нужно и ЧТО это дает, я пока не очень понимаю. Не могли бы Вы пояснить? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2003, 18:10 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Смысл What-If анализа можно понять на примере работы в Excel, когда на основе значения одной ячейки может пересчитваться цепочка других, тренды и проч. То есть пользователь меняет значения ячейки и получает ответ на свой вопрос "а что будет, если?" (What if?) Только в случае Excel мы работаем с двумерным случаем, а с OLAP серверами у нас появляется возможность обсчета более чем двумерных моделей. Write Back - это способность многомерного сервера записывать обратно в куб, значения измененные пользователем. Для реляционного сервера это всего лишь update, а для многомерных это часто является нетривиальной задачей. Например Oracle Express Server может делать Write Back, и на этой возможности, в частности, построен продукт Oracle Financial Analyzer, а насколько я знаю MS AS write back на текущий момент не поддерживает. Насчет других серверов не знаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2003, 21:52 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
MS AS поддерживает Write Back! Только вот не все клиенты его поддерживают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2003, 05:41 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Так. Мне всегда казалось, что анализ "что-если" целесообразен и возможен только на готовой математической модели, когда у нас есть набор переменных, между которыми установлены определенные соотношения. Когда речь идет об анализе _данных_ (например, поступающих из систем оперативного учета), соотношений между ними нет. Для того, чтобы эти соотношения появились, необходимо произвести анализ данных, должна появиться какая-то модель. (В простейшем случае можно корреляцию какую-нибудь посчитать и т.д.) Вопрос. Является ли выявление этих закономерностей в данных частью OLAP??? Я-то всегда считал, что это, как минимум, Data Mining, а как максимум месяцы работы математиков. Или же what-if здесь подобен Excel"евскому (который Вы и приводили в пример), где все пересчеты осуществляются на основе заданных _человеком_ зависимостей между величинами? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2003, 10:34 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
What if это всего лишь техника, которая позволяет аналитику проверять гипотезы. Точно также? как и Excel сам по себе не имеет понятия что за данные лежат в его ячейках и откуда взялись зависимости между ними, так и what if в OLAP серверах это всего дишь возможность. Выявляет и строит зависимость кто-то другой (человек, на основе своих догадок, знаний или с помощью data mining). Если у вас в кубике просто свалка данных из разных источников, то наверное what if в лоб применить будет сложно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2003, 10:53 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Не стоит забывать, что есть 2 типа what-if анализа: 1) На основе точных формул (например поменять ставку дисконтирования инвестиционного проекта, и показатели типа NPV пересчитаются без проблем, автоматически). 2) На основе более сложных зависимостей. Например, если я в модели продаж повышу цену реализации в 2 раза, то это не значит, что выручка увеличится в 2 раза (так как одновременно могут упасть объемы продаж в натуральном выражении)... То есть я конечно могу с удовольствием наблюдать такое повышением выручки, но меня будут мучить темные мысли об эластичности спроса :) Так что в некоторых случаях разумно проводить анализ что-если с помощью продуктов, в которых заложены статистические алгоритмы (например Cognos Scenario - многофакторный анализ, Cognos 4Thought - многомерное моделирование и прогнозирование на основе нейросетевых технологий). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2003, 11:04 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Большое всем спасибо, ситуация прояснилась. To Jurii > Например в кубе PowerPlay лежат миллионы фактов о продажах. Вы в Excel > набиваете небольшой массив данных - несколько сценариев при > ценообразовании (для каждой группы товаров задаете процент, на который > хотите изменить цену, или для каждого товара указываете цену в явном > виде). Далее этот массив подкачиваете в куб, и эти новые данные будут > использоваться в расчетах с миллионами ранее закаченных детальных записей. Гм... и я смогу использовать настоящую аналитическую модель, в которой изменение цены одного товара уменьшает спрос на него, но [возможно] увеличивает спрос на товары-субституты? Пример, кстати, хороший - если у меня в кубе лежат данные о продажах по различным продуктам, то спрос на продукт в моей аналитической модели фигурировать уже не может (не будет же сервер "закрывать глаза" на некоторые факты или заниматься "приписками"?) Впрочем, ладно... я все понял. Еще раз всем спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 23.10.2003, 11:10 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Write-Back фактически не работает в MS AS, запись одного значения занимает около 1 мин. Это связано с трансляцией изменения во все размерности. Oracle так не делает, поэтому быстро работает. Однако what-if работает только в одном разрезе. Ждите Picasso, там WB летает. Смерть Орокляным диверсантам! :) Шутка ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.10.2003, 15:26 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
> Ждите Picasso, там WB летает. А в декабре 10g выходит .... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.10.2003, 22:28 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Все что написали любители Cognos и MSOLAP и даже Oracle - похоже на неправду - слишком большие услия понадобятся для пересчета больших кубов. Поэтому лучше не забивать себе этим голову - если есть задача и ее надо решить - оцени ее стоимость - а может и не стоит браться - а желание начальства ничем кроме безумной хотелки которая все равно не будет принята во внимание при принятии решения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.10.2003, 00:06 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2 kvazimoda Разговор о другом. Есть метод - what if. Но это не начит что его обязательно нужно применять. Причем тут желание руководства или кого-то еще? Если есть задача решаемая методом - ок, нет - можно и не заморачиваться. Помню как в школе спрашивал военрук: что может дать ваш компутер при рубке дров? В Express-то write-back b what if делаются элементарно - была бы задача. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.10.2003, 14:23 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
To kvazimoda: Читая Ваши постинги я все думаю, откуда у Вас такой пессимизм? Вы случайно не во Франции живете? :) Все что написали любители Cognos и MSOLAP и даже Oracle - похоже на неправду - слишком большие услия понадобятся для пересчета больших кубов. Не знаю как насчет MSOLAP и Oracle, но насчет Cognos я написал чистую правду, проверенную на практике. Там где кубы большие - используется мощный PowerPlay, а там где кубы небольшие, а аналитические модели более сложные - используется Cognos Planning. Я бы даже сазал, что для анализа "что-если", который я в свое время реализовывал с помощью MS Excel, зачастую не требуется ворочать большими обемами данных. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 25.10.2003, 15:30 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Birkhoff Смысл What-If анализа можно понять на примере работы в Excel, когда на основе значения одной ячейки может пересчитваться цепочка других, тренды и проч. То есть пользователь меняет значения ячейки и получает ответ на свой вопрос "а что будет, если?" (What if?) Только в случае Excel мы работаем с двумерным случаем, а с OLAP серверами у нас появляется возможность обсчета более чем двумерных моделей. Write Back - это способность многомерного сервера записывать обратно в куб, значения измененные пользователем Смысл выше сказанного мне вполне понятен. Хотелось бы попробывать это реализовать. Однако прочитав полностью весь топик так и не поняла: 1. какая же утилита позволит реализовать what-if (и где ее найти). Куб у меня создан ср-вами MS AS, клиент - VB.Net - исходя из этих условий, что вы можете порекомнедовать к использованию? 2. как реализовать what-if для куба пока не представляю (может где есть простенький примерчик), который отражает шаги Заранее спасибо ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.03.2005, 22:15 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир Иванов Ждите Picasso, там WB летает. А что такое Picasso? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.03.2005, 22:45 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Юрий, Ваше сообщение со ссылками на несуществующие URL и на страницы, где заведомо нет той информации, о которой Вы писали, было удалено. Постарайтесь больше не вводить людей в заблуждение. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.03.2005, 23:55 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
What-if анализ в MSAS реализован через команду UPDATE CUBE Write-back при What-if не используется , т.е. данные What-if не сохраняются What-if работает как с атомарными так и с аггрегированными данными What-if работает довольно быстро на небольшом числе ячеек (до 1000) Оператор update cube позволяет проводить распределение 4 типов на базе данных в кубе. Конечно у него много ограничений - не работает с custom rollup, datamember. Поэтому надо работать с атомарными ячейками, а всю логику распределения прописывать где-то вне AS Если требуется write-back, а он нужен для приложений бюджетирования Скорее всего UPDATE CUBE вообще использовать нельзя, так как осуществляется запись во write-back table, которая очень капризная: 1 На изменение структуры куба 2 На некорректные данные (если при распределении возникнет деление на ноль) 3 На объемы данных Скорость записи во write-back в SP3 можно увеличить использовав Batch Update SQL сервера Запись в исходную таблицу фактов невозможна Поэтому для бюджетирования использую ROLAP модель куба и SQL для изменения таблицы фактов Хотел бы узнать что в Юконе сделано на эту тему Владислав Беляев ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 07:54 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Birkhoff... для реляционного сервера это всего лишь update, а для многомерных это часто является нетривиальной задачей. Для реляционного сервера (если Вы имели в виду ROLAP) задачка тоже не очень простая, особенно если отчёт у Вас получается в результате выполнения многостраничных SQL-запросов. И что, Вы будете решать эдакую обратную задачку? Жизни не хватит. Даже если запрос совсем простой, но есть группировка скажем по клиентам, то как Вы будете разносить изменения на каждого клиента? Всем поровну, пропорционально чему-нибудь? Конечно возможно, что я не совсем понял, что Вы имели в виду. В MicroStrategy есть отдельный продукт для write-back, называемый Transactor, правда мы его ещё его толком не смотрели. По первоначальному запросу (what if) отвечаю по MicroStrategy. В MicroStrategy есть такой объект, как value prompt, который позволяет вводить числовую величину. Их можно вставлять в любые вычисления, моделируя ситуацию, как Вам нужно, с учётом эластичности спроса или без. После этого при выполнении отчёта вы задаёте все нужные величины на промптовой странице и кликаете на кнопку - Выполнить отчёт. Если нужно поменять параметры - кликаете на Reprompt. Про data mining совсем отдельная песня, если интересно - напишу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 09:53 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Где именно можно варировать данными (изменять их) в кубе? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 12:44 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
GoodLeoMS AS поддерживает Write Back! Только вот не все клиенты его поддерживают. Укажи пожалуйста хоть одно коробочного клиента который поддерживает данную опцию? Если вы пишите своего через ADODM тогда согласен, а если это готовый продукт то я таких не знаю. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 12:53 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
kvazimodaВсе что написали любители Cognos и MSOLAP и даже Oracle - похоже на неправду - слишком большие услия понадобятся для пересчета больших кубов. Поэтому лучше не забивать себе этим голову - если есть задача и ее надо решить - оцени ее стоимость - а может и не стоит браться - а желание начальства ничем кроме безумной хотелки которая все равно не будет принята во внимание при принятии решения. Очень справидливое и со все сторон правильное заключение, порой цена проекта зачистую останавливает всю горячку и заставляет начать думать(никто не любит думать, я вот я люблю) о том как более оптимально получить результат при не высоких затратах и чего можно сделать не используя пока еще сырых технологий(WB считаю сырой технологией и неиспользую ее никогда) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 13:01 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
OLAPMASTER kvazimodaВсе что написали любители Cognos и MSOLAP и даже Oracle - похоже на неправду - слишком большие услия понадобятся для пересчета больших кубов. Поэтому лучше не забивать себе этим голову - если есть задача и ее надо решить - оцени ее стоимость - а может и не стоит браться - а желание начальства ничем кроме безумной хотелки которая все равно не будет принята во внимание при принятии решения. Очень справидливое и со все сторон правильное заключение, порой цена проекта зачистую останавливает всю горячку и заставляет начать думать(никто не любит думать, я вот я люблю) о том как более оптимально получить результат при не высоких затратах и чего можно сделать не используя пока еще сырых технологий(WB считаю сырой технологией и неиспользую ее никогда) Поправка WB в MS AS, может где то в других решениях данная технология ведет себя более предсказуемо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 13:12 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2 Константин Лисянский: Юрий, Ваше сообщение со ссылками на несуществующие URL и на страницы, где заведомо нет той информации, о которой Вы писали, было удалено. Постарайтесь больше не вводить людей в заблуждение. Константин, Эта дискуссия имела место полтора года назад, я не помню, какие указывал ссылки (URL). Видимо это были ссылки на сайт http://cognos.narod.ru , который сейчас находится на реконструкции. Если Вас не затруднит, сообщите, на какой файл я давал ссылку, и я выложу его по новой для скачивания. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 14:03 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2 Jurii: Понял. Не обратил внимания на дату. Застываю в глубоком пардоне. Действительно. Были ссылки на этот сайт. Вообще-то считается дурным тоном выкладывать ссылки на сайты, которые находятся на реконструкции. Это я и имел в виду своим постом. Следующим ходом будет удалён Ваш пост на который я сейчас отвечаю. Я, конечно, понимаю, что Вы хотите, чтобы ссылка на Ваш сайт была максимально раскручена. Вставьте тогда её куда-то под ник или в подпись. Кому будет интересно, тот пойдёт и посмотрит, что там у Вас на сайте. Пожалуйста, приводите в сообщениях ссылки на реально работающие сайты. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 14:37 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Ни чего не понял, точнее понял что все удаляется и все свободны. :) На самом деле what-if моделирование составная часть систем OLAP-планирования, которые обсуждается тут http://www.sql.ru/forum/actualthread.aspx?tid=165207 К сожалению специалисты по теме застыли в глубокой засаде и не хотят проявляться. Что в прочем и не удивительно, спецы по планированию сущетвенно дороже и как правило опытнее в обычной OLAP-тематике, им эффективнее обсуждать проблемы на закрытых тусовках, чем в общем форуме. А жаль. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 14:55 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Не могли бы помочь... Объясните, плиз, где именно можно варировать данными - что эта за утилита, где она находится в MS AS, как к ней подобраться? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 16:00 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Г-н Иванов Вы хотите поговорить про методологию бюджетирования и планирования или про конкретные инструменты? Если интересует мнение по инструментам - то задачи бюджетирования типичные ОЛАП задачи, однако текущее состояние программных средств OLAP не позволяет осуществлять большие и серьезные проекты по финансовому планированию/моделированию только средствами OLAP Хотя есть специализированные, базирующиеся на OLAP продукты, которые занимаются бюджетированием: Pillar, Cognos Planning Но и они ограничены в возможностях. Вы сами проблемы описывали С другой стороны реализация хорошей системы бюджетирования в рамках транзакционной БД приводит к созданию самопального OLAP движка или использованию чужого OLAP средства SAP так дорос до BW Поэтому мне кажется внедрение систем бюджетирования (да и любой ИС) - это всегда поиск компромиса между ограниченными возможностями системы и безграничными фантазиями менеджеров. Первые надо адаптировать и пытаться расширить, вторые вписывать в разумные рамки OLAP сервера наращивают функционал и настанет время, когда все процессы бюджетные закроют. Тогда система бюджетирования будет тождественна OLAP клиенту с включенным write-back. Владислав Беляев ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 16:33 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
ЛЮДИ! Подскажите правильно я делаю... В MS AS для куба выбираю пункт меню Write Enable Открывается окно, в котором пишу название создаваемой таблицы и создаю соединение с какой-либо БД из SQL Server Нажимаю ОК В результате вижу через Enteprise Manager, что появилась эта таблица с полями, такие как в кубе dimension и т д Она пустая. Что с ней делать, как туда залить данные??? Не совсем поняла, а что дальше? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 20:33 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2Беляев Соглашусь со всем, кроме того что OLAP-пы дорастут до нормальных систем. фин. планирования. В их идеологии отсутствуют бюджетные проводки, поэтому неполноценность их от рождения. С другой стороны это и плюс OLAP-ов, т.к. дает им дополнительную гибкость путем нарушения требований к консолидации информации и единого учета (что снова нас возвращает к бюджетным проводкам). Сомневаюсь, что OLAP-пы это изменят. В этом минусе (автоматизации беспорядочного планирования) и есть их сила. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.03.2005, 23:35 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2irinka : Anaysis Services сам будет заполнять эти таблицы после применения команды update cube. OLAP клиенты, такие как ProClarity умеют работать с writeback, но в принципе можно формировать такой запрос "руками". Владимир ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 10:17 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2 Владимир Иванов : Наверное не всем нужно алгоритмически сложное бюджетирование, с рекурсивными пересчетами и т.д. Cognos Planning позволяет автоматизировать многие трудоемкие операции: - сбор данных из распределенных источников(Contributor) - распределения - импорт фактических данных/экспорт бюджета из/в OLTP - прогнозирование, на основе данных прошлых периодов, планов - консолидация - ... Просто у каждого инструмента своя область применения. Если бы Cognos имел открытое API, позволял бы использовать внутренний язык для описания трансформаций, то область его применения была бы шире. Сейчас, никто не мешает формировать бюджетные проводки, экспортировать их в Ваш чудесный модуль, который по сложным алгоритмам что то расчитает, соптимизирует и их имортировать обратно. Владимир ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 10:44 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Справедливости ради, у Cognos Planning куча недостатков, связанных со стабильностью работы, закрытостью программных интерфесов и т.д., так что я не агитирую за советскую власть ... Но с точки зрения анализа данных, продукт интересный - MSAS c writeback'ами рядом не лежал. Владимир ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 10:54 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2immutable Ну импорт в реальной практике обычно оказывается бесполезен и не только в Cognos, но и в других OLAP-планировщиках. Фактические операции как правило у людей уже в виде цивилизованных управленческих проводок, а посокольку это другая модель, чем в OLAP, то загрузить их и главное сопоставить с фактами практически невозможно. Это не только мое мнение, вы без труда найдете обзоры систем планирования, где слабость интеграции подчеркивают различные эксперты. Для примера случай из моей практики. В корпорации DDB используется Hyperion Pillar. Так сотрудники DDB по всему миру ...вбивают факты руками. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 13:13 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Значит мы делаем невозможное :-) Мне жаль сотрудников DDB, которые вбивают факты руками, надеюсь Вы избавили из от такой необходимости. Мы из бюджетной модели экспортируем данные в хранилище, строим витрины и пользователи могут сопоставлять плановые и фактические данные. И, наоборот, для прогнозирования амортизации, мы закачиваем фактические данные из учетной системы, комбинируем расчитанной в Analyst'е (на основе плана закупок ОС) с помощью BIF амортизацией. Владимир ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 14:07 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
backfire Владимир Иванов Ждите Picasso, там WB летает. А что такое Picasso? г-н Иванов, неужели так трудно ответить на этот вопрос? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 14:48 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
backfire backfire Владимир ИвановЖдите Picasso, там WB летает.А что такое Picasso?г-н Иванов, неужели так трудно ответить на этот вопрос? За Иванова: Picasso - это такой художник, который в своем творчестве переживал как и мы с вами кубический период, так что подождем. Так и представляется WB в виде девочки, балансирующей на шаре :) Владислав Беляев ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 15:55 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Ну что за паника такая? :) Picasso так некоторые спецы Microsoft называли проект OLAP-сервера в составе Юкона. Не знаю сменили ли они это рабочее название и насколько оно было официальным. 2immutable Опишите если можно подробнее что за решение. - Каков источник фактических данных? - Какие бюджеты вы строите? - Инструментарий? Я охотно верю, что существуют частные решения, но с общим обычно проблемы. Иными словами при попытке перейти от частной к комлексной системе с планированием и план/фактам по всем аспектам деятельности можно получить неразрешимую ситуацию. Решение DDB как раз комплексное и используется для формирования всех основных бюджетов БДДС, БДР и по листу. Тут они и обламались... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 18.03.2005, 16:52 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановPicasso так некоторые спецы Microsoft называли проект OLAP-сервера в составе Юкона. Не знаю сменили ли они это рабочее название и насколько оно было официальным. Похоже у Владимира есть глубокие связи в Microsoft, поскольку это внутреннее название никогда наружу не выдавали :) А вообще-то история такая. Раньше проэкт назывался Plato (т.е. по английски - Платон). После того как сделали AS2K, было много организационных изменений, и в связи с этим решили поменять название группы. Но у нас в коде все переменные и классы начинаются с буквы "P" - мы это менять не хотели. Значит надо было найти имя которое тоже начинается на "P". Сделали Picasso - все таки имеет отношение к кубам :) Владимир ИвановЖдите Picasso, там WB летает. Я не настроен так же оптимистично как Владимир. В Юконе WB улучшен конечно во многих отношениях - и для concurrent writes, и для low-overlap writes, не говоря уже о том что алгоритмы weighted allocation работают используя NonEmptyCrossJoin алгоритм. Кстати даже в SP4, weighted allocation с весом по умолчанию тоже переделана точно так же. Но поскольку в предыдущих постах Владимир писал про equal allocation - то тут ожидать улучшений не следует. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.03.2005, 00:14 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Я не настроен так же оптимистично как Владимир. В Юконе WB улучшен конечно во многих отношениях - и для concurrent writes, и для low-overlap writes, не говоря уже о том что алгоритмы weighted allocation работают используя NonEmptyCrossJoin алгоритм. Кстати даже в SP4, weighted allocation с весом по умолчанию тоже переделана точно так же. Но поскольку в предыдущих постах Владимир писал про equal allocation - то тут ожидать улучшений не следует. Да? А как же насчет этой информации от Microsoft? Надеюсь это не просто маркетинг про десятикратный рост производительности. Нельзя ли привести примеры работы с десятикратным ростом, которые можно человеческим языком повторить клиентам, в целях убеждения перехода Юкон. Enhancements to data writeback include a ten-fold performance improvement . The analytic application can write data back to an aggregate cell, and optionally perform allocation of the aggregate data to its underlying leaf data. Business Intelligence and Data Warehousing in SQL Server Yukon Насколько я понимаю optionally perform allocation и weighted allocation означает, что можно использовать WB для разноски данных ниже по листам не только равными долями, но и по весовым коэфициентам. Некоторое упоминание о практическом использовании данного метода тут: http://www.o2olap.com/o2olap_EnterData.htm Кто либо может привести пример разноски ниже по листам с использованием весовых коэфициентов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.03.2005, 18:23 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Вот пример для MSAS2k, можно ли пример с использование новинок Юкона? От:John Desch [MS] (jdesch@msonline.microsoft.com) Тема:Re: Writeback -> USE_WEIGHTED_ALLOCATION Making the following assumptions: 1. The time dimension uses a Year, Quarter, Month, Day structure in a star schema 2. The product dimension uses a Family, Group, Item structure in a star schema I was able to get the following UPDATE CUBE statement to successfully execute. UPDATE CUBE [Sales] SET ([Products].[All Products].Dryers, [Measures].[Sales Units]) = 3000 USE_WEIGHTED_ALLOCATION BY IIF([Time].[Year].UniqueName="[Time].[All Time].[2001]", ([Time].[All Time].[2000],[Products].CurrentMember)/ ([Time].[All Time].[1999],[Products].CurrentMember), ([Time].[All Time],[Products].[Dryers])/ ([Time].[All Time],[Products].[Washers])) However, based on your last posting, I suspect that's not exactly what you're wanting to do. One of the issues that you're going to encounter is that unless you're writing back to the DataMember of a Parent-Child dimension, any writeback occurs at the cell level and is going to impact aggregate values in both the Time and Product Dimension. If you're wanting to update at the Time.Year level and have the data allocated to the Time.Quarter, Time.Month membersbased on actual costs, the only possibility I can think of would be to build the Time Dimension as a Parent-Child dimension and set the Members With Data property of the dimension to either "Non-Leaf Data Hidden" or "Non-Leaf Data Visible" and add a Custom Rollup something like: IIF(IsLeaf(Time.CurrentMember), CalculationPassValue(Time.Currentmember,0), rollupchildren(Time.currentmember,"+")) Likewise, if you're wanting to update at the Product.Family level and have the data allocated to the Product.Group and Product.Item members, the same approach described above should work. Regards, John Desch, MCDBA, MCSD This posting is provided “AS IS” with no warranties, and confers no rights. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.03.2005, 18:41 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановДа? А как же насчет этой информации от Microsoft? Надеюсь это не просто маркетинг про десятикратный рост производительности. Нельзя ли привести примеры работы с десятикратным ростом, которые можно человеческим языком повторить клиентам, в целях убеждения перехода Юкон. Enhancements to data writeback include a ten-fold performance improvement. The analytic application can write data back to an aggregate cell, and optionally perform allocation of the aggregate data to its underlying leaf data. Business Intelligence and Data Warehousing in SQL Server Yukon Как я и написал выше - есть несколько областей где производительность действительно сильно повышена. Writeback - это большая подсистема которая включает в себя много всего. Поскольку из Ваших предыдущих сообщений я заключил что Вас интересует в первую очередь производительность метода equal allocations, то я счел нужным предупредить, что в этом методе ждать улучшений не стоит. С другой стороны, если пользоваться weighted allocations, то улучшения могут быть не в десять раз, а в тысячи раз. Извиняюсь если из моего первого ответа это не было сразу понятно. Владимир ИвановВот пример для MSAS2k, можно ли пример с использование новинок Юкона? В Юконе нет новинок в функциональности writeback. Поскольку этот пример пользуется weigthed allocation, то можно ожидать улучшения производительности, хотя в данном случае weight использует IIF со статической провекой, что не очень понятно. Гораздо более эффектовно делать такую провеку в коде программы, и потом использовать нужный allocation driver. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 00:07 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Поскольку этот пример пользуется weigthed allocation, то можно ожидать улучшения производительности, хотя в данном случае weight использует IIF со статической провекой, что не очень понятно. Гораздо более эффектовно делать такую провеку в коде программы, и потом использовать нужный allocation driver. Хорошо, а нельзя ли чуть точнее. А как бы вы переделали MDX и что бы вы уже доделали в коде программы? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 01:35 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
И тем не менее, расширения в WB в Юконе есть и не безинтересные. Cell Annotations in AS2005 http://www.sqlserveranalysisservices.com/OLAPPapers/Cell%20Annotations%20in%20AS2005v1.htm ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 01:59 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Моше. Коль речь пошла о WB в Юконе, то можно ли в 2-х словах о улучшнениях в управляемости и обслуживаемости WB разделов. Текущая шилонская реализация практически приводит к тому, что после merge WB partition данные из SQL таблицы исчезают в никуда (с точки зрения SQL Server) и кубу строго настрого противопоказан репроцессинг. Мне видится логичным реализация возможности слияния данных WB SQL таблицы с основной таблицей фактов, пока что это приходится делать "в ручную". Или моя концепция на столько бредовая, что не имеет право на жизнь. Хотелось бы услышать Ваше мнение на этот счет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 02:41 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановИ тем не менее, расширения в WB в Юконе есть и не безинтересные. Cell Annotations in AS2005 http://www.sqlserveranalysisservices.com/OLAPPapers/Cell%20Annotations%20in%20AS2005v1.htm Поскольку идея этой whitepaper принадлежит мне и была написана Ричардом в соавторстве со мной, я могу сказать что я хорошо понимаю о чем идет там речь :) Если Вы внимательно прочитаете эту статью, то увидите, что никаких расширений WB там не используется. Точно такой же подход можно применить и к AS2K. Конечно в Юконе гораздо проще будет написать generic выражение которое будет обходить все измерения - этим мы обязаны другому посетителю этого форума - backfire, чей пост убедил нас включить в Юкон функцию CurrentOrdinal, но про это в v1 этой whitepaper ничего не написано - это будет в v2. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 03:28 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
backfireТекущая шилонская реализация практически приводит к тому, что после merge WB partition данные из SQL таблицы исчезают в никуда (с точки зрения SQL Server) и кубу строго настрого противопоказан репроцессинг. Мне видится логичным реализация возможности слияния данных WB SQL таблицы с основной таблицей фактов, пока что это приходится делать "в ручную". Я не совсем понял насчет "данные исчезают в никуда", стоит ли вопрос в том чтобы после процессинга WB partition в MOLAP, ее копировать в отдельную SQL table "на черный день" когда понадобиться делать cube reprocessing ? Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 03:37 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2backfire А для каких целей вы используете WB? Я сейчас не применяю WB в решениях по планированию, т.к. обычная система планирования состоит из взаимосвязанных бюджетов. Иными словами, мало чтобы поменялся один куб, нужно чтобы изменились связанные кубы (бюджеты). Это можно конечно делать оперируя с WB таблицей и формируя на ее основе другие DWH. Но мне показалось такое решение не самым эффективным. 2Моша. Если Юкон будет терять таблицы с данными о WB, тогда в массе приложений по планированию возникнут серьезные проблемы. Разработчики завязываются на эту табличку. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.03.2005, 20:06 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановЕсли Юкон будет терять таблицы с данными о WB, тогда в массе приложений по планированию возникнут серьезные проблемы. Разработчики завязываются на эту табличку. Юкон сам не будет ничего терять. Как впрочем и AS2K сам ничего не теряет. Я думал, что backfire имел в виду UI в Analysis Manager который делает "convert writeback partition to MOLAP partition", но надо подождать пока backfire обьяснит что он на самом деле имел в виду. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 00:31 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
MoshaЯ не совсем понял насчет "данные исчезают в никуда", стоит ли вопрос в том чтобы после процессинга WB partition в MOLAP, ее копировать в отдельную SQL table "на черный день" когда понадобиться делать cube reprocessing ? Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights просто копировать в отдельную SQL table "на черный день" маловато будет, я имелл ввиду изменеие таблицы фактов (одной из таблиц фактов)таким образом, что при полном репроцессинге куба (раздела куба) данные в кубе не изменялись. Иначе говоря: до слияния WB ROLAP раздела содержимое основного раздела куба является однозначной функцией содержимого таблицы фактов, на которой куб построен. После слияния WB ROLAP раздела, содержимое основного раздела куба такжн должно оставаться однозначной функцией содержимого таблицы фактов, в этом и заключается необходимость направлять данные из WB таблицы не только в куб, но и в таблицу фактов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 00:42 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир Иванов2backfire обычная система планирования состоит из взаимосвязанных бюджетов. Иными словами, мало чтобы поменялся один куб, нужно чтобы изменились связанные кубы (бюджеты). Владимир, Вы бы не могли более подробнее изложить это с технической точки зрения, дабы наш разговор велся на одном языке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 00:46 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
backfireя имелл ввиду изменеие таблицы фактов (одной из таблиц фактов)таким образом, что при полном репроцессинге куба (раздела куба) данные в кубе не изменялись. Если изменение удалило один из атрибутов на уровне гранулярности measure group или удалило метрику - то раздел WB может продолжать существовать без изменений (хотя в нем тоже можно удалить тот же самый атрибут, но навеное проще поменять bindings). Если же изменение добавило новый атрибут на уровне гранулярности, то как в основной fact table, так и в WB надо сделать mapping существующих записей на какое-то значение этого атрибута. Дибавление атрибутов выше уровня гранулярности вообще никак не отражается на WB. Какие еще изменения Вы имели в виду ? Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 00:52 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Mosha backfireя имелл ввиду изменеие таблицы фактов (одной из таблиц фактов)таким образом, что при полном репроцессинге куба (раздела куба) данные в кубе не изменялись. Если изменение удалило один из атрибутов на уровне гранулярности measure group или удалило метрику - то раздел WB может продолжать существовать без изменений (хотя в нем тоже можно удалить тот же самый атрибут, но навеное проще поменять bindings). Если же изменение добавило новый атрибут на уровне гранулярности, то как в основной fact table, так и в WB надо сделать mapping существующих записей на какое-то значение этого атрибута. Дибавление атрибутов выше уровня гранулярности вообще никак не отражается на WB. Какие еще изменения Вы имели в виду ? Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights Моша, боюсь, что мы говорим с вами на разных языках. Я совсем не говорил о изменении схемы таблицы фактов/куба. Словом "изменение" я называл желаемый INSERT/UPDATE в таблицу фактов в момент когда сливается WB раздела c основным разделом. Куб до включения WB = Процессинг(ТаблицаФактов) .... Куб после Слияния WB и выключения WB != Процессинг(ТаблицаФактов) Так вот мне надо равенство и во втором случае. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 01:19 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Да похоже мы говорим на разных языках. Что такое "сливание WB" ? Если имеется в виду "partition merging", то какая разница был ли этот partition для writeback или нет ? Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 01:31 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
MoshaДа похоже мы говорим на разных языках. Что такое "сливание WB" ? Если имеется в виду "partition merging", то какая разница был ли этот partition для writeback или нет ? Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights "Сливание WB" это: конвертация ROLAP раздела в MOLAP и слияние этого раздела с основным разделом куба. Опустимся на землю и обратим взоры на AS StandardEdition. В нем ситуация стоит как нельзя остро: - Разделы там плодить нельзя. Значит как только однозначно покончить c WB. Что при этом происходит. WB раздел из ROLAP конвертируется в MOLAP, сливается с основной. И на весь куб вешается табличка "закрыто", то бишь readonly. В чем подоплека моих пожеланий к WB функционалу. Не секрет что со временем WB ROLAP раздел пухнет так как туда идет только insert. Индексы на него тоже наложены щедро, что не лучшим образом отражается на производительности SQL сервера при записи. Кроме того WB таблица сделана таким образом, что в ней присутствуют столбцы для нелистовых уровней измерений (кому они там нужны? это же раздувает индексы) а также поля для уровней виртуальных измерений (а эти что там потеряли?). В итоге длина записи раздута в несколько крат, чем того требует реальная практика. Начем экономия на JOIN c таблицами измерений? Могу доказать, что как раз с JOIN работает быстрее. Хорошо, вы можете доказать, что широкая (ключи всех уровней всех измерений куба)таблица с точки зрения доступа на чтение лучше чем узкая (только ключи листовых уровней невиртуальных измерений) с точки зрения экономии на JOIN. Но пойдем дальше. После 10 кратного введения данных в ROOT куба имеем в WRITEBACK таблице в 10 раз больше записей чем в таблице фактов. Где в этот момент будет находится производительность куба на чтение/запись наверное упоминать не стоит. Вопрос. Что же делать, чтобы выбраться из этой ямы в производительности? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 02:13 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2backfire А для каких целей вы используете WB? Я думаю для ответа на этот вопрос не требуется технических пояснений. Я сейчас не применяю WB в решениях по планированию, т.к. обычная система планирования состоит из взаимосвязанных бюджетов. Иными словами, мало чтобы поменялся один куб, нужно чтобы изменились связанные кубы (бюджеты). Это можно конечно делать оперируя с WB таблицей и формируя на ее основе другие DWH. Но мне показалось такое решение не самым эффективным. Поясню на примере. Например, вам нужно построить бюджет Доходов и Расходов (БДР). Данный бюджет обычно состоит из подчиненных типа "Закупки", "Продажи". Структура подчиненных бюджетов может отличаться от БДР, но общие итоговые цифры в БДР передаются. Можно реализовать эту классическую задачу так. Сотрудники через WB вводят бюджеты "Закупки" и "Продажи", затем на основе сформированных данных в SQL-таблицах WB строится DWH для БДР. По методике все похоже на Cognos Planning и Hyperion Pillar, только механизмов настройки нет, все вручную. PS. Мне не кажется хорошей идея класть WB-таблицу в факты. Во многих простых системах DWH формируют прямо на таблице OLTP-системы без отстойника. Можно критиковать данный метод, но он часто используется. Если WB будет писать в факты, то так можно разрушить OLTP-систему. В большом решении будет сходная проблема. Там обычно факты (т.е. фактические данные) собирает команда девелоперов-итеграторов, а планы делает другая группа. Наличие записи WB в факты разрушит изоляцию между модулями групп. Да и потом отлавливать что тут план, а что тут факт совсем не хочется. Решение, где OLAP-щикам отдается DWH в read-only более "инкапсулированное" и защищенное от багов. Другой вопрос, неплохобы Microsoft стандартизовать WB-таблицы и выпустить White Paper о построении SQL-запросов позволяющих получить таблицу фактов с учетом WB. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 02:23 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2backfire Нужно понизить fillfactor примерно до 30% и желательно индексы пересоздать в отдельной filegroup на другом HDD (массиве). Производительность скорее всего придет в норму, но объем таблиц будет велик. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 02:30 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир Иванов2backfire Нужно понизить fillfactor примерно до 30% и желательно индексы пересоздать в отдельной filegroup на другом HDD (массиве). Производительность скорее всего придет в норму, но объем таблиц будет велик. Несомненно, в какой то степени это поможет, но не думаю что кардинально. Что вы подразумеваете под нормой? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 02:37 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир ИвановПоясню на примере. Например, вам нужно построить бюджет Доходов и Расходов (БДР). Данный бюджет обычно состоит из подчиненных типа "Закупки", "Продажи". Структура подчиненных бюджетов может отличаться от БДР, но общие итоговые цифры в БДР передаются. Можно реализовать эту классическую задачу так. Сотрудники через WB вводят бюджеты "Закупки" и "Продажи", затем на основе сформированных данных в SQL-таблицах WB строится DWH для БДР. Ваше пояснение прям в точку. Владимир ИвановPS. Мне не кажется хорошей идея класть WB-таблицу в факты. Во многих простых системах DWH формируют прямо на таблице OLTP-системы без отстойника. Можно критиковать данный метод, но он часто используется. Если WB будет писать в факты, то так можно разрушить OLTP-систему. В большом решении будет сходная проблема. Там обычно факты (т.е. фактические данные) собирает команда девелоперов-итеграторов, а планы делает другая группа. Наличие записи WB в факты разрушит изоляцию между модулями групп. Да и потом отлавливать что тут план, а что тут факт совсем не хочется. Решение, где OLAP-щикам отдается DWH в read-only более "инкапсулированное" и защищенное от багов. Господа, никто не собирается ломать OLTP или DWH. Только не надо держать нас за детей малых, которым спички не игрушка. Существует и без этого 1000+1 возможность наломать дров. авторДругой вопрос, неплохобы Microsoft стандартизовать WB-таблицы и выпустить White Paper о построении SQL-запросов позволяющих получить таблицу фактов с учетом WB. Ну зачем так мелко. WhitePaper. Лучше уж сразу вызов в DSO/AMO. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 02:40 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Несомненно, в какой то степени это поможет, но не думаю что кардинально. Что вы подразумеваете под нормой? Я считаю нормой в данном случае если insert практически перестает зависеть от числа строк в таблице. При fillfactor около 20% это фактически так и есть, но мне кажется тут лучше 30%. Потом вы еще можете сделать компрессию WB-таблицы за счет объединения повторных записей. Сразу скажу - не пробовал. Мне на самом деле удалось избежать больших WB-таблиц, т.к. я создаю обычно для этого маленькие кубики и затем их интегрирую с большими. Потомо для сложных задач планирования типа вычисления плановой себестоимости мне все равно от WB тольку мало, там я делаю без него. Ваше пояснение прям в точку И? Так это ваша задача, так я понимаю? Лучше уж сразу вызов в DSO/AMO. 2Моша. К слову хорошая мысль. Хотя бы я начал с White Paper типа "Как добавить WB-факты в вашу таблицу фактов". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 03:58 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Владимир Ивановсебестоимости мне все равно от WB тольку мало, там я делаю без него. Более года назад я подымал тему WB, где я подымал на суд общественности вариант решения записи в ROLAP куб без bcgjkmpjdfzby WB функционала. Я и поныне не использую WB ни в одном из пошедших в серию решений под AS2K. Что будет в Юконе - посмотрим. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 04:30 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Хочу поддержать backfire - необходим WB не только в специальную таблицу, но и напрямую в таблицу фактов backfireГоспода, никто не собирается ломать OLTP или DWH. Только не надо держать нас за детей малых, которым спички не игрушка. Существует и без этого 1000+1 возможность наломать дров. Я вижу проблемы WB еще и в необходимости некой бизнес-логики. Именно без такой логики можно "наломать дров". Отчасти проблема решается через введение разрешений на доступ к тем или иным ячейкам. Но как эти разрешения обработает UPDATE CUBE при расчете весовых коэффицентов ??? Можно конечно эту бизнес-логику реализовать в клиентском приложении, однако уверен что если бы ее сервер поддерживал - было бы гораздо лучше Владислав Беляев ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 08:33 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2backfire & Беляев: Т.е. я правильно Вас понимаю, что все Ваши проблемы из за того что Вы не пользуетесь partitions потому что у Вас не Enterprise Edition, а Standard Edition. Тогда - извините. Это уже не проблема технологии а проблема чисто финансовая, и как тут помочь кроме как дать денег я не знаю :) Впрочем Владислав уже обрисовал как можно вывернуться - либо написать код который сам переливает записи из WB в fact table, либо определить fact table как view который обьединяет основную таблицу и таблицу от WB - вариантов много. Конечно они не такие чистые как multiple partitions, но тоже возможны. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 09:57 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Moshaлибо написать код который сам переливает записи из WB в fact table, либо определить fact table как view который обьединяет основную таблицу и таблицу от WB И то и другое писано уже. Хотелось out of box. О варианте версии. Не в деньгах Дело, а том, что если в SQL двигателе фичи поделено чесно, то в AS многие вещи вынесены в Enterprise Edition, хотя отношения к "Enterprise"-ности решения не имеют. Почему то никому в голову не приходит делить С# и .NetFramework на Standard и Enterprise. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 10:21 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
backfire - какие на Ваш взгляд features Analysis Services должны быть в Enterprise Edition если не partitions ? Сравнение с .NET framework тут не совсем уместно, ибо он бесплатный. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 10:29 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Коллеги, давайте все-таки смотреть в корень проблемы. У backfire проблема потому что он не пользуется стандартным WB, а пытается его обойти через ROLAP. И я не пользуюсь стандартным WB по причинам 1 Медленно 2 Нет обработки бизнес правил 3 Проблемы при изменении структуры куба 4 Изменения вносятся во writebacktable а не в таблицу фактов Теперь как я считаю должно быть 1 В Юконе, по крайней мере с weighted allocation все должно быть хорошо. equal allocation для больших объемов данных..., считаю практически нет таких задач 2 Должны отрабатываться все связи между dimensions, т.е. если в AS2K есть dimension и virtual dimension, то при update cube между ними не должно быть crossjoin, в идеале и значение virtual dimension вообще не должно во writeback table попадать. Кроме того есть и другие связи между dimensions (в AS2K5 их можно прописать) - они тоже должны в "UPDATE CUBE" обрабатываться. В AS2K5 есть скрипты, надеюсь что их можно использовать для описания сложного Update. Еще проблема с UpdateCube - это Non leaf hidden data и custom rollup. Я сейчас выкручиваюсь так: создаю set, где прописаны все возможные (разрешенные) взаимосвязи между dimensions, потом делаю Extract dimension из Intersect этого сета c уже выбранными members на других dimensions и получаю доступные для выбора members этого dimension. Значение с интерфейса передаю в sql stored procedure, где собственно и прописана логика update факт table. Год назад backfire говорил, что при таком варианте update есть минус в том что не задействуется логика update cube. Так вот ее можно задействовать, правда с потерей производительности. Делается "Update Cube", затем NECJ из Descendants members of tuple members и эти значения ложаться в факт table 3 Надо чтобы WB table не изменялась (требуется ее пересоздание) при добавлении уровня в dimension или при добавлении virtual dimension. Вообще структура WB table в этом случае была бы гораздо ближе к таблице фактов (не содержались бы промежуточные уровни) 4 Опционально, надо чтобы изменения можно было вносить непосредственно в таблицу фактов без Writeback table Без решения этих проблем приходится исхитряться, тогда и возникают проблемы наподобии описанной backfire Заметьте, производительность UPDATE CUBE AS2K (см 2) во многом еще тормозится созданием совсем ненужных crossjoin, c virtual dimension например. Владислав Беляев ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 12:41 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
2Моша. Я возможно не догоняю ваше обсуждение. Какое альтернативное решение для MS AS Ent Edition вы обсуждаете? Для меня это актуально, т.к. большинство моих крупных решений в крупных корпорациях, а там $10K экономить смешно, сервер в 5 раз дороже. Так что там можно с партициями сделать для WB? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 13:57 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Беляев1 В Юконе, по крайней мере с weighted allocation все должно быть хорошо. equal allocation для больших объемов данных..., считаю практически нет таких задач Я бы предпочел чтобы Вы не верили мне на слово, а сами бы проверили это на Ваших данных. И если производительность Вас не устраивает - откройте баг на betaplace. Беляев2 Должны отрабатываться все связи между dimensions, т.е. если в AS2K есть dimension и virtual dimension, то при update cube между ними не должно быть crossjoin, в идеале и значение virtual dimension вообще не должно во writeback table попадать. А разве сейчас не так ? Виртуальных измерений нет в writeback table, и они не учитываются при аллокации в UPDATE CUBE. БеляевЕще проблема с UpdateCube - это Non leaf hidden data и custom rollup. Можно пожалуйста поподробнее. Non Leaf Hidden Data - решает проблему ввода данных на уровни выше гранулярности таблицы фактов. Какую проблему может это создать ? На мой взгляд это как раз проблему решает. И что особенного в custom rollups ? То что алгоритм аллокации не делает то что Владимир Иванов называет "обратные проводки" ? Беляев3 Надо чтобы WB table не изменялась (требуется ее пересоздание) при добавлении уровня в dimension или при добавлении virtual dimension. Вообще структура WB table в этом случае была бы гораздо ближе к таблице фактов (не содержались бы промежуточные уровни) Смотри мои комментарии про изменение схемы выше (в ответе backfire). Беляев4 Опционально, надо чтобы изменения можно было вносить непосредственно в таблицу фактов без Writeback table А с этим я не согласен в силу очень многих причин. Именно тут и надо применять partitions. Владимир ИвановКакое альтернативное решение для MS AS Ent Edition вы обсуждаете? Я имел в виду проблему когда WB table сильно вырастает - тогда просто создается новая partition, которая направляется на эту таблицу, и можно ей делать MOLAP processing. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 21:28 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
То что алгоритм аллокации не делает то что Владимир Иванов называет "обратные проводки" ? Я говорю о "бюжетных проводках". Это просто другая модель what-if. Там моделирование делается на уровне DWH, а не OLAP. В системах на "бюджетных проводках" принята стандартизация фактов в терминах проводки для моделирования финасовых задач. В частности аллокация делается за счет создания новых фактов через специальные алгоритмы типа "ключи распределения" как в Microsoft Axapta. Отметим, что там аллокации существенно сложнее. Например, на основе инвойсов по закупке автоматически аллокируются проводки отражающие ордера по платежам. Это все равно что WB умел править не только свой куб, но и другой по запрограммированному пользователем алгоритму. Реальные задачи этого требуют. Кроме этого DWH на бюджетных проводках позволяет сравнительно просто сделать OLTP-приложение с workflow для ввода плановых данных. Основная сложность моделирования на бюджетных проводках это разработка специфических алгоритмов аллокации, таких как разноска косвенных затрат, калькуляция себестоимости, оптизация платежей, прогнозы продаж и т.д. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 21:58 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
MoshaА разве сейчас не так ? Виртуальных измерений нет в writeback table, и они не учитываются при аллокации в UPDATE CUBE. А зачем включены туда нелистовые уровени регулярных измерений и физические измерения не связанные напрямую с таблицей фактов? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.03.2005, 23:56 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
Moshabackfire - какие на Ваш взгляд features Analysis Services должны быть в Enterprise Edition если не partitions ? Сравнение с .NET framework тут не совсем уместно, ибо он бесплатный. Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights Я думаю, что нижеперечисленный функционал AS2K достоин поддержки и в Standard Edition Calculated Cells Writeback to Dimensions Very Large Dimension Support А с AS2K5 вообще сплошные непонятки -За что забрали из стандартной версии Custom Rollups? -Что попадает под Advanced Measures and Dimensions? и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.03.2005, 00:00 |
|
||
|
what-if анализ и OLAP
|
|||
|---|---|---|---|
|
#18+
backfire - Все что Вы просили кроме writeback to dimensions - сделано в Standard Edition. Custom Rollups - это опечатка. Я об этом писал несколько дней назад: http://sqljunkies.com/WebLog/mosha/archive/2005/03/19/9223.aspx Моша ---------------------------------------------------- This posting is provided "AS IS" with no warranties, and confers no rights ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.03.2005, 01:38 |
|
||
|
|

start [/forum/topic.php?all=1&fid=49&tid=1871653]: |
0ms |
get settings: |
10ms |
get forum list: |
13ms |
check forum access: |
2ms |
check topic access: |
3ms |
track hit: |
50ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
103ms |
get tp. blocked users: |
1ms |
| others: | 263ms |
| total: | 454ms |

| 0 / 0 |
