Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности

Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
21.11.2003, 13:57
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Всем, привет! Наконец-то и меня судьба, время (и начальство) пододвинули к OLAP-у... :-) Естественно, сначала пришлось немного почитать "азов", порыться на здешнем и "олап-ру"-шном форумах, но вопросы (как обычно это бывает после посещения форумов) - только множатся... Собственно subj заставил меня обратиться к ув. сообществу, потому что "в лоб" (через Analysis Manager) ничерта не получается сделать, а времени на то, чтобы аккуратно "по шагам" попробовать исполнить желаемое через DSO, - просто катастрофически не хватает... :-((. Задача выглядит просто (как и все реальные задачи "на первый взгляд"): Дано: 1. Есть корпоративная база данных на MS SQL-Server 2000 (поставщики, покупатели, регионы, собств. подразделения, продажи, склады и пр.), очень хорошо подходит для организации всевозможных Shared Dimensions ; 2. Есть небольшая табличка в базе данных MS Access с данными по бюджетированию к.-л. "проектов" в рамках головной конторы, в разрезе периодов, подразделений, регионов и т.д., очень хорошо подходит на роль Facts Table ; 3. Есть куча XLS-файлов, корорые каждый месяц присылаются по электронной почте из кучи подразделений головной конторы, для того чтобы быть загруженными в табличку базы данных MS Access, которые "по идее" могут выступать в качестве "Alternate Data Source" при инкрементальном процессинге кубика на табличке в базе данных MS Access. Вопросы: 1. Возможно ли вообще построить куб в MSAS2000 (хотя бы MOLAP, я не прошу уже HOLAP/ROLAP) - имея данные для таблицы фактов и таблиц измерений в разных "источниках данных"? 2. Возможно ли сделать "Incremental Processing" MOLAP-куба - имея "альтернативный" источник для только таблицы фактов, содержащий только "приращения" таблицы фактов и не "знающий ничего" об измерениях, используемых в кубе? 3. Можно ли "заставить" MSAS2000 реально просчитать все агрегаты при процессинге MOLAP-куба, а не только те, которые он "сочтет нужным"? (т.к. реальных данных вообще-то - "кот наплакал" и никаких особых "ресурсов" они "съедать" не должны). З.Ы. Прошу ответить аргументировано по каждому из вопросов, т.к. советы типа - "положи таблицу фактов на MS SQL-Server 2000, загружай в нее при помощи DTS приращения из своих XLS-файлов, делай свой Incremental Processing с отсечками по времени загрузки и забудь про этот геморрой..." - я и сам могу раздавать хоть счаз уже... :-)). Но, к сожалению, "реальная жизнь" - требует разобраться именно с этим "геморроем". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.11.2003, 18:25
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Прошу ответить аргументировано по каждому из вопросов, т.к. советы типа - "положи таблицу фактов на MS SQL-Server 2000, загружай в нее при помощи DTS приращения из своих XLS-файлов... Ну вряд ли Вам кто то даст подобные детальные консультации. Записывайтесь на курсы Microsoft. Есть правда еще один вариант - написать запрос на адрес cognos@narod.ru и заказать демонстрацию OLAP-сервера Cognos PowerPlay для Вашего руководства. Многие люди через это прошли и избавились от подобных проблем (PowerPlay в отличие от MS AS заточен на работу с гетерогенными источниками данных, поддерживая несколько таблиц фактов в одной модели куба). Не воспринимайте это как рекламу - это просто реальный опыт, и в том, что для некоторых задач есть лишь один оптимальный инструмент - нет ничего странного. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.11.2003, 22:48
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Самое смешное, что в принципе в "З.Ы." описана стандартная/рекомендуемая конфигурация (для MOLAP). В по существу ИМХО: по Дано 1.Для ShDim кандитат - действ. хороший 2.Вряд ли "...небольшая табличка..." хорошо подойдет для FtTBL 3.см. ниже по Вопросам: 1.А вот тут просто капец - не получиться выстроить куб на разных источниках ну в смысле measure из Access, а dimention из MSSQL. Разве что virtual cube-хотя не пробовал, и может тоже не покатит 2.см. выше (это в смысле что касается "альтернативхых источников") 3.в смысле Full Process ? Так это завсегда пож-ста. Даже иногда хотелось бы поменьше. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.11.2003, 12:42
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
На мой взгляд, в вашем случае построить OLAP-куб - самое простое, что я оставил бы на потом. Основные проблемы - подготовить данные, то есть свести воедино SQL, Access, Excel, да так, чтобы справочники свернулись, иерархии не нарушились и т.д. По моему опыту, при нехватке времени лучше за такую задачу и не браться, чтобы себе репутацию не портить. По поводу времени еще хотелось бы отметить, что когда вы в данных разберетесь, (то есть модель куба будет готова и правила трансформации из всех источников определены), то на этапе создания куба это быстрее сделать в Cognos. Потому-что код писать не надо, источники можно напрямую подключить, клиента разрабатывать не надо - он готовый. Incremental Processing также есть. Успехов. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.11.2003, 12:03
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Н-да уж, похоже народ уже потихоньку отучили ходить "окольными путями" и приучили двигаться в "мейн-стриме"... (может быть это и правильно). 2 Jurii & Tsaryov S Спасибо за совет насчет Cognos, не сомневаюсь, что на рынке можно найти еще несколько "достойных" продуктов того же плана, но руководство "на рынок" не пойдет (если это только не лотки на "митинке"), такова "се ля ва"... :-((. 2 Alex Fox на: "3.в смысле Full Process ? Так это завсегда пож-ста. Даже иногда хотелось бы поменьше..." А вот с этим вопросом (хотя бы с этим) - хотелось бы немного разобраться... Делал я т.н. "тестовый кубик" (все таблицы в MS-Access): 3 измерения ("периоды", "поставщики", "продукты"), 2 меры ("цена", "количество"), 11 уровней иерархии ("все периоды"-"год"-"квартал"-"месяц", "все поставщики"-"регион"-"город"-"поставщик", "все продукты"-"категория"-"продукт"). Ложу рядом с основной таблицей фактов - аналогичную по структуре табличку "приращений", заношу в нее занные по 1-му товару, от 1-го поставщика, за 1 месяц... Делаю Incremental Processing в режиме Full Process - MSAS радостно сообщает мне, что - "просчитано 5 агрегатов"... смотрю в куб - все данные по всем "разрезам" есть... делаю еще раз Incremental Processing в режиме Full Process на тех же приращениях - опять "5 агрегатов", все данные по всем "разрезам" удвоились... делаю еще раз Incremental Processing в режиме Full Process на тех же приращениях - опять "5 агрегатов", все данные по всем "разрезам" утроились... (дальше "экспериментировать" надоело). Но вопросы остались - как же так? Считать там (по меркам "серверного продукта") - абсолютно нечего... максимум - 11х2=22 значения надо обновить в MOLAP-базе... однако же - он (MSAS) упорно обновляет только 5, куда спрашивается - остальные-то подевались? Или "по-другому" - откуда они берутся при просмотре куба? Подсчитываются сервером "на лету" по мере обращений клиента? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.11.2003, 15:28
|
|||
|---|---|---|---|
|
|||
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Согласен с мнением Tsaryov S . Если нет ресурсов, лучше не браться. OLAP-сервер тут не причём (здесь работает принцип GIGO - garbage in, garbage out - гряжные данные загрузил - грязные ответы получил). Задача очистки и согласования данных гораздо сложнее, чем может показаться на первый взгляд. Желаю успехов. С уважением, Константин Лисянский http://lissianski.narod.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.11.2003, 16:09
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
2 qu-qu: Хаюшки Вам. автор писал:Делаю Incremental Processing в режиме Full Process... Прошу пардону, а это как? Full и Incremental два разных типа процесса. Тут в форуме (правда очень давно) проскакивало сообщение о задвоении при инкр. Название говорит само за себя. Т.е. отпроцесили - дельточки нафиг, и давай заполняй таблицу(исходную в Access) новыми дельтами. А кол-во агрегатов зависит от структуры куба - количества измерений и их глубин. Где то так.... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.11.2003, 17:14
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Full и Incremental два разных типа процесса Ну да, OLAP-овским "жаргоном" я владею еще не в совершенстве, потому и перекрестил слова из разных "источников"... Имеется ввиду, что я делаю Incremental Processing , а когда AM предлагает выбрать соотношение глубины перерасчета к количеству данных (где такие "красивые" графики строятся) - то я выбираю опцию "Until I say Stop" (кажись так она назывется, счаз нет "под рукой" АМ), т.е. предполагается (мной по крайней мере), что сервер должен "шарашить" агрегаты до тех пор, пока мне это дело не надоест... А он спокойно обрабатывает 5 штук из 22-х и на етом успокаивается... А кол-во агрегатов зависит от структуры куба - количества измерений и их глубин А что - я не приводил в своем вопросе - количества измерений, их глубин или структуры куба? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
25.11.2003, 19:21
|
|||
|---|---|---|---|
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
автор писал:А что - я не приводил в своем вопросе - количества измерений, их глубин или структуры куба? Да то оно да, но нет... Все понты в том что это в идеале должно получиться агрегатов кол-во равное произведению уровней на меры. Только AS трошки всё это оптимизирует. Ну например AS считает что нечего держать агрегаты на месяца если есть на дни, т.е. потом втихушку-влет просчитывает. Ну и дальше в таком же духе. Это еще что, вот захотите иерархические изм-я использовать - там вообще крышу сорвет от непонимания кол-ва агрегатов. Где то так... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
26.11.2003, 07:42
|
|||
|---|---|---|---|
|
|||
Возможно ли в MSAS2000 построить MOLAP-куб на гетерогенных источниках данных? |
|||
|
#18+
Ответы дам по тем вопросам, по которым "зацепило" :). 1. Если у вас источниками данных являются "метаданные" :) от Microsoft, а особенно если MS SQL 2000 ЛЕГАЛЬНЫЙ и вопрос легальности для вас не на последнем месте, то грех не попробовать реализацию на базе Mictosoft Analysis Srever, что вы в принципе и сделали :). В этом случае, по крайней мере вы не будете тратиться на отдельный OLAP сервер. 2. OLAP куб в MS AS может основываться только на одном соединении. Т.е. вы создаёте соединения в OLAP БД и потом, при проектировании куба в куб можно добавить измерения по таблицам только из того же соединения из которого использована таблица фактов. Т.е. соединений для OLAP БД может быть несколько но куб основывается только на одном. Соответственно все таблицы - таблица фактов и таблицы измерений должны находится в одном источнике для одного куба. Лучше если это будет SQL БД. 3. Соответственно, действительно первое с чего нужно начать, так это "собрать" хранилище данных. Т.е. создать SQL БД, в которую будут сливаться данные из источников в таблицу фактов и таблицы измерений. Осмелюсь утверждать что MS SQL предоставляет ОЧЕНЬ хороший инструментарий для реализации данной задачи. С помощью DTS пакетов можно без единой строчки кода создать схемы заполнения хранилища данных из гетерогенных источников. В это смысле думаю MS SQL не уступает Cognos (хотя Cognos я так и не протестировал, так что утверждение основано на моих догатках). 4.Безусловно, на MS AS можно сделать так что бы в кубе процессились только изменённые данные в источнике. Но сделать это можно по разному, по этому универсального совета нет. 5. DTS`ами можно так же автоматизировать процессинг MS AS кубов. Если же OLAP кубы будут от одного производителя, а хранилище данных - от другого, то могут возникнуть проблемы с автоматизацией (т.е. работы по расписанию) выполнения всего цикла работ от закачки данных до получения готового куба. 6. К MS AS кубам есть несколько клиентов, а вот к другим OLAP серверам как правило прилогаются только свои клиенты. Хотя может быть и настолько хорошие что и альтернатива не требуется :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=49&mobile=1&tid=1872984]: |
0ms |
get settings: |
9ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
136ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
40ms |
get tp. blocked users: |
2ms |
| others: | 259ms |
| total: | 478ms |

| 0 / 0 |
