2 backfire:

Юра у вас в школе что было по математике?

В первом классе я был круглым отличником :) Потом пятерки по математике сочетались с двойками за систематическое невыполнение домашнего задания, в итоге выходили четверки, но в университете с математикой у меня было все круто, даже открытие одно совершил (решил задачу, которую 100 лет назад решил Лобачевский, но другим, более легким способом :)

Пример из арифметики 2-го класса начальной школы.
максимальный размер базы в access 2 Gb, максимальный размер таблицы - не больше 2Gb, следовательно если вы запихнете в 1 (одну) таблицу 1 миллиард записей, то длинна записи должна быть не больше 2-х байт.

Это все конечно так, но кто сказал, что хранилище данных должно состоять из одной базы данных? Например, таблица фактов у меня будет содержать записи по 200 байт, всего записей в одной БД будет 7-8 миллионов, а баз данных у меня будет 140-150 штук. В OLAP-сервер я соответственно вставлю 140-150 одинаковых источников данных, и операция Union будет делаться на OLAP-сервере. В качестве железа при этом мне потребуется обычный однопроцессорный компьютер, какое-либо ультрамощное железо не требуется, так как не будет сложных SQL-запросов.

2 Виктор Сакович:

А у меня не получилось. После 5 млн. записей PowerPlay свалился.
Кстати пользуясь случаем хотел задать вопрос. Может ли PP взять данные например из SQL сервера? Если да, как это сделать?

Думаю проблема в том, что Вы не проходили официального обучения по PowerPlay и пользуетесь пиратской версией этого продукта. По информации полученной из корпорации Cognos, Ваша компания пока имеет право заниматься только продуктами Cognos Planning... :)
Если серьезно, то большие кубы в PowerPlay можно делать и без обучения, но только если не встретится сложных ситуаций, в которых нужно не допустить ошибок в проектировании куба.

2 _zx:

нет ли у кого-нибудь ссылки на материалы о Cognos? Рассматривам его в кач-ве олап - клиента, но перед покупкой хотелось бы понять, что он умеет. А то в рекламе-то много пишут, а что там на самом деле...

Могу Вас познакомить с моими знакомыми, которые достаточно давно используют Cognos, анализируя в нем данные из Navision Attain (хотя постепенно переходят на другую ERP-систему). Размер реляционной базы у них измеряется трехзначным числом гигабайт. Компания является лидером на рынке соков, настолько известная, что называть ее нет необходимости :)

2 Виктор Сакович:

То есть у обученных PP не сваливается?

Обученные пользователи PowerPlay не делают грубых ошибок при проектировании кубов, поэтому у них ничего не сваливается.

И почему Вы не отвечаете на вопрос по поводу коннекта к SQL серверу? Это тоже только для обученных?

:) Это открытая информация. Подключаться к SQL-серверу можно либо через OLE DB, либо через ODBC. Можно подключаться используя модуль Framework manager, можно из Impromptu, а можно и через механизм создания связей с таблицами в MS Access. Ну и на крайний случай - с помощью программы Notepad (Блокнот), если написать в ней немного текста и сохранить это в формате IQD.

Да, и Вы что за компанию имеете в виду, которая имеет право заниматься Cognos Planning?

Я имею в виду компанию, в которой Вы работаете. Думаю что ни для кого не секрет что это S&T.

2 inga:

А что касается материалов - то на русском врядли чтото найдете

На русском языке про Cognos можно почитать на нашем форуме, а также на форуме www.olap.ru . Также можно почитать русскую документацию по Cognos.

2 MSTR_Fan:

Если честно не совсем ясно: в кубе хранится агрегат и вся базовая табличка?

Вся базовая табличка не хранится, хранятся агрегаты. Но если включить в структуру куба все возможные измерения с иерархией до самого детального уровня, то в кубе, наложив тот или иной фильтр, можно будет найти любую запись из базовой таблицы фактов.

Коллега, вы тоже занимались аксиоматикой Лобачевского? Где, если не секрет?

Аксиоматикой я не занимался. Я занимался задачей определения корней алгебраических многочленов высоких степеней, например X^205 + 10*X^200 + 1 = 0. Давно это было, когда я учился в Санкт-Петербургском Государственном Техническом Университете на факультете экономики и менеджмента. А сейчас этот ВУЗ изменил название с СПбГТУ на ГПУ :)

2 backfire:

Буду сильно удивлен, если кто то кроме Вас в этом форуме назовет это сборище из 150 аксессовских баз хранилищем данных.

Когда-то люди сильно удивлялись, когда узнавали что Земля - круглая :) В теории ХД насколько я знаю нет ограничений на количество баз данных, входящих в ХД. Оракл например позволяет разносить одну таблицу по разным дискам. Чем же плох подход разнесения таблицы фактов по разным файлам DBF или Access?

Юрий, почему вы всех считаете такими идиотами, что они без вашего обучения не разберутся с PP.

Я не говорил что в PP разобраться невозможно. Я лишь напоминаю о полезности обучения тем, кто не смог своими силами научиться работать в PP.

2 Андрей Прохоров:

В теории ХД насколько я знаю нет ограничений на количество баз данных, входящих в ХД.
Ну да??? Перебором не проверяли?

Немного не понял Вашу реплику? Что Вы предлагаете проверять перебором?

Оракл например позволяет разносить одну таблицу по разным дискам.
Почему же только Oracle? Можно еще RAID 5 или 10 для хранения DBF файлов использовать.

Насчет RAID - не знаю, но вот на стриммерной ленточке архивные базы хранятся часто, в частности в крупных розничных сетях. С ленточки исторические данные копируются на жесткий диск, загружаются инкрементально по кусочкам в OLAP-куб, и затем удаляются с диска в целях экономии места.

Чем же плох подход разнесения таблицы фактов по разным файлам DBF или Access?
Удивительно технологичное решение.

Это все эмоции. Объективно что-нибудь можете сказать про минусы хранения больших БД в формате DBF или Access?

2 Константин Лисянский:

Чем же плох подход разнесения таблицы фактов по разным файлам DBF или Access?
Тем, что больше ни для чего, как для закачивания в PowerPlay эти файлы пригодиться не могут.
PowerPlay не решает всех задач.

Всех не решает, но как аналитическое средство и средство создания корпоративной отчетности PowerPlay достаточно наполнен функциональностью

Захочется статистику какую-нибудь по всему набору данных посчитать, или какой-нибудь сложный отчёт составить по всему миллиарду записей, что делать будете?

Я не спорю, какой-то процент задач не будет покрыт кубами PowerPlay, чем лучше спроектировать кубы - тем этот процент будет меньше. Но ведь зачастую те у кого есть миллиард записей их вообще никак не анализируют, слишком уж дорого получается создавать ХД на промышленной СУБД под это дело. Поэтому с точки зрения соотношения цена/функциональность, ХД на основе DBF + OLAP в PP - это не так плохо.

Кстати, вот вы тут все смеётесь, а я одного такого деятеля видел, который на DBF-файлах "хранилище" сделал. Вот бы им туда ещё PowerPlay. А если инкрементальную загрузку реализовать, то можно было бы ещё и в real-time анализ производить. И наступила бы у них полная нирвана.

Вот это здравые мысли. Но к сожалению PowerPlay пока присутствует не на каждом компьютере, не все его видели и юзали...

А ещё в одном банке на MS Access сделали "хранилище", потом нас позвали и пожаловались, что файлы больше 2 ГБ в Access нельзя делать, и что такой у них геморрой в связи с этим, потому что файлы плодить приходится. У них там целый человеко-машинный комплекс получился, Вашим Когносам и не снилось.

И чем все кончилось? Вы им внедрили Терадату и все залетало?

А ещё в одном банке приходилось видеть "хранилище" на (барабанная дробь) Microsoft Excel.

Ну это вариант не очень хороший, Excel вмещает довольно мало данных и, что самое главное, хранит их не так плотно как DBF или CSV. В том случае когда на входе множество файлов Excel - я из загружаю в ХД, реализованное на промышленной СУБД, и только потом сверху ставлю OLAP-сервер и OLAP-клиент.

Кстати, объявляется конкурс среди популярных программ для IBM PC на лучшую платформу для хранилища данных. Думаю, можно даже приз учредить за самое оригинальное решение.

Думаю что это тема для диссертации - написать технико-экономическое обоснование на тему почему DBF эффективнее чем Oracle, MS SQL и другие СУБД :)

2 Дмитрий Бирюков:

На конкурс педлагаю файлы CSV формата! а что? ограницений на размер нет, структура есть - можно импортировать и экспортировать...
шутки, шутками, а сейчас с таким приходится работать. правда до 2Г ещё есть время, но тем не менее...

Да, CSV - это популярный формат. Многие ERP-системы сначала выгружают из себя данные в CSV, а потом их подхватывает OLAP-модуль. Если Вы достигните 2 Гб - сделайте несколько файлов CSV и проблема решится :)

2 Виктор Сакович:

Я вижу, что компания S&T для Вас враг №1. Но я не работаю в S&T.

S&T - это не враг, это все таки единомышленник, во многих странах они являются партнерами Cognos.
А вот то что Вы не работаете в S&T - это большой сюрприз. Значит ссылка http://www.osp.ru/conf/2004/6/3.htm - уже устарела?
Если не секрет, чем Вы сейчас занимаетесь? Все так же MSTR, или переквалифицировались на Cognos? Было бы интересно с вами пообщаться, напишите мне на cognos@narod.ru тестовое сообщение.