powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / mysql, data warehouse, data mart
7 сообщений из 7, страница 1 из 1
mysql, data warehouse, data mart
    #38669245
alexanoid1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
разрабатываем сайт, каталог продуктов с возможностью закачек этих продуктов на компьютеры пользователей. В данный момент продумываем систему статистики сайта.

Что есть на данный момент - две mysql таблицы products_downloads и http_requests_data В первую таблицу после каждой закачки записывается FK продукта, время закачки и FK на новую запись в таблице http_requests_data в которую в свою очередь записывается инфа об юзер айпи, браузере и так далее.. вобщем все что можно вытянуть из http запроса. Эти две таблицы являют собой класическую OLTP систему.

В чем трудность - записей в этих двух таблицах будут десятки млн. Посему для отображения различных статистических данных под разными углами делать риалтайм запросы не представляется возможным.

Напрашивается решение с организацией OLAP data warehouse который в данный момент будет содержать один data mart для информации о закачках. Например будет таблица с фактами содержащая поле downloads и таблицы dimensions - date, geo, os, browsers, etc. Эти dimensions будут иметь type 2 тоесть Slowly Changing Dimensions ибо в определенные промежутки времени data mart будет пополняться новыми данными из OLTP статистки на регулярной основе.

В чем мой вопрос - я совершенно не имею опыта работы с OLAP на mysql. Подскажите пожалуйста как лучше всего и при помощи каких(желаетльно бесплатных инструментов) можно реализовать вот такую вот задачу. Спасибо !
...
Рейтинг: 0 / 0
mysql, data warehouse, data mart
    #38670277
alex564657498765453
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexanoid1,

Ну можно делать таблицы с нужной агрегацией.
а для олап, есть отдельная ветка.
...
Рейтинг: 0 / 0
mysql, data warehouse, data mart
    #38670440
alexanoid1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
спасибо за ваш ответ. Администраторы, перенесите пожалуйста мою тему в соответсвующую ветку форума.
...
Рейтинг: 0 / 0
mysql, data warehouse, data mart
    #38670712
Фотография javajdbc
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
alexanoid1,


Бесплатно есть: пентахо, мандриан, сайку

http://community.pentaho.com/projects/mondrian/
http://www.meteorite.bi/saiku

В ОЛАП форуме есть персонаж biwed --
поишите его ссылки на уроки по пентахо.
...
Рейтинг: 0 / 0
mysql, data warehouse, data mart
    #38671129
biwed.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexanoid1,
Добрый день.

Из бесплатных инструментов, то можно Pentaho BI CE.
1. Хороший ETL сервер PDI (для пополнения данных из OLTP)
2. Сервер аналитики Mondrian. Технология Rolap.
3. Интеграция с Mysql. Ставится нужный драйвер и все.
4. Средство разработки OLAP схемы Schema Workbench
5. Saiku идет как плагин. Устанавливается по клику.
6. Простая установка.
И для инфы (возможно кому и пригодится). Можно использовать SQL Power Architect для разработки Схемы БД.

alexanoid1В чем трудность - записей в этих двух таблицах будут десятки млн. Посему для отображения различных статистических данных под разными углами делать риалтайм запросы не представляется возможным.
Возможно пригодится объединение кубов, что позволяет делать Mondrian.

Из минусов при работе с Pentaho:
1. При проектировании остатков:
-Нет поддержки полуадитивных мер (ожидается Mondrian 4.0)
-Нет агрегации lastchild.
2. Платная интеграция с Excel (бесплатной так и не нашел).
3. Мало документации и готовых проектов.

Если тема интересна, то ссылка: www.biwed.ru/index.php/pentaho

PS. Можно, конечно глянуть в сторону Palo, тоже бесплатный.

С уважением,
biwed.ru
...
Рейтинг: 0 / 0
mysql, data warehouse, data mart
    #38671283
alexanoid1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
biwed.ru, большое спасибо ! Буду разбираться с уроками по вашей ссылке.
...
Рейтинг: 0 / 0
mysql, data warehouse, data mart
    #38671653
biwed.ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
alexanoid1,

Если будут вопросы, то можете писать. Постараюсь помочь.

С уважением,
biwed.ru
...
Рейтинг: 0 / 0
7 сообщений из 7, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / mysql, data warehouse, data mart
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]