|
|
|
mysql, data warehouse, data mart
|
|||
|---|---|---|---|
|
#18+
разрабатываем сайт, каталог продуктов с возможностью закачек этих продуктов на компьютеры пользователей. В данный момент продумываем систему статистики сайта. Что есть на данный момент - две mysql таблицы products_downloads и http_requests_data В первую таблицу после каждой закачки записывается FK продукта, время закачки и FK на новую запись в таблице http_requests_data в которую в свою очередь записывается инфа об юзер айпи, браузере и так далее.. вобщем все что можно вытянуть из http запроса. Эти две таблицы являют собой класическую OLTP систему. В чем трудность - записей в этих двух таблицах будут десятки млн. Посему для отображения различных статистических данных под разными углами делать риалтайм запросы не представляется возможным. Напрашивается решение с организацией OLAP data warehouse который в данный момент будет содержать один data mart для информации о закачках. Например будет таблица с фактами содержащая поле downloads и таблицы dimensions - date, geo, os, browsers, etc. Эти dimensions будут иметь type 2 тоесть Slowly Changing Dimensions ибо в определенные промежутки времени data mart будет пополняться новыми данными из OLTP статистки на регулярной основе. В чем мой вопрос - я совершенно не имею опыта работы с OLAP на mysql. Подскажите пожалуйста как лучше всего и при помощи каких(желаетльно бесплатных инструментов) можно реализовать вот такую вот задачу. Спасибо ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 14.06.2014, 01:19:09 |
|
||
|
mysql, data warehouse, data mart
|
|||
|---|---|---|---|
|
#18+
alexanoid1, Ну можно делать таблицы с нужной агрегацией. а для олап, есть отдельная ветка. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2014, 12:57:05 |
|
||
|
mysql, data warehouse, data mart
|
|||
|---|---|---|---|
|
#18+
спасибо за ваш ответ. Администраторы, перенесите пожалуйста мою тему в соответсвующую ветку форума. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2014, 14:14:47 |
|
||
|
mysql, data warehouse, data mart
|
|||
|---|---|---|---|
|
#18+
alexanoid1, Бесплатно есть: пентахо, мандриан, сайку http://community.pentaho.com/projects/mondrian/ http://www.meteorite.bi/saiku В ОЛАП форуме есть персонаж biwed -- поишите его ссылки на уроки по пентахо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.06.2014, 16:48:48 |
|
||
|
mysql, data warehouse, data mart
|
|||
|---|---|---|---|
|
#18+
alexanoid1, Добрый день. Из бесплатных инструментов, то можно Pentaho BI CE. 1. Хороший ETL сервер PDI (для пополнения данных из OLTP) 2. Сервер аналитики Mondrian. Технология Rolap. 3. Интеграция с Mysql. Ставится нужный драйвер и все. 4. Средство разработки OLAP схемы Schema Workbench 5. Saiku идет как плагин. Устанавливается по клику. 6. Простая установка. И для инфы (возможно кому и пригодится). Можно использовать SQL Power Architect для разработки Схемы БД. alexanoid1В чем трудность - записей в этих двух таблицах будут десятки млн. Посему для отображения различных статистических данных под разными углами делать риалтайм запросы не представляется возможным. Возможно пригодится объединение кубов, что позволяет делать Mondrian. Из минусов при работе с Pentaho: 1. При проектировании остатков: -Нет поддержки полуадитивных мер (ожидается Mondrian 4.0) -Нет агрегации lastchild. 2. Платная интеграция с Excel (бесплатной так и не нашел). 3. Мало документации и готовых проектов. Если тема интересна, то ссылка: www.biwed.ru/index.php/pentaho PS. Можно, конечно глянуть в сторону Palo, тоже бесплатный. С уважением, biwed.ru ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2014, 02:51:31 |
|
||
|
mysql, data warehouse, data mart
|
|||
|---|---|---|---|
|
#18+
biwed.ru, большое спасибо ! Буду разбираться с уроками по вашей ссылке. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.06.2014, 09:35:37 |
|
||
|
|

start [/forum/topic.php?desktop=1&fid=47&tid=1834661]: |
0ms |
get settings: |
10ms |
get forum list: |
20ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
42ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
2ms |
| others: | 241ms |
| total: | 394ms |

| 0 / 0 |
